6 ขั้นตอนการทำ Exploratory Data Analysis

Exploratory Data Analysis (EDA) ถือว่าเป็นการวิเคราะห์ข้อมูลที่จำเป็นก่อนที่จะวิเคราะห์ข้อมูลแบบอื่นๆ เช่น งาน Predictive ลักษณะการทำงานคือสำรวจข้อมูลในมุมต่างๆ ในทุกๆ ตัวแปร หรือเปรียบเทียบกันระหว่างตัวแปร วิธีการทำ EDA ก็มีหลากหลายวิธี เช่น Visualization, Statistical Analysis วิเคราะห์ตัวแปร, การทำ Clustering เป็นต้น EDA จะไม่มีการตั้งธงหรือสมมุติฐานไว้ จึงเหมาะอย่างยิ่งกับงานที่ต้องการหา Insights Exploratory Data Analysis หรือ EDA คือกระบวนการตรวจสอบและสำรวจข้อมูลเบื้องต้น เป็นการวิเคราะห์ข้อมูลที่จำเป็นก่อนการนำข้อมูลไปใช้หรือนำไปวิเคราะห์เชิงลึก โดยประโยชน์ของการทำ EDA จะช่วยทำให้เราเข้าใจพื้นฐานเกี่ยวกับข้อมูลชุดนั้นและเป็นการตรวจความผิดพลาดของชุดข้อมูลได้อีกด้วย แนวทางการทำ EDA มีได้หลากหลาย วันนี้ Coraline ขอนำเสนอขั้นตอนการทำ EDA 6 ขั้นตอนดังต่อไปนี้ 1. Distinguish Attributes
การเลือกข้อมูลและเตรียมให้พร้อมวิเคราะห์ เช่น การนำข้อมูลแต่ละชุดมาทำเป็นคอลัมน์เพื่อให้เห็นถึงความแตกต่างของข้อมูล อาจแยกออกเป็น Attributes หรือ คุณลักษณะต่าง ๆ เช่น เพศ สี อายุ เป็นต้น 2. Univariate Analysis
การวิเคราะห์ข้อมูลตัวแปรเดียว เป็นการวิเคราะห์เชิงสถิติ ที่ทำให้เห็นพฤติกรรมของแต่ละ Attribute เช่น มีค่าเฉลี่ยเท่าไหร่ มีผลรวมเท่าไหร่ มีความแปรปวนเท่าไหร่ ค่าโดยรวมคืออะไร เป็นต้น 3. Bi-/Multivariate Analysis
การวิเคราะห์มากกว่า 1 ตัวแปร เพื่อให้เห็นถึงความสัมพันธ์ขั้นต้น เช่น การหา Correlation และการเขียนกราฟ ​Scatterplot 4. Detect Aberrant and Missing Values
การมองหาสิ่งผิดปกติในชุดข้อมูลและการมองหาข้อมูลที่ตกหล่นหายไป 5. Detect Outlier
การวิเคราะห์หาข้อมูลที่ผิดปกติไปจากค่ากลาง หรือ Outlier 6. Feature Engineering
การสร้าง Feature หรือตัวแปรที่จะนำไปวิเคราะห์เชิงลึก เช่น การแบ่งช่วงเวลาออกเป็น 3 ช่วง การนับจำนวนธุรกรรมที่มียอดมากกว่าที่กำหนด เป็นต้น แม้ว่าการทำ EDA จะเป็นการวิเคราะห์ขั้นต้นเพื่อทำความเข้าใจชุดข้อมูล แต่ผลลัพธ์ที่ได้จากการวิเคราะห์ สามารถทำให้เห็นถึงพฤติกรรมบางอย่างของข้อมูลนั้นๆ ดังนั้น การทำ EDA จึงเป็นพื้นฐานที่จำเป็นและสำคัญอย่างมากสำหรับโครงการ Data Analytics ใครคือทำคนทำ EDA? โดยทั่วไปแล้ว Data Analyst และ Data Science ทั้งสองตำแหน่งสามารถทำ EDA ได้ อย่างไรก็ตาม ขั้นตอน ความละเอียด และแนวทางอาจจะแตกต่างกัน รวมไปถึงเครื่องมือที่ใช้ทำ EDA อีกด้วย แม้ปัจจุบันจะมีเครื่องมือมากมายที่ทำให้การวิเคราะห์ข้อมูลขนาดใหญ่เกิดขึ้นได้ง่ายขึ้น แต่กระบวนการ EDA ก็ยังคงต้องอาศัยทักษะของนักวิเคราะห์เป็นส่วนใหญ่ ดังนั้นพื้นฐานสถิติจึงเป็นหัวใจสำคัญของการวิเคราะห์ไม่ว่าจะขั้นพื้นฐานหรือขั้นสูง และนี่เองทำให้นักวิเคราะห์ที่มีพื้นฐานดีจะสามารถปรับตัวให้เข้ากับเทคโนโลยีใหม่ๆ ได้มากกว่านักวิเคราะห์ที่เน้นการใช้เครื่องมือเพียงอย่างเดียว