โครงการ Big Data คือ โครงการใช้ประโยชน์จากข้อมูลขนาดใหญ่ ที่มีความหลากหลาก และมักจะมีแหล่งที่มาของข้อมูลมากกว่า 1 แหล่ง จึงมีความซับซ้อนทั้งในมุมของระบบ และในมุมของการวิเคราะห์
สำหรับปัจจัยที่ทำให้ Big Data สำเร็จได้นั้น มี 6 ประการ ได้แก่
1. Data ข้อมูลที่พร้อม และมีคุณภาพที่มากพอ
โครงการ Big Data อาจจะต้องการข้อมูลที่มีขนาดมากพอ แต่ความสำคัญไม่ได้อยู่ที่ความใหญ่ของข้อมูล แต่อยู่ที่ความพร้อมของการได้มาซึ่งข้อมูลที่มีคุณภาพเสียมากกว่า การจะเป็น Big Data ได้ นั้นหมายถึงข้อมูลที่มีการไหลเข้าอย่างต่อเนื่อง ทำให้ขนาดของข้อมูลขยายแบบเท่าตัวตลอดเวลา การจะบริหารข้อมูลที่มีการขยายตัวขนาดนั้น จำเป็นต้องมีการสร้างระบบการเก็บ และเชื่อมโยงข้อมูลให้ดี นอกจากนี้ ยังต้องมีการปรับโครงสร้างของข้อมูล และมีการประเมินคุณภาพของข้อมูลอีกด้วย
2. Methodology หรือ วิธีการในการใช้ข้อมูล แบ่งออกเป็น 2 ประเด็น
การสร้างระบบในการเก็บ และเชื่อมโยงข้อมูล โดยต้องอาศัยหลักการ ETL (Extract-Transform-Load) และมีการสร้าง Data Lake ที่มีคุณภาพมากพอ
การสร้างระบบในการประมวลผล และแสดงผลลัพธ์ ยิ่งเป็นโครงการที่มีความซับซ้อนมากเท่าไหร่ ก็ยิ่งต้องมีระบบการประมวลผลที่เป็นเอกลักษณ์ และอาจจะต้องทำ Customized Data Model ขึ้นมา ส่วนการแสดงผลลัพธ์นั้น คนที่สามารถเสนอความต้องการได้ดีที่สุด ก็คือ นักวิเคราะห์ นั่นเอง
3. People หรือ บุคลากรที่มีความเชี่ยวชาญ
ในการทำโครงการ Big Data จำเป็นต้องมีผู้เชี่ยวชาญที่หลากหลาย โดยพื้นฐานแล้ว ประกอบไปด้วย
Data Engineer ทำหน้าที่ออกแบบ Data Pipeline ตั้งแต่การนำข้อมูลดิบเข้าระบบ ออกแบบ Data Lake สร้าง Data Mart เตรียมข้อมูลก่อนนำไปวิเคราะห์
Data Scientist ทำหน้าที่ออกแบบ Data Model
Data Analyst ทำหน้าที่เสนอความต้องการในการใช้ประโยชน์จากข้อมูล และออกแบบช่องทางการแสดงผล
Business Analyst คนที่ให้ความต้องการในเชิงการทำงาน และการดำเนินธุรกิจ
Smart User อาจจะเป็นคนหน้างาน ที่จะต้องเป็นผู้ใช้ระบบ หรือเกี่ยวข้องกับการได้มาซึ่งข้อมูลดิบ
Project Manager ผู้ทำหน้าที่ควบคุมการทำงาน ทั้งในเรื่องของงบประมาณ และระยะเวลาในการดำเนินการแต่ละส่วน
บางโครงการ อาจจะต้องการ Data Visualization Designer หรือ Software Engineer และตำแหน่งอื่นๆ อีกด้วย
อย่างไรก็ตาม ไม่ใช่ว่าทุกองค์กรจะต้องมีผู้เชี่ยวชาญเป็นพนักงานประจำ เพราะโครงการ Big Data บางโครงการ เป็นโครงการที่ทำแบบ Project Base ทำให้มีโอกาสในการพัฒนาไม่บ่อยครั้ง การจ้างพนักงานประจำอาจจะไม่เหมาะสมนัก
ทั้งนี้ ปัญหาที่เกิดขึ้นส่วนใหญ่ คือ การที่เจ้าของโครงการ ไม่สามารถมองหา Vendor ที่เหมาะสมได้ เพราะยังไม่สามารถวางเป้าหมายของโครงการให้ชัดเจนได้ และยังเข้าใจแนวทางในการประเมินผลลัพธ์
4. Timeline หรือ การกำหนดระยะเวลาของโครงการให้ชัดเจน และเหมาะสม
แม้จะได้ชื่อว่าเป็นโครงการ Big Data ก็ไม่ได้หมายความว่าจะต้องเป็นโครงการที่ใช้ระยะเวลายาวนาน นอกจากนี้ โครงการ Big Data ส่วนใหญ่แล้ว จะเป็นโครงการที่เกี่ยวข้องกับ Technology ซึ่งมี Life Cycle ที่ต่ำ ดังนั้น การดำเนินโครงการที่ดี คือ มีระยะเวลาที่เหมาะสม และสามารถปรับเปลี่ยนได้ เมื่อมี Technology ใหม่ๆ เกิดขึ้น
การกำหนดระยะเวลาในการดำเนินโครงการที่ชัดเจน จะเป็นตัวเร่งที่ดี เพราะหากไม่มีกำหนดของระยะเวลา ก็อาจจะเกิดจากล่าช้าไปเรื่อยๆ
5. Technology หรือ เครื่องมือ
แม้ว่าจะเป็นโครงการที่เกี่ยวข้องกับ Technology แต่ Technology กลับเป็นเรื่องรอง เมื่อเทียบกับข้อ 1-5 เพราะ Technology นี้ เป็นเพียงเครื่องมือเท่านั้น ความสำคัญ คือ ต้องเลือกเครื่องมือที่เหมาะสม
ปัญหาส่วนใหญ่ที่เกิดขึ้น คือ การนำ Technology เป็นต้นเรื่อง โดยไม่มีการวางเป้าหมายของการทำงานที่ชัดเจน และไม่มีการวิเคราะห์ความเหมาะสมของ Technology นั้นๆ เช่น จะใช้ โปรแกรม BI โดยไม่มีการเปลี่ยนเทียบว่า โจทย์แบบนี้ เหมาะกับ BI หรือไม่
6.Leadership and Engagement หรือ ความเป็นผู้นำ และ การให้ความร่วมมือกัน
โครงการ ยิ่งมีขนาดใหญ่ และต้องการให้สำเร็จโดยเร็วมากเท่าไหร่ ก็ยิ่งต้องมี “ผู้นำ” ที่เข้าใจ และสามารถตัดสินใจแก้ปัญหาได้อย่างเฉียบขาดมากเท่านั้น นอกจากนี้ ความร่วมมือของทีมงานก็สำคัญเช่นกัน เพราะทีมงานทุกคน ถือเป็นเจ้าของข้อมูลในแต่ละส่วน ผู้มีหน้าที่รับผิดชอบความสมบูรณ์แบบของข้อมูล ซึ่ง “ข้อมูล” นี้ จะเป็นตัวตั้งต้นในการสร้าง Model เพื่อนำไปใช้งานต่อไป
