Big Data หมายถึง ข้อมูลที่มีการขยายตัวอยู่ตลอดเวลา ต้องนำไปใช้งานโดยเร็ว มีความซับซ้อนเนื่องจากเป็นข้อมูลที่มาจากแหล่งข้อมูลหลายแหล่ง และจะต้องให้ความสำคัญเรื่องคุณภาพของข้อมูลก่อนนำไปใช้งาน ทั้งนี้ Big Data เป็นเพียงทรัพยากร หากต้องการเพิ่มมูลค่าของทรัพยากร ก็จะต้องนำ Big Data นั้นไปผ่านกระบวนการต่าง ๆ โดยมีองค์ประกอบของระบบทั้งสิ้น 5 ส่วน ได้แก่ ส่วนแหล่งที่มาของข้อมูล ส่วนการเชื่อมโยงข้อมูล ส่วนการเก็บดูแลรักษา ส่วนการวิเคราะห์ และส่วยการนำผลลัพธ์ไปใช้งาน ทั้งนี้ในการออกแบบโครงการ ส่วนใหญ่จะประเมินในส่วนสุดท้ายก่อน เพื่อวางเป็นเป้าหมายของโครงการ จากนั้นจะเข้าสู่ขั้นตอนของการชี้แจงรายละเอียดของข้อมูล และแหล่งที่มาของข้อมูล (ในส่วนที่ 1) และส่วนอื่น ๆตามลำดับต่อไป
ในอดีตจนถึงปัจจุบัน ลำดับขั้นตอนของการพัฒนาระบบการใช้ประโยชน์จากข้อมูลนั้น มีที่มาที่ไป และมีลำดับขั้นดังนี้
1. การเก็บข้อมูลแบบโครงสร้าง หรือ Traditional Data Collection ในขั้นแรก เกิดขึ้นตั้งแต่ในยุคที่องค์กรใหญ่ ๆ มีการการสร้าง Data Center เป็นของตัวเอง และมีการใช้ Data Warehouse เพื่อเก็บข้อมูลที่มีโครงสร้างชัดเจน เมื่อใดที่จะใช้ข้อมูล จะต้องติดต่อไปที่แผนก IT เพื่อให้ IT ทำการดึงข้อมูล หรือ ที่เรียกส่า Query ข้อมูลให้
2. เมื่อเข้าสู่ยุค Big Data ที่มีการใช้ข้อมูลมีทั้งแบบ Structured และ Unstructured Data ทำให้การเก็บแบบ Data Warehouse อย่างเดียวอาจจะไม่ตอบโจทย์ เป็นที่มาของการเก็บแบบ Data Lake ที่สามารถเก็บข้อมูลดิบ ได้มากขึ้น นอกจากนี้ ยังมีเครื่องมืออื่น ๆ เช่น Hadoop และ Cloud Computing เข้ามาช่วยเสริมการทำงาน ทำให้สามารถเก็บข้อมูลได้มากขึ้น และมีประสิทธิภาพในการดึงข้อมูลได้มากขึ้นอีกด้วย
3. ต่อมาเมื่อการวิเคราะห์ข้อมูลด้วย Excel อย่างเดียว เป็นอุปสรรคต่อการทำงาน ทำให้เกิดแนวทางการใช้โปรแกรม Business Intelligence หรือ โปรแกรม BI เพื่อก่อให้เกิดการทำงานแบบ Data Driven Business เนื่องจากโปรแกรม BI จะสามารถวิเคราะห์ และแสดงผลเป็น Dashboard ได้ทันที และยังสามารถรองรับข้อมูลในปริมาณที่มากกว่า Excel อีกด้วย
4. ลำดับที่ 4 เป็นการวิเคราะห์เชิงลึก หรือ Advance Analytics เมื่อสมการเดิม ๆ ไม่ตอบโจทย์ และการแข่งขันทางธุรกิจต้องการใช้ Insight หรือข้อมูลเชิงลึกมากขึ้น ซึ่งวิธีที่จะได้มาซึ่งข้อมูลเชิงลึกนั้น จะต้องเป็นวิธีที่เป็นเอกลักษณ์ โดยการใช้ศาสตร์ของ Data Science หรือ วิทยาศาสตร์ข้อมูล
5. ลำดับสุดท้าย คือ ระบบการทำงานของข้อมูลอย่างอัตโนมัติ ที่มีการกระทำเกิดขึ้นโดยไม่จำเป็นต้องมีมนุษย์เป็นผู้ตรวจสอบ เป็นยุคของการใช้ AI นั่นเอง
ทั้งนี้พบว่า หลายองค์กร มีการดำเนินโครงการที่ข้ามขั้น เช่น ยังไม่มี Data Warehouse แต่ไปใช้ BI ก่อน หรือ มีการพัฒนา AI ทั้ง ๆ ที่ยังไม่มี Data Lake ซึ่งก็อาจจะไม่ได้ผิดอะไร เพียงแต่ในมุมของระบบ อาจจะเกิดความยุ่งยากในการพัฒนา เนื่องจากหากรากฐานไม่เรียบร้อย การต่อยอดอาจจะไม่แข็งแรงมากนัก
อย่างไรก็ตาม การดำเนินโครงการ ไม่จำเป็นต้องเรียงลำดับไปเสียหมด สามารถทำควบคู่กันไปได้ เล่น สร้าง Data Lake ไปพร้อม ๆ กับการทำ Advance Analytics ก็ได้ เพราะหัวใจสำคัญของโครงการ Big Data ประกอบไปด้วย 5 ส่วน ได้แก่
แหล่งที่มาของข้อมูล
การเชื่อมโยงข้อมูล
การเก็บรักษาข้อมูล
การวิเคราะห์ข้อมูล
การนำข้อมูลไปใช้ประโยชน์ ทั้งในรูปแบบของ Dashboard, Report และการกระทำ
คำว่า Big Data เป็นคำที่มีที่มาที่ไป และไม่ยากเกินที่จะทำความเข้าใจ ทั้งนี้ในเชิงเทคนิค หรือการปฏิบัติงาน จะมีรายละเอียดเรื่องเครื่องมือ และทักษะในแต่ละงานเพิ่มเติม ซึ่งการดำเนินโครงการ Big Data ส่วนใหญ่ จะเป็นการสร้างระบบแบบ Customized หรือระบบที่เป็นเอกลักษณ์ที่ไม่ซ้ำใคร เนื่องจากข้อมูลของแต่ละโครงการ เป็นข้อมูลที่ไม่เหมือนกัน มีโครงสร้างต่างกัน และมีเป้าหมายในการใช้งานที่ไม่เหมือนกัน บุคลากรที่สามารถดำเนินโครงการ Big Data ได้ จะต้องมีทักษะ และเข้าใจขอบเขตของการทำงานอย่างแท้จริง เพราะโครงการ Big Data เป็นโครงการที่ต้องเร่งดำเนินการให้เกิดขึ้นโดยเร็ว อันเนื่องมาจากข้อมูลที่เกิดขึ้นอยู่ตลอดเวลา เป็นข้อมูลที่ “รอ” ไม่ได้ และหากรอให้เสียเวลาไปเรื่อย ๆ นั่นหมายถึง “โอกาส” ที่กำลังเสียไป โดยที่อาจไม่สามารถเรียกโอกาสนั้นกลับคืนมาได้อีกเลย
ดำเนินโครงการ Big Data อย่างถูกวิธี จะทำให้งบประมาณของโครงการไม่บานปลายและใช้เวลาในการพัฒนาไปนานจนเกินไป
