การดำเนินงานโครงการ Big Data มีขอบเขตที่ค่อนข้างกว้างและแต่ละโครงการจะมีวัตถุประสงค์ที่แตกต่างกัน เช่น
บางโครงการต้องการสร้าง Data Lake เพื่อสร้างถังข้อมูลกลาง บางโครงการต้องการทำ Data Analytics ที่ใช้ข้อมูลระดับ Big Data บางโครงการต้องการสร้างช่องทางในการเข้าถึงข้อมูลที่เป็น Insight เป็นต้น
ดังนั้นแต่ละโครงการ จะมีวิธีการทำงานที่แตกต่างกัน
วันนี้ Coraline ขอเสนอ ขั้นตอน หรือ Working Process สำหรับโครงการ Big Data ที่มีทั้งในส่วนของ Data Management, Data Analytics และการพัฒนาช่องทางการนำเสนอดังภาพ
1. Business Understanding เป็นการทำความเข้าใจปัญหา การตั้งโจทย์ และวางของเขตของการทำงาน
2. System Understanding ศึกษาระบบที่มีอยู่เดิมและการต่อยอดไประบบใหม่เป็นการออกแบบระบบที่จะเข้าสู่ Big Data Ecosystem
3. System Integration การ Setup ระบบ Infrastructure เพื่อสร้างเป็น Big Data Platform
4. Data Understanding ทำความเข้าใจชุดข้อมูลที่จะนำเข้าระบบ
5. Data Pipeline and Integration ออกแบบ และสร้าง Data Pipeline โดยคำนึงถึงการเชื่อมโยงข้อมูล ซึ่งข้อมูลดิบจะถูกจัดเก็บที่ Data Lake
6. Data Warehouse and Data Mart Development ออกแบบและพัฒนา Data Warehouse และโครงสร้างของ Data Mart
7. Data Modeling การสร้าง Model เพื่อการวิเคราะห์ข้อมูลโดยอาจมีหลาย Model
8. Model Evaluation การประเมินผลลัพธ์ที่ได้จากการวิเคราะห์
9. Outcome Development การออกแบบและพัฒนาช่องทางในการนำเสนอผลลัพธ์ เช่น BI, Application หรือการเชื่อมต่อกับระบบอื่น
10. Testing การทดสอบระบบ
11. Project Transfer การส่งมอบระบบเพื่อเตรียมนำไปใช้งาน
12. Knowledge Transfer การถ่ายทอดองค์ความรู้ให้ผู้ดูแลในส่วนงานต่างๆ
ในการพัฒนาโครงการ แต่ละโครงการจะมีรายละเอียดที่แตกต่างกันไป ซึ่งขั้นตอนที่ 12 ขั้นตอนนี้อาจจะทำพร้อมกันเป็นแบบ Parallel ในบางขั้นตอนได้และบางโครงการก็อาจจะมีไม่ครบ 12 ขั้นตอน
อย่างไรก็ตามเมื่อเรียกว่าเป็นโครงการ Big Data แล้ว ในการพัฒนาโครงการจึงมีความซับซ้อนและมีผู้เกี่ยวข้องหลายฝ่าย ดังนั้น"การวางแผนโครงการ" จึงเป็นส่วนที่สำคัญที่สุด
