อัพเดตเมื่อ: 17 พ.ค. 2023
การดำเนินงานโครงการ Big Data มีขอบเขตที่ค่อนข้างกว้างและแต่ละโครงการจะมีวัตถุประสงค์ที่แตกต่างกัน เช่น
บางโครงการต้องการสร้าง Data Lake เพื่อสร้างถังข้อมูลกลาง
บางโครงการต้องการทำ Data Analytics ที่ใช้ข้อมูลระดับ Big Data
บางโครงการต้องการสร้างช่องทางในการเข้าถึงข้อมูลที่เป็น Insight เป็นต้น
ดังนั้นแต่ละโครงการ จะมีวิธีการทำงานที่แตกต่างกัน
วันนี้ Coraline ขอเสนอ ขั้นตอน หรือ Working Process สำหรับโครงการ Big Data ที่มีทั้งในส่วนของ Data Management, Data Analytics และการพัฒนาช่องทางการนำเสนอดังภาพ
1. Business Understanding
เป็นการทำความเข้าใจปัญหา การตั้งโจทย์ และวางของเขตของการทำงาน
2. System Understanding
ศึกษาระบบที่มีอยู่เดิมและการต่อยอดไประบบใหม่เป็นการออกแบบระบบที่จะเข้าสู่ Big Data Ecosystem
3. System Integration
การ Setup ระบบ Infrastructure เพื่อสร้างเป็น Big Data Platform
4. Data Understanding
ทำความเข้าใจชุดข้อมูลที่จะนำเข้าระบบ
5. Data Pipeline and Integration
ออกแบบ และสร้าง Data Pipeline โดยคำนึงถึงการเชื่อมโยงข้อมูล ซึ่งข้อมูลดิบจะถูกจัดเก็บที่ Data Lake
6. Data Warehouse and Data Mart Development
ออกแบบและพัฒนา Data Warehouse และโครงสร้างของ Data Mart
7. Data Modeling
การสร้าง Model เพื่อการวิเคราะห์ข้อมูลโดยอาจมีหลาย Model
8. Model Evaluation
การประเมินผลลัพธ์ที่ได้จากการวิเคราะห์
9. Outcome Development
การออกแบบและพัฒนาช่องทางในการนำเสนอผลลัพธ์ เช่น BI, Application หรือการเชื่อมต่อกับระบบอื่น
10. Testing
การทดสอบระบบ
11. Project Transfer
การส่งมอบระบบเพื่อเตรียมนำไปใช้งาน
12. Knowledge Transfer
การถ่ายทอดองค์ความรู้ให้ผู้ดูแลในส่วนงานต่างๆ
ในการพัฒนาโครงการ แต่ละโครงการจะมีรายละเอียดที่แตกต่างกันไป ซึ่งขั้นตอนที่ 12 ขั้นตอนนี้อาจจะทำพร้อมกันเป็นแบบ Parallel ในบางขั้นตอนได้และบางโครงการก็อาจจะมีไม่ครบ 12 ขั้นตอน
อย่างไรก็ตามเมื่อเรียกว่าเป็นโครงการ Big Data แล้ว ในการพัฒนาโครงการจึงมีความซับซ้อนและมีผู้เกี่ยวข้องหลายฝ่าย ดังนั้น"การวางแผนโครงการ" จึงเป็นส่วนที่สำคัญที่สุด