Data Management ต้องเริ่มจากอะไร?

Data Management เป็นโครงการของฝั่ง IT โดยมีวัตถุประสงค์เพื่อบริหารจัดการให้ข้อมูลมีความพร้อมใช้ให้มากที่สุด ซึ่งในกรอบของโครงการ Big Data การดำเนินโครงการ Data Management ประกอบไปด้วยกิจกรรมดังต่อไปนี้

1. การสร้าง Data Lake เพื่อเป็นแหล่งเก็บข้อมูลที่มีโครงสร้าง และไม่มีโครงสร้าง โดยข้อมูลที่อยู่ใน Data Lake ไม่จำเป็นต้องมีรูปแบบเดียวกัน โดยอาจเก็บข้อมูลในรูปแบบ Raw Data เพื่อนำไป Process ต่อที่ส่วนถัดไป

Data Lake จะเป็น Data Lake จริง ๆ ก็ต่อเมื่อ มีการเก็บข้อมูลที่มากกว่าแหล่งข้อมูลเดียว ดังนั้น การมี ERP ระบบเดียว จึงไม่เรียกว่าเป็น Data Lake นั่นเอง

2. การปรับปรุงคุณภาพของข้อมูล โดยกระบวนการนี้ จะแบ่งออกเป็น การ Validate Data ในเชิงโครงสร้าง เช่น การค้นหาข้อมูลซ้ำซ้อน การหา Missing Value เป็นต้น และอีกส่วน เป็นการวิเคราะห์คุณภาพในการนำไปใช้ เช่น อำเภอตรงกับจังหวัดหรือไม่ เลข 13 หลัก ครบถ้วนหรือไม่ เป็นต้น

กระบวนการปรับปรุงคุณภาพของข้อมูล จะเกี่ยวข้องกับเจ้าของข้อมูล และฝั่ง IT ดังนั้น การดำเนินโครงการเพื่อปรับปรุงคุณภาพของข้อมูลทุกฝ่ายที่เกี่ยวข้อง จะต้องให้ความช่วยเหลือซึ่งกันและกัน

3. การออกแบบ Data Warehouse แม้ Data Warehouse จะไม่ใช่ Concept ใหม่ แต่สำหรับโครงการ Big Data นั้น การทำ Data Warehouse จะไม่ใช่แค่การเก็บข้อมูลเอาไว้เฉยๆ เพราะข้อมูลใน Data Warehouse จะผ่านกระบวนการในการ Transform เพื่อให้มีความพร้อมใช้จริงๆ

4. จัดทำรายละเอียดข้อมูลต่าง ๆ เช่น Metadata, Data Dictionary, ER-Diagram แม้จะเป็นเรื่องพื้นฐาน แต่เชื่อหรือไม่ว่า หลายองค์กรไม่ได้มีการจัดทำเอกสาร หรือรายละเอียดข้อมูลเหล่านี้เอาไว้ ทำให้ยากต่อการนำข้อมูลมาเชื่อมโยงกัน หรือแม้กระทั่ง ปัญหาที่ไม่รู้ว่ามีการเก็บข้อมูลไว้ที่ไหนอย่างไรบ้าง

อย่างไรก็ตาม การดำเนินโครงการ Data Management จะให้ผลลัพธ์เป็นข้อมูลที่พร้อมใช้ ซึ่งอาจจะไม่ตอบโจทย์ในฝั่ง Business ที่ต้องการผลลัพธ์ที่จับต้องได้ เช่น มี Dashboard หรือ มี ROI ทำให้การวางแผนเพื่อทำโครงการ Data Management มักจะได้รับคำถามจากผู้บริหารที่ว่า "จะทำไปทำไม"

เมื่อเกิดเป็นปัญหาเรื้อรัง สุดท้ายแล้ว โครงการที่เกี่ยวกับ Data ภายในองค์กร จึงกระจัดกระจาย ตามการลงทุนของแต่ละ BU และไม่สามารถนำข้อมูลต่าง ๆ มาเชื่อมโยงกันได้

ดังนั้น คำถามที่ว่า Data Management ต้องเริ่มจากอะไร ???

คำตอบคือ .... เริ่มจากทีม IT ที่มีความพร้อมในการบริหารข้อมูล โดยต้องมี Data Engineer ทำหน้าที่ออกแบบ Data Pipeline นอกจากนี้ ทีม IT ยังต้องสามารถระบุปัญหาของการขาด Data Management ที่ดีให้ผู้บริหารทราบอีกด้วย

อย่างไรก็ตาม การขึ้นโครงการ กับการบำรุงรักษาระบบ มีความแตกต่างกัน การขึ้นโครงการ จำเป็นต้องมีผู้เชี่ยวชาญที่มีประสบการณ์เป็นผู้ออกแบบระบบ และยังต้องเป็นระบบที่มีความยืดหยุ่นเพื่อรองรับข้อมูลในอนาคต ในขณะที่ผู้ดูแลระบบ จะมีหน้าที่ในการเข้าใจรูปแบบการทำงานของระบบที่มีการพัฒนาขึ้นเรียบร้อยแล้ว

หากไม่ดำเนินโครงการ Data Management ณ วันนี้ ข้อมูลที่เก็บอย่างกระจัดกระจาย จะยิ่งมีปริมาณที่มากขึ้นเรื่อยๆ เมื่อรู้ตัวอีกครั้ง โครงการ Data Management จะมีขนาดใหญ่ และมีความยากลำบากขึ้นเรื่อย ๆ ตามปริมาณของข้อมูลนั่นเองค่ะ