Data Management ต้องเริ่มจากอะไร?

Data Management เป็นโครงการของฝั่ง IT โดยมีวัตถุประสงค์เพื่อบริหารจัดการให้ข้อมูลมีความพร้อมใช้ให้มากที่สุด ซึ่งในกรอบของโครงการ Big Data การดำเนินโครงการ Data Management ประกอบไปด้วยกิจกรรมดังต่อไปนี้

1. การสร้าง Data Lake เพื่อเป็นแหล่งเก็บข้อมูลที่มีโครงสร้างและไม่มีโครงสร้าง โดยข้อมูลที่อยู่ใน Data Lake ไม่จำเป็นต้องมีรูปแบบเดียวกัน โดยอาจเก็บข้อมูลในรูปแบบ Raw Data เพื่อนำไป Process ต่อที่ส่วนถัดไป

Data Lake จะเป็น Data Lake จริงๆ ก็ต่อเมื่อมีการเก็บข้อมูลที่มากกว่าแหล่งข้อมูลเดียว ดังนั้นการมี ERP ระบบเดียวจึงไม่เรียกว่าเป็น Data Lake นั่นเอง

2. การปรับปรุงคุณภาพของข้อมูล โดยกระบวนการนี้จะแบ่งออกเป็น การ Validate Data ในเชิงโครงสร้าง เช่น การค้นหาข้อมูลซ้ำซ้อน การหา Missing Value เป็นต้น และอีกส่วนเป็นการวิเคราะห์คุณภาพในการนำไปใช้ เช่น อำเภอตรงกับจังหวัดหรือไม่ เลขบัตรประชาชนมี 13 หลักครบถ้วนหรือไม่ เป็นต้น

กระบวนการปรับปรุงคุณภาพของข้อมูลจะเกี่ยวข้องกับเจ้าของข้อมูลและฝั่ง IT ดังนั้นการดำเนินโครงการเพื่อปรับปรุงคุณภาพของข้อมูลทุกฝ่ายที่เกี่ยวข้องจะต้องให้ความช่วยเหลือซึ่งกันและกัน

3. การออกแบบ Data Warehouse แม้ Data Warehouse จะไม่ใช่ Concept ใหม่ แต่สำหรับโครงการ Big Data นั้น การทำ Data Warehouse จะไม่ใช่แค่การเก็บข้อมูลเอาไว้เฉยๆ เพราะข้อมูลใน Data Warehouse จะผ่านกระบวนการในการ Transform เพื่อให้มีความพร้อมใช้จริงๆ

4. จัดทำรายละเอียดข้อมูลต่าง ๆ เช่น Metadata, Data Dictionary, ER-Diagram แม้จะเป็นเรื่องพื้นฐาน แต่หลายองค์กรก็ไม่ได้มีการจัดทำเอกสารหรือรายละเอียดข้อมูลเหล่านี้เอาไว้ ทำให้ยากต่อการนำข้อมูลมาเชื่อมโยงกัน หรือแม้กระทั่งปัญหาที่ไม่รู้ว่ามีการเก็บข้อมูลไว้ที่ไหนอย่างไรบ้าง

อย่างไรก็ตาม การดำเนินโครงการ Data Management จะให้ผลลัพธ์เป็นข้อมูลที่พร้อมใช้ ซึ่งอาจจะไม่ตอบโจทย์ในฝั่ง Business ที่ต้องการผลลัพธ์ที่จับต้องได้ เช่น มี Dashboard หรือ มี ROI ทำให้การวางแผนเพื่อทำโครงการ Data Management มักจะได้รับคำถามจากผู้บริหารที่ว่า "จะทำไปทำไม"

เมื่อเกิดเป็นปัญหาเรื้อรัสุดท้ายแล้วโครงการที่เกี่ยวกับ Data ภายในองค์กรจึงกระจัดกระจายตามการลงทุนของแต่ละ BU และไม่สามารถนำข้อมูลต่างๆ มาเชื่อมโยงกันได้

ดังนั้น คำถามที่ว่า Data Management ต้องเริ่มจากอะไร ???

คำตอบคือ ต้องเริ่มจากทีม IT ที่มีความพร้อมในการบริหารข้อมูล โดยต้องมี Data Engineer ทำหน้าที่ออกแบบ Data Pipeline นอกจากนี้ ทีม IT ยังต้องสามารถระบุปัญหาของการขาด Data Management ที่ดีให้ผู้บริหารทราบอีกด้วย

อย่างไรก็ตาม การขึ้นโครงการ กับการบำรุงรักษาระบบ มีความแตกต่างกัน การขึ้นโครงการ จำเป็นต้องมีผู้เชี่ยวชาญที่มีประสบการณ์เป็นผู้ออกแบบระบบและยังต้องเป็นระบบที่มีความยืดหยุ่นเพื่อรองรับข้อมูลในอนาคต ในขณะที่ผู้ดูแลระบบจะมีหน้าที่ในการเข้าใจรูปแบบการทำงานของระบบที่มีการพัฒนาขึ้นเรียบร้อยแล้ว

หากไม่ดำเนินโครงการ Data Management ณ วันนี้ ข้อมูลที่เก็บอย่างกระจัดกระจายจะยิ่งมีปริมาณที่มากขึ้นเรื่อยๆ เมื่อรู้ตัวอีกครั้งโครงการ Data Management จะมีขนาดใหญ่และมีความยากลำบากขึ้นเรื่อยๆ ตามปริมาณของข้อมูลนั่นเอง