มี Data Warehouse อยู่แล้วต้องทำ Data Hub ไหม

Data Warehouse เป็นเทคโนโลยีที่มาก่อน Data Hub โดยจะเป็นการจัดทำฐานข้อมูลในโครงสร้างใดโครงสร้างหนึ่ง ก่อนหน้านี้ถูกออกแบบมาเพื่อเก็บข้อมูลในวัตถุประสงค์ใดวัตถุประสงค์หนึ่ง จึงไม่แปลกที่หลายองค์กรจะมี Data Warehouse อยู่แล้ว เมื่อเข้าสู่ยุค Big Data เราต้องใช้ข้อมูลที่หลากหลายขึ้น กระจัดกระจายมากขึ้น มีที่มาจากหลายระบบ หลายโครงสร้าง จึงมี Concept ของ Data Hub เพื่อเก็บข้อมูลเหล่านั้นไว้ด้วยกัน ทำการเชื่อมโยง และจัดโครงสร้างใหม่ ลองจินตนาการว่า เราต้องมีการใช้ข้อมูลจากระบบ SAP ร่วมกับข้อมูลจาก POS ที่มี Database ยี่ห้อ Microsoft และมีข้อมูลบางส่วนเก็บใน CRM ที่ใช้ Database Oracle แค่จินตนาการ ก็สัมผัสได้ถึงความยุ่งยากแล้ว ซึ่งการที่ Data Warehouse ถูกออกแบบมาด้วยโครงสร้างใดโครงสร้างหนึ่ง ทำให้ข้อมูลที่ไม่ได้อยู่ในโครงสร้างเดียวกันกับ Data Warehouse ไม่สามารถนำมาเชื่อมโยงกันได้ นอกจากนี้ยังพบปัญหา ข้อมูลไม่สะอาด อันเนื่องมาจากการเพิ่ม Field ไปเรื่อยๆ ทำให้ค่าเดิมถูกแทนที่ด้วย Null ก็เป็นอีกหนึ่งข้อจำกัดของ Data Warehouse Data Hub แตกต่างจาก Data Warehouse โดยจะเริ่มจาก Data Lake ที่เก็บข้อมูลดิบตั้งต้นเอาไว้ จากนั้นจะมีกระบวนการ Transform บางส่วนมาไว้ที่ Data Warehouse และจัดเตรียมบางส่วนแยกไปไว้ที่ Data Mart ต่างๆ ซึ่งถ้าไม่มี Data lake จะทำให้เราไม่สามารถเก็บข้อมูลที่มีโครงสร้างแตกต่างกันได้ และถ้าไม่มี Data Mart ก็จะเป็นภาระที่ IT ต้องคอย Query ข้อมูลจาก Data Warehouse ให้ user อยู่ร่ำไป ดังนั้น Data Warehouse ที่องค์กรมี อาจจะไม่ใช่คำนิยามเดียวกับ Data Warehouse ใน Data Hub เสมอไปค่ะ เพราะ Data Warehouse ใน Data Hub จะมีกระบวนการจัดการ และมีการทำความสะอาดข้อมูลก่อนนำไปใช้ ในขณะที่ ถ้ามีแต่ Data Warehouse อย่างเดียว การเก็บข้อมูลอาจจะไม่ครบถ้วน และไม่มีถังพัก หรือ ถังกลั่นกรองก่อนนำไปใช้นั่นเอง สำหรับคำถามที่ว่า มี Data Warehouse อยู่แล้วต้องทำ Data Hub ไหม? คำตอบคือ ถ้าต้องการเก็บข้อมูลจากแหล่งข้อมูลที่มากกว่า 1 แหล่ง ก็ควรมีการทำ Data Hub เพื่อประสิทธิภาพที่ดีขึ้น และทำให้เกิดความยืดหยุ่นในการทำงานอีกด้วย