เราอยู่ในยุคที่ข้อมูลมีความสำคัญสูงสุด ไม่ว่าคุณจะเป็นใคร ข้อมูลที่คุณมีเป็นสิ่งสำคัญและเพื่อจัดเก็บมัน เราต้องการพื้นที่ ทุกคน ตั้งแต่บุคคลทั่วไปไปจนถึงองค์กรขนาดใหญ่ กำลังพยายามหนักๆ เพื่อให้ข้อมูลของพวกเขาเข้าถึงได้และปลอดภัย ในสถานการณ์นี้ Data Lakes จะมาช่วยเราได้ไหม? ถ้าใช่ อย่างไร? อ่านบล็อกนี้จบจนจบ และได้รับความรู้!
Data Lake คืออะไร?
สามารถนิยามได้ว่าเป็นที่เก็บข้อมูลแบบรวมศูนย์ (Centralized Repository) ซึ่งอนุญาตให้คุณแสดงข้อมูลที่มีโครงสร้าง (Structured) และไม่มีโครงสร้าง (Unstructured) ทั้งหมดไว้ที่เดียว จุดที่ดีที่สุดคือ คุณสามารถจัดเก็บมันได้ในสภาพเดิม โดยไม่ต้องจัดโครงสร้างหรือวิเคราะห์มัน ก่อนที่คุณจะเริ่มคิดว่านี่คือแพลตฟอร์ม เราอยากชี้ชัดว่า นี่ไม่ใช่แพลตฟอร์ม มันคือก้อนข้อมูลขนาดใหญ่ที่ถูกจัดการบน Hadoop Data Lakes กำลังได้รับความนิยมมาก เพราะมันไม่ได้แค่ช่วยจัดการข้อมูล แต่ยังได้ค่าของมันด้วย
ได้เห็นว่าองค์กรที่สามารถสร้างค่าจากข้อมูลของพวกเขาได้สำเร็จ มักจะทำได้ดีกว่าคู่แข่ง แต่มันเกิดขึ้นอย่างไร? องค์กรเหล่านั้นสามารถทำการวิเคราะห์หลายประเภทบนข้อมูลที่อยู่บน Data Lake ของพวกเขา ซึ่งช่วยให้พวกเขาระบุโอกาสเติบโตใหม่ๆ ได้โดยไม่มีอุปสรรค ทำให้เพิ่มผลิตภาพ รักษาอุปกรณ์ และตัดสินใจเชิงรุก (Proactive Decisions) ไม่ใช่เรื่องยากเลย! บางคนอาจโต้แย้งว่านี้เหมือน Data Warehousing ทุกประการ แต่ความจริงแตกต่างมาก! ทั้งสองมีความสำคัญและผู้เชี่ยวชาญข้อมูลไม่เคยเลือกอย่างใดอย่างหนึ่งหรือทิ้งอีกอย่างไปอย่างสมบูรณ์ นอกจากนี้ คุณสามารถนำ Machine Learning, Analytics และเครื่องมือวิเคราะห์อื่นๆ ไปใช้ใน Data Lakes ได้ง่ายกว่า Data Warehouses
แหล่งที่มา: aws.amazon.com
แตกต่างจาก Data Warehousing อย่างไร?
แม้ทั้งสองจะแตกต่างกัน แต่ไม่ได้หมายความว่าคุณสามารถทิ้งหนึ่งเพื่ออีกอย่าง ขึ้นอยู่กับความต้องการ องค์กรอาจต้องการอย่างใดอย่างหนึ่งหรือทั้งสอง!
พูดถึงความแตกต่าง จุดสำคัญที่แตกต่างระหว่างทั้งสองคือ Data Lake รับข้อมูล (Ingests Data) อย่างรวดเร็ว และเตรียมมันภายหลังเมื่อผู้คนเริ่มเข้าถึง ในทางกลับกัน ในกรณีของ Data Warehousing ข้อมูลต้องถูกวิเคราะห์อย่างละเอียดก่อนที่จะปล่อยให้เข้า Warehouse เราไม่สามารถปฏิเสธได้ว่าการดึงข้อมูลผ่านคำสั่ง SQL ใดๆ เร็วกว่า แต่การจัดเรียงข้อมูลในรูปแบบเป็นระบบไม่ใช่เรื่องง่าย ในกรณีของ Data Lakes การดึงข้อมูลอาจนานกว่า แต่คุณสามารถจัดเก็บข้อมูลได้ง่าย
องค์กรตระหนักรู้เกี่ยวกับ Data Lakes และจึงพยายามพัฒนาไปสู่ Data Lakes จาก Data Warehouses เพื่อทราบจุดแตกต่างโดยละเอียด โปรดอ้างอิงตารางด้านล่าง:
แหล่งที่มา: aws.amazon.com
นอกจากนี้ เราไม่สามารถไม่สนใจข้อเท็จจริงที่ว่ารูปแบบการวิเคราะห์ต้องการข้อมูลต้นทางโดยละเอียด และนั่นคือเหตุผลที่ Data Lake ไม่แพ้สมบัติสำหรับ Data Analytics! อย่างไรก็ตาม เราไม่สามารถไม่สนใจข้อเท็จจริงที่ว่า Data Lakes ทำให้ข้อมูลใช้ได้ แต่ต้องการกลไกที่กำหนดสำหรับการจัดเก็บข้อมูล
มีอุปสรรคใดๆ สำหรับ Data Lakes ไหม?
แน่นอนว่ามี ไม่มีสิ่งใดสมบูรณ์แบบ! ในกรณีของ Data Lake มีปัญหาบางประการ ซึ่งมีดังนี้:
การออกแบบ Data Lakes
เนื่องจากบริษัทส่วนใหญ่อัปเกรด Data Warehouse เป็น Data Lake การออกแบบจึงไม่ได้บรรลุเป้าหมายอย่างแม่นยำ เหตุผลคือ Data Lakes เรียบง่ายและสามารถจัดเก็บข้อมูลดิบ (Raw Data) ในขณะที่ Data Warehouse ต้องการรูปแบบที่มีโครงสร้างสูงสำหรับสิ่งเดียวกัน เราไม่สามารถย้ายจากหนึ่งไปอีกอย่างโดยไม่ปรับปรุงการออกแบบ เพราะถ้าเราล้มเหลว เราจะติดอยู่ตรงกลาง
แหล่งที่มา: in.pcmag.com
ความปลอดภัย
ผู้โจมตีตอนนี้เตรียมพร้อมด้วยความรู้และเครื่องมือที่จะเจาะเข้าไปในระบบของผู้อื่น ดังนั้น การเก็บข้อมูลที่มีค่าของคุณบน Data Lake โดยไม่เพิ่มชั้นความปลอดภัยเพิ่มเติม อาจกลายเป็นข้อผิดพลาดใหญ่ที่สุดของชีวิตคุณ ข้อมูลที่ไม่มีโครงสร้างสามารถถูกแยกออกมาได้ง่าย หรือแม้แต่ช่วยขอค่าไถ่ (Ransom) ในกรณีที่ขาดความปลอดภัย
ความพร้อมของบุคลากรที่มีทักษะ
ใช่ เรากำลังปรับปรุงเทคโนโลยีจัดเก็บข้อมูลอย่างชั่วคราว (Exponentially) แต่ยังมีช่องว่างระหว่างทักษะที่ต้องการและผู้เชี่ยวชาญที่มีอยู่ ผู้ที่ตระหนักรู้เรื่องนี้และรู้จักจัดการระบบดังกล่าว จำนวนจำกัด แตบริษัทกำลังเร่งร้อนพัฒนาโดยไม่คำนึงถึงสิ่งนี้
นี่คือบางพื้นที่ที่เราเผชิญความท้าทาย และผู้เชี่ยวชาญได้สื่อสารว่าอาจมีอีกมากมายเมื่อเราเริ่มใช้ Data Lakes ในระยะกว้าง
สรุปได้ว่า เทคโนโลยีที่กำลัง nổiขึ้น ใช้เวลาในการปลดล็อกศักยภาพเต็มที่ และคาดหวังเหมือนกันจากนี้ อย่างไรก็ตาม ผู้ที่เริ่มต้นการเดินทางตอนนี้ จะได้รับประโยชน์ในระยะยาวแน่นอน ดังนั้น จงเก็บตาจากเรื่องนี้เพราะมันเป็นสิ่งใหม่และมีศักยภาพที่จะเติบโตเกินคาดหมายของคุณ
คุณคิดอย่างไร? อย่าลืมระบุมุมมองของคุณในส่วนความคิดเห็นด้านล่าง!
