เมื่อครั้งก่อนเราพูดถึง Big Data เราพูดถึงเทคนิควิเคราะห์ Big Data ต่างๆ ก่อนหน้านั้นเราพูดถึงมุมมองต่างๆ ของ Big Data ในบล็อกหนึ่ง ฉันอธิบาย "Functionalities of Big Data Reference Architecture Layers" ตามที่กล่าวไว้ ต่อยอดในเส้นทางเดียวกัน ในบล็อกนี้เราจะพูดถึง "Top 10 Open Source Data Extraction Tools"
เครื่องมือสกัดข้อมูล Big Data ช่วยรวบรวมข้อมูลจากแหล่งต่างๆ และแปลงเป็นรูปแบบที่มีโครงสร้าง คำที่ใช้ทั่วไปคือ "ETL - Extract Transform and Load" ฟังก์ชันของเครื่องมือเหล่านี้แบ่งได้ 3 階段:
- สกัดข้อมูลจากแหล่งข้อมูล homogeneous หรือ heterogeneous
- แปลงข้อมูลเพื่อจัดเก็บในรูปแบบหรือโครงสร้างที่เหมาะสมสำหรับการสืบค้นและวิเคราะห์
- โหลดไปยังเป้าหมายสุดท้าย (ฐานข้อมูล โดยเฉพาะ operational data store, data mart, หรือ data warehouse)
ปกติในเครื่องมือ ETL ทั้ง 3 階段ทำงานแบบ parallel เนื่องจากการสกัดข้อมูลใช้เวลา ขณะดึงข้อมูล กระบวนการแปลงก็ประมวลผลข้อมูลที่ได้รับแล้ว และเตรียมข้อมูลสำหรับการโหลด และทันทีที่มีข้อมูลพร้อมโหลด กระบวนการโหลดก็เริ่มทำงานทันที ไม่ต้องรอการสิ้นสุดของขั้นตอนก่อนหน้า
นี่คือรายการ Top 10 เครื่องมือสกัดข้อมูลหรือ ETL โอเพนซอร์ส:
1. Talend Open Studio
Talend Open Studio เป็นเครื่องมือ ETL การบูรณาการข้อมูลทรงพลังที่สุดในตลาด ชุดผลิตภัณฑ์โอเพนซอร์สที่หลากหลายสำหรับการพัฒนา ทดสอบ ปรับใช้ และบริหารจัดการโครงการจัดการข้อมูลและการบูรณาการแอปพลิเคชัน สำหรับโครงการ ETL Talend Open Studio for Data Integration ให้โซลูชันหลายอย่างสำหรับการบูรณาการข้อมูล ทั้งเวอร์ชันโอเพนซอร์สและเชิงพาณิชย์ Talend ให้ชุดคุณสมบัติครบครัน รวมถึงสภาพแวดล้อมพัฒนาแบบกราฟิกที่รวมเข้าด้วยกันพร้อมอินเตอร์เฟซ Eclipse ที่เข้าใจง่าย ด้วยการออกแบบแบบลากวาง และการเชื่อมต่อกว้างขวางมากกว่า 400 ตัวเชื่อมต่อที่กำหนดค่าไว้ล่วงหน้า เพื่อเชื่อมระหว่างฐานข้อมูล เมนเฟรม ระบบไฟล์ เว็บเซอร์วิส แอปพลิเคชันองค์กรแบบแพ็กเกจ คลังข้อมูล แอปพลิเคชัน OLAP SaaS แอปพลิเคชันบนคลาวด์ และอื่นๆ
2. Scriptella
Scriptella เป็นเครื่องมือ ETL โอเพนซอร์สจาก Apache ซึ่งนอกจากการทำงาน extract, transform, load แล้ว ยังใช้ในการรัน Java scripting เครื่องมือที่เรียบง่ายและใช้งานง่าย โดดเด่นด้วยความสะดวกในการใช้งาน คุณสมบัติรวมถึงการรันสคริปต์ที่เขียนใน SQL, JavaScript, JEXL, Velocity การย้ายฐานข้อมูล ความสามารถร่วมทำงานกับ LDAP, JDBC, XML และแหล่งข้อมูลอื่นๆ การดำเนินการ ETL ข้ามฐานข้อมูล นำเข้า/ส่งออกจาก/ไปยัง CSV, text, XML และรูปแบบอื่นๆ
3. KETL
KETL เป็นหนึ่งในเครื่องมือโอเพนซอร์สที่ดีที่สุดสำหรับ Data Warehousing โครงสร้างแบบ Java-oriented พร้อม XML และภาษาอื่นๆ Engine สร้างบนสถาปัตยกรรม XML-based แบบ multi-threaded และเปิด คุณสมบัติหลักของ KETL รวมถึงการรองรับการบูรณาการเครื่องมือความปลอดภัยและจัดการข้อมูล ความสามารถในการขยายตัวที่พิสูจน์แล้วข้ามเซิร์ฟเวอร์และ CPU หลายตัว และปริมาณข้อมูลทุกขนาด และไม่ต้องการเครื่องมือ排程, dependency และ notification ของบุคคลที่สามเพิ่มเติม
4. Pentaho Data Integrator – Kettle
ตาม Pentaho เอง เป็นผู้ให้บริการ BI ที่นำเสนอเครื่องมือ ETL เป็นความสามารถด้านการบูรณาการข้อมูล ความสามารถ ETL เหล่านี้อาศัยโครงการ Kettle เป็น Java application และ Library Kettle เป็น interpreter ของกระบวนการที่เขียนในรูปแบบ XML Kettle ให้ JavaScript engine เพื่อปรับแต่งกระบวนการจัดการข้อมูล Kettle ยังเป็นเครื่องมือที่ดี มีทุกอย่างที่จำเป็นสำหรับสร้างกระบวนการ ETL ที่ซับซ้อน Kettle เป็น interpreter ของกระบวนการ ETL ที่เขียนในรูปแบบ XML
Kettle (PDI) เป็นเครื่องมือเริ่มต้นใน Pentaho Business Intelligence Suite กระบวนการสามารถรันนอกแพลตฟอร์ม Pentaho ได้ โดยที่ Library และ Java interpreter ของ Kettle ต้องติดตั้งครบ
5. Jaspersoft ETL
Jaspersoft ETL ปรับใช้ง่ายและประสิทธิภาพดีกว่าระบบ ETL ทุนสิทธิ์และโอเพนซอร์สหลายตัว ใช้สกัดข้อมูลจากระบบธุรกรรมเพื่อสร้างคลังข้อมูลรวมหรือ data mart สำหรับรายงานและการวิเคราะห์ คุณสมบัติรวมถึง business modeler สำหรับมุมมอง non-technical ของ workflow ข้อมูล แสดงและแก้ไขกระบวนการ ETL ด้วย Job Designer เครื่องมือแก้ไขกราฟิก กำหนด mapping และการแปลงที่ซับซ้อนด้วย Transformation Mapper และคอมโพเนนต์การแปลงอื่นๆ
ยังมีความสามารถติดตามสถิติ ETL จากต้นจนจบพร้อม real-time debugging อนุญาตให้ simultaneous output จากและ input ไปยังหลายแหล่ง รวมถึง flat files, XML files, ฐานข้อมูล, web services, POP และ FTP servers พร้อมตัวเชื่อมต่อมากกว่าร้อยตัว และใช้ activity monitoring console ติดตามเหตุการณ์ job, เวลาทำงาน และปริมาณข้อมูล
6. GeoKettle
GeoKettle เป็นเวอร์ชันที่รองรับพื้นที่ของเครื่องมือ ETL ทั่วไป Kettle (Pentaho Data Integration) GeoKettle เป็นเครื่องมือ Spatial ETL ที่ขับเคลื่อนด้วย metadata ทรงพลัง มุ่งเน้นการบูรณาการแหล่งข้อมูลพื้นที่ที่แตกต่างกัน เพื่อสร้างและอัปเดต geospatial data warehouses
ช่วยให้สกัดข้อมูลจากแหล่งข้อมูล แปลงข้อมูลเพื่อแก้ไขข้อผิดพลาด ทำความสะอาดข้อมูล เปลี่ยนโครงสร้างข้อมูล ทำให้สอดคล้องกับมาตรฐานที่กำหนด และโหลดข้อมูลที่แปลงแล้วไปยังระบบจัดการฐานข้อมูลเป้าหมาย (DBMS) ในโหมด OLTP หรือ OLAP/SOLAP, ไฟล์ GIS หรือ Geospatial Web Service
7. Clover ETL
โครงการนี้นำโดย OpenSys บริษัทในสาธารณรัฐเช็ก เป็น Java-based, dual-licensed โอเพนซอร์ส ที่เวอร์ชันเชิงพาณิชย์ให้การรับประกันและสนับสนุน ในข้อเสนอมี small footprint ทำให้ง่ายต่อการฝังโดย system integrators และ ISVs มุ่งสร้างไลบรารีฟังก์ชันพื้นฐาน รวมถึง mapping และ transformations เวอร์ชัน enterprise server เป็นข้อเสนอเชิงพาณิชย์
8. HPCC Systems
HPCC Systems เป็นแพลตฟอร์มโอเพนซอร์สสำหรับการวิเคราะห์ Big Data พร้อม Data Refinery engine ชื่อ Thor Thor ทำความสะอาด เชื่อมโยง แปลง และวิเคราะห์ Big Data Thor รองรับฟังก์ชัน ETL (Extraction, Transformation และ Loading) เช่น การนำเข้าข้อมูล unstructured/structured, data profiling, data hygiene, และ data linking ออกจากกล่อง ข้อมูลที่ผ่านการประมวลผลของ Thor สามารถเข้าถึงได้โดยผู้ใช้จำนวนมากพร้อมกันแบบ real-time ผ่าน Roxie ซึ่งเป็น Data Delivery engine Roxie ให้ความสามารถในการ query แบบ real-time ความหน่วงต่ำและ concurrent สูง
9. Jedox
Jedox เป็นเครื่องมือ BI โอเพนซอร์ส สำหรับจัดการแผนกลยุทธ์ประสิทธิภาพ การสำรวจ การครอบคลุม และกระบวนการที่เกี่ยวข้องกับแนวคิด ETL Open Core ประกอบด้วย in-memory OLAP Server, ETL Server และ OLAP client libraries รองรับ Jedox OLAP server เป็นแหล่งและระบบเป้าหมายทรงพลัง เครื่องมือพร้อมความสามารถในการแก้ไขความซับซ้อนในการสำรวจ OLAP โมเดลแบบดั้งเดิมใดๆ สามารถแปลงเป็น OLAP model ด้วยเครื่องมือ ETL นี้
การทำงานกับ cubes และ dimensions ไม่เคยง่ายขนาดนี้ สร้าง time hierarchies ที่ต้องการบ่อยๆ อย่างยืดหยุ่น และแปลงโมเดลเชิงสัมพันธ์ของระบบต้นทางเป็น OLAP model ได้อย่างมีประสิทธิภาพด้วย JEDOX ETL
10. Apatar ETL
Apatar ETL นำเสนอชุดความสามารถที่ไม่มีใครเทียบได้ในแพ็กเกจโอเพนซอร์ส คุณสมบัติรวมถึงการเชื่อมต่อกับ Oracle, MS SQL, MySQL, Sybase, DB2, MS Access, PostgreSQL, XML, InstantDB, Paradox, BorlandJDataStore, CSV, MS Excel, Qed, HSQL, SalesForce.Com เป็นต้น มี single interface จัดการโครงการบูรณาการทั้งหมด ตัวเลือกการปรับใช้ที่ยืดหยุ่น การบูรณาการสองทาง platform-independent รันบน Windows, Linux, Mac; 100% Java-based, ไม่ต้องเขียนโค้ด visual job designer และ mapping ช่วยให้ non-developers ออกแบบและดำเนินการแปลงข้อมูลได้
เครื่องมือโอเพนซอร์สเสมอมีข้อจำกัดบางอย่าง เช่น คุณสมบัติขั้นสูง สิ่งจัดเก็บ คุณสมบัติวิเคราะห์ขั้นสูง และอื่นๆ ดังนั้น แนะนำให้ใช้เครื่องมือที่มีใบอนุญาต บล็อกถัดไปจะพูดถึง Licensed Data Extraction Tools
