ในบล็อกก่อนหน้า เราได้พูดถึงเครื่องมือสกัดข้อมูลโอเพนซอร์ส วัตถุประสงค์หลักของ "เครื่องมือ ETL" คือการรวบรวมเนื้อหาของฐานข้อมูลต่างๆ หรือระบบปฏิบัติการทั่วองค์กร และย้าย/คัดลอก/โอนข้อมูลทั้งหมดนี้ไปยังฐานข้อมูลศูนย์กลาง "ฐานข้อมูลศูนย์กลาง" นี้มักเรียกว่า "คลังข้อมูล" (Data Warehouse) หรืออาจใช้เครื่องมือ ETL เพื่อทำการแปลงข้อมูลที่ซับซ้อนซึ่งยากที่จะทำด้วยคำสั่ง SQL ธรรมดา
รายการเครื่องมือ ETL เชิงพาณิชย์บางส่วน:
1. IBM InfoSphere DataStage
เป็นเครื่องมือ ETL และเป็นส่วนหนึ่งของชุดโซลูชัน IBM Information Platforms และ IBM InfoSphere ใช้สัญลักษณ์กราฟิกในการสร้างโซลูชันการบูรณาการข้อมูล บูรณาการข้อมูลข้ามระบบหลายระบบด้วยเฟรมเวิร์กขนานประสิทธิภาพสูง รองรับการจัดการข้อมูลเมตาขยายและการเชื่อมต่อระดับองค์กร แพลตฟอร์มที่ขยายได้ให้การบูรณาการที่ยืดหยุ่นมากขึ้นสำหรับทุกประเภทของข้อมูล รวมถึง Big Data ที่จัดเก็บ (Hadoop-based) หรือข้อมูลเคลื่อนที่ (stream-based) บนแพลตฟอร์มกระจายและเมนเฟรม
2. Microsoft SQL Server Integration Services (SSIS)
Microsoft SSIS เป็นเครื่องมือบูรณาการข้อมูล การแปลงข้อมูล และการย้ายข้อมูลระดับองค์กร ที่สร้างขึ้นภายในฐานข้อมูล SQL Server ของ Microsoft สามารถใช้สำหรับงานที่เกี่ยวข้องกับการบูรณาการหลากหลาย เช่น การวิเคราะห์และทำความสะอาดข้อมูล และการรันกระบวนการ extract, transform และ load เพื่ออัปเดตคลังข้อมูล
3. Adeptia ETL Suite
นำเสนอฟังก์ชัน ETL ครบวงจรร่วมกับอินเตอร์เฟซที่ใช้งานง่ายและเข้าใจง่าย ให้ผู้ใช้สามารถแปลงไฟล์ประเภทต่างๆ ได้มากมาย Adeptia ETL Suite ออกแบบมาสำหรับผู้ไม่ใช่ IT ให้ผู้ใช้งานทางธุรกิจเข้าถึงข้อมูลแบบเรียลไทม์และแปลงข้อมูลของตนเองให้เข้ากับการดำเนินงาน ในขณะที่ยังคงให้ IT จัดการกระบวนการและรับรองว่าข้อมูลได้รับการจัดการอย่างปลอดภัยและถูกต้อง
4. Informatica PowerCenter
Informatica PowerCenter เป็นเครื่องมือ extraction, transformation และ loading ที่ใช้กันอย่างแพร่หลายในการสร้างคลังข้อมูลระดับองค์กร องค์ประกอบหลักคือเครื่องมือไคลเอนต์ เซิร์ฟเวอร์ เซิร์ฟเวอร์ที่เก็บข้อมูล (repository server) และที่เก็บข้อมูล (repository) เซิร์ฟเวอร์ PowerCenter และเซิร์ฟเวอร์ที่เก็บข้อมูลรวมกันเป็นเลเยอร์ ETL ที่ทำให้การประมวลผล ETL เสร็จสมบูรณ์
5. IBI iWay DataMigrator
Data Migrator เป็นเครื่องมืออัตโนมัติที่ทรงพลังและครอบคลุม ออกแบบมาเพื่อทำให้กระบวนการ extract, transformation และ load (ETL) ง่ายขึ้นอย่างมาก รวมถึงการสร้าง บำรุงรักษา และขยายคลังข้อมูล data marts และ operational data stores อินเตอร์เฟซที่เข้าใจง่ายช่วยให้สร้างกระบวนการ ETL แบบ end-to-end ได้อย่างรวดเร็วเกี่ยวข้องกับโครงสร้างข้อมูลที่หลากหลายบนแพลตฟอร์มคอมพิวติ้งที่ต่างกัน นอกจากนี้ คุณสมบัติ change data capture โหลดเฉพาะระเบียนที่เปลี่ยนแปลงเข้าแหล่งข้อมูล ลดเวลาที่ต้องใช้ในการรีเฟรชข้อมูลอย่างมาก และอำนวยความสะดวกให้คลังข้อมูล near-real-time
6. Elixir Data ETL
ออกแบบมาเพื่อให้การจัดการข้อมูลแบบ on-demand และ self-service สำหรับผู้ใช้งานทางธุรกิจ รวมถึงความต้องการการประมวลผลข้อมูลระดับองค์กร มุมมองการสร้างแบบจำลองภาพลดเวลาที่ต้องใช้ในการออกแบบ ทดสอบ และนำไปใช้งานกระบวนการสกัดข้อมูล รวมข้อมูล และแปลงข้อมูลอย่างมาก กระบวนการสำคัญสำหรับการประมวลผลแอปพลิเคชัน รายงานองค์กร และการวัดประสิทธิภาพ โครงการ data mart หรือ data warehousing
7. Syncsort DMX
Syncsort DMX นำการแปลงข้อมูลทั้งหมดเข้าสู่ ETL engine ในหน่วยความจำประสิทธิภาพสูง การแปลงข้อมูลถูกประมวลผลแบบ on-the-fly ทำให้ไม่ต้องมีพื้นที่จัดเก็บฐานข้อมูลชั่วคราวที่มีค่าใช้จ่ายสูง หรือการผลักดันการแปลงข้อมูลไปยังฐานข้อมูลด้วยตนเอง
8. SAS Data Management
SAS Data Management ช่วยให้ผู้ใช้งานทางธุรกิจอัปเดตข้อมูล ปรับกระบวนการ และวิเคราะห์ผลลัพธ์ด้วยตนเอง ปลดปล่อยเวลาสำหรับโครงการอื่นๆ พร้อมกับ business glossary ในตัว รวมถึงความสามารถในการจัดการข้อมูลเมตาของ SAS และบุคคลที่สาม และการแสดงภาพ lineage ทำให้ทุกคนอยู่บนหน้าเดียวกัน
9. SAP Data Services
ช่วยบูรณาการ แปลง และปรับปรุงข้อมูลในระดับโครงการหรือองค์กร ส่งมอบโซลูชันระดับองค์กรครบวงจรสำหรับการบูรณาการข้อมูล คุณภาพข้อมูล การสร้างโปรไฟล์ข้อมูล และการประมวลผลข้อมูลข้อความ อนุญาตให้ผู้ใช้บูรณาการ แปลง ปรับปรุง และส่งมอบข้อมูล
10. Oracle Data Integrator Enterprise Edition
ส่งมอบเทคโนโลยี Extract Load and Transform (E-LT) ที่ปรับปรุงประสิทธิภาพและลดต้นทุนการบูรณาการข้อมูล แม้ข้ามระบบที่หลากหลาย ให้ประสิทธิภาพสูงและ TCO ต่ำ รองรับแพลตฟอร์ม heterogeneous สำหรับการบูรณาการข้อมูลระดับองค์กร และ knowledge modules สำหรับประสิทธิภาพนักพัฒนาที่เหมาะสมและความยืดหยุ่น
11. Meta Suite
Meta Suite ให้ time-to-value ที่รวดเร็ว ความสามารถในการขยายตัว และตัวเลือกที่หลากหลายของไฟล์และประเภทฐานข้อมูลต้นทางและปลายทางที่รองรับ นอกเหนือจากการดำเนินการปกติของ extract, load และ merge ข้อมูลปฏิบัติการ ยังสามารถใช้เพื่อรวมและทำให้ข้อมูลเป็นเหตุเป็นผล และส่งมอบการสนับสนุน Master Data Management ได้เช่นกัน
12. Pervasive Data Integrator
ปัจจุบันเป็นส่วนหนึ่งของ Actian ดำเนินการบูรณาการที่ซับซ้อน แม้ซอฟต์แวร์จะใช้งานง่ายอย่างลافتและไม่ต้องชุดทักษะเฉพาะเจาะจง คุณสมบัติที่หลากหลายมีความเข้าใจง่ายและกำหนดค่าได้สำหรับการออกแบบ การปรับใช้ และการจัดการ โดยไม่มี sticker shock มี Web UI เต็มรูปแบบเดียวกันสำหรับทั้ง on-premise และ cloud versions
13. Sagent Data Flow
เป็น integration engine ที่ทรงพลังและยืดหยุ่น รวบรวมข้อมูลจากแหล่งที่ต่างกัน ออกแบบโดย Pitney Bowes Software และให้ชุดเครื่องมือแปลงข้อมูลที่ครอบคลุมเพื่อเพิ่มคุณค่าทางธุรกิจ อนุญาตให้วิเคราะห์ข้อมูลและสร้างรายงานที่มีความหมายเพื่อช่วยให้เข้าใจธุรกิจของคุณ
อ่านเพิ่มเติม: Top 15 Big Data Tools in 2017
การเลือกซอฟต์แวร์หรือเครื่องมือใดๆ ขึ้นอยู่กับประเภทของความต้องการที่แต่ละองค์กรมี และแตกต่างกันไปจากธุรกิจหนึ่งไปยังอีกธุรกิจหนึ่ง ธุรกิจโทรคมนาคมจะมีข้อมูลขนาดใหญ่และซับซ้อนที่ต้องจัดการมากกว่าร้านค้าปลีกเสื้อผ้า ดังนั้น ธุรกิจโทรคมนาคมจะเลือกเครื่องมือที่มีคุณสมบัติสำหรับทำงานกับข้อมูลซับซ้อน ในขณะที่ร้านค้าปลีกจะเลือกเครื่องมือที่ใช้งานง่าย ความซับซ้อนน้อยกว่า เนื่องจากไม่มีทักษะการเขียนโปรแกรมและพื้นหลังทางเทคนิค
ในบล็อกต่อไป ฉันจะรายการเครื่องมือสำหรับเลเยอร์ถัดไปใน Reference Architecture
