Top Independent Tools สำหรับ Data Integration ที่ราบรื่น

ในบล็อกก่อนหน้าเกี่ยวกับ Big Data เราพูดเยอะมากเกี่ยวกับ Big Data ตั้งแต่คืออะไร Architecture ของ Big Data ไปจนถึง Tools ที่ช่วยจัดการ ปฏิบัติการ จัดเก็บ และใช้ประโยชน์จาก Enormous Data ที่เรามีวันนี้ เราอภิปราย Facts และ Do's and Don'ts ของ Big Data ไปแล้ว เร็วๆ นี้ เราอภิปราย V's ของ Big Data ที่แทนลักษณะและความท้าทายที่เป็นไปได้

สรุปรวดเร็ว Tools ที่เราครอบคลุม:

1. Data Extraction Tools ทั้ง Open Source และ Commercial
2. Cloud Data Storage Tools สำหรับจัดเก็บ Big Data ของธุรกิจ
3. Data Cleaning Tools สำหรับ Offline ใช้แก้ไขข้อผิดพลาดใน Big Data
4. Data Mining เพื่อขุดข้อมูลที่มีประโยชน์ซ่อนอยู่ใน Terabytes นี้
5. Data Visualization Tools ให้ Insights ของข้อมูลเป็นรูปภาพ

ขยับไปยัง Functional Layer ถัดไปของ Big Data Architecture ซึ่งคือ Connection ระหว่าง Functionalities ทั้งหมด คือ Data Integration Data Integration คือกระบวนการรวมข้อมูลจากหลายแหล่งที่ต่างกัน โดยทั่วไปเพื่อ Analysis, Business Intelligence, Reporting หรือ Loading เข้า Application

Data Integration Tools สามารถแบ่ง 3 กลุ่มได้ดังนี้:

1. In-built in Larger Suite of Products
2. Independent Platforms
3. Open Source Tools

Independent Data Integration Tools

1. Adeptia Suite

เป็น Integration Software Platform ที่ Versatile และ Comprehensive ที่สุดในตลาด เป็น Enterprise-class Data Integration Software ที่บริหารจัดการแบบ Centralized เพื่อให้ Performance และ Uptime ราบรื่น Software นี้มี Solutions สำหรับ Cloud และ On-premise Integration ทั้งคู่

2. Apatar

ช่วยสร้าง Connectivity ระหว่าง Applications และ Data Sources หลายแห่ง (Oracle, MS SQL, MySQL, Sybase, DB2, SalesForce.Com, SugarCRM, และอื่นๆ) ทำงานได้ 2 แบบ: Platform Independent และผ่าน Visual Job Designer โดยไม่ต้องเขียนโค้ด มี Version รองรับ Salesforce และ QuickBooks ด้วย

3. Centerprise Data Integrator

Data Integration Tool นี้ให้ Integration Platform ที่ Powerful, Scalable, High-performance และ Affordable ออกแบบเพื่อความง่าย และ Robust พอที่จะจัดการ Data Integration Challenges ที่ซับซ้อน มีความสามารถ Map Complex Data ทำให้เป็น Platform ที่ดีสำหรับเอาชนะความท้าทายของ Complex Hierarchical Structures เช่น XML, EDI, Web Services และอื่นๆ

4. Clover ETL

Clover ETL เป็น Pure Data Integration Suite ทำ Rapid Development Product Family นี้มีใน Free Software List สำหรับ Core Functionality และ 3 Paid Versions ที่เพิ่ม Connectors, Scheduling และ Automation, และ Parallel Processing และ Big Data Support ในลำดับชั้น ช่วย Automate Data Pipeline Support มี Multi-threaded Execution Model สำหรับ Bulk Operations

5. Elixir Data ETL

Elixir Data Integration Tool ให้ On-demand, Self-serviced Data Manipulation สำหรับ Business Users และ Enterprise People สำหรับ Data Processing Needs มี Open Source Feature ให้ Integrate และ Customize Data ข้าม Sources ต่างๆ ได้ง่าย และรู้จักดีในเรื่อง Extensiveness, สร้างเพื่อตอบสนอง Operational Data Analytics Needs

6. Informatica

Informatica เป็น Leading Provider ของ Data Integration Software Data Integration Tool นี้ Access และ Integrate Data จาก Business System ใดๆ ใน Format ใดๆ และ Deliver Data ทั่ว Enterprise ที่ Scale และ Speed ใดๆ กำจัด Risk ของ Manual Ingestion ผ่าน Data Migration Techniques ที่เน้น High Performance รวม Automation, Data Reuse และ Agile Support

Informatica Cloud เชื่อมต่อกับ On-premise และ Cloud-based Applications หลากหลาย – รวม Enterprise Applications, Databases, Flat Files, File Feeds และ Social Networking Sites

7. Talend's Data Integration Products

Talend Data Integration Product ช่วยเพิ่มคุณค่าของ Data ให้ธุรกิจ Talend Data Platform สร้างบน Open และ Scalable Architecture มี Open-source Tool Set เพื่อ Access, Transform และ Integrate Data จาก Business System ใดๆ ใน Real-time หรือ Batch เพื่อตอบสนอง Operational และ Analytical Data Integration Needs ในการรวมฟังก์ชัน สามารถเชื่อมต่อ Native Databases, Packaged Applications (ERP, CRM, ฯลฯ), SaaS และ Cloud Applications, Mainframes, Files, Web Services, Data Warehouses, Data Marts, OLAP Applications และอื่นๆ อีกมาก

8. Syncsort

DMExpress Syncsort's Flagship Data Integration Product เป็นเวอร์ชันที่เร็วที่สุด พร้อม High-performance Compression Technology และ High-performance Join Algorithms มี Components ครบสำหรับเร่งกระบวนการ Data Integration รองรับ Metadata Interchange ช่วย Import Jobs จาก Platform อื่นๆ เช่น Informatica และ IBM DataStage เพื่อเร่ง Deployment

อ่านเพิ่ม: Terms and Technologies of Cloud Computing

มีอีก 2 Variants ของ Provider นี้

1. DMX-h – ให้ Support สำหรับ HadoopSort และ Hadoop ETL
2. Syncsort MFX – กำจัด Data Latency โดยลด CPU Time, Elapsed Time, และ Disk I/O Activity พร้อมใช้ Minimal Resources บน Commodity Hardware เป็น Mainframe Sort Solution เพียงตัวเดียวที่ Offload CPU Cycles ไป zIIP Engines

ข้างต้นคือรายการ Best Independent Data Integration Tools ในบล็อกหน้า ผมจะรายการอีก 2 หมวดหมู่ของ Data Integration Tools หนึ่งกลุ่มที่มี Tools ช่วยฟังก์ชัน Big Data อื่นๆ อีก และอีกกลุ่มคือ Tools ที่อยู่ใน Open Source Category