เผยแพร่โดย Tricore: 11 กรกฎาคม 2017
ใน Part 1 แนะนำ Hadoop ecosystem และ framework ใน Part 2 ครอบคลุม core components เพิ่มเติม: querying, external integration, data exchange, coordination, management และ module ตรวจสอบ Hadoop clusters
Querying
Part 1 แนะนำ Apache Pig เป็น scripting tool เขียนด้วย Pig Latin แปลเป็น executable MapReduce jobs แต่บาง developer ชอบ SQL สามารถใช้ SQL กับ Hadoop ได้
Hive
Apache Hive เป็น distributed data warehouse จัดการและจัดระเบียบข้อมูลปริมาณมาก สร้างบน HDFS HiveQL based on SQL semantics Runtime engine แปลง HiveQL เป็น MapReduce jobs
- Schematized data store สำหรับ raw data ปริมาณมาก
- SQL-like environment สำหรับ analyses และ queries บน raw data ใน HDFS
- Integration กับ external RDBMS applications
External Integration
Apache Flume
Distributed, reliable, available service สำหรับ collect, aggregate, move log data ปริมาณมากเข้า HDFS ใช้ streaming data flow architecture ที่ fault-tolerant และ failover recovery ready
- Transport event data ปริมาณมาก: network traffic, logs, email messages
- Stream data จาก multiple sources เข้า HDFS
- Guarantee reliable, real-time data streaming ให้ Hadoop applications
Data Exchange
Apache Sqoop
Transfer bulk data ระหว่าง Hadoop และ external data stores (relational databases, enterprise data warehouses) ทำงานกับ Teradata, IBM Netezza, Oracle, MySQL, PostgreSQL ใช้กันกว้างในบริษัทที่ collect/analyze big data
- Automate schema description สำหรับ imported data (ขึ้นกับ database)
- ใช้ MapReduce framework import/export ให้ parallel mechanism และ fault tolerance
- Connectors สำหรับ major RDBMS databases ทั้งหมด
- Full และ incremental loads, parallel export/import, data compression
- Kerberos security integration
Coordination
Apache Zookeeper
Coordination service สำหรับ distributed applications ให้ synchronization across cluster centralized repository สำหรับ store/retrieve data Administrative Hadoop tool จัดการ jobs ใน cluster เรียกว่า "watch guard" เพราะการเปลี่ยนแปลง data ใน node หนึ่ง communicate ไป nodes อื่น
Provisioning, Managing, และ Monitoring Hadoop Clusters
Apache Ambari
Web-based tool สำหรับ provisioning, managing, monitoring Apache Hadoop clusters UI เรียบง่าย interactive สำหรับติดตั้ง tools และ management, configuration, monitoring tasks Dashboard ดู cluster health (heat maps) ดู MapReduce, Pig, Hive applications พร้อม features เพื่อ diagnose performance
- Master services mapping กับ nodes
- เลือก services ที่ต้องการติดตั้ง
- Simple custom stack selection
- Cleaner interface
- Streamlined installation, monitoring, management
สรุป
Hadoop เป็น effective solution สำหรับบริษัทที่ต้องการ store และ analyze massive data มากที่สุด sought-after tool สำหรับ data management ใน distributed systems Open-source จึงใช้งานฟรีได้ เพื่อเรียนรู้เพิ่มเติม ดู official documentation ที่ Apache Software Foundation website
