Oracle GoldenGate 12c Release 3: Parallel Replicat เพิ่มความเร็ว Data Load

Parallel Replicat คืออะไร?

Parallel Replicat เป็นฟีเจอร์ใหม่ใน Oracle GoldenGate 12c Release 3 (12.3.0.1) ช่วยโหลดข้อมูลเข้าสู่ Environment ได้เร็วขึ้นด้วย Multiple Parallel Mappers และ Threads

Parallel Replicat = Highly Scalable Apply Engine สำหรับ Oracle Database ที่ Parallelize Apply Workload อัตโนมัติ คำนวณ Dependencies ระหว่าง Transactions ให้ Benefit ของ Integrated Replicat แต่ทำ Dependency Computation และ Parallelism นอก Database Parallelize Reading/Mapping Trail Files และ Apply Large Transactions เร็วขึ้น Transaction Integrity คงอยู่

Parameter SPLIT_TRANS_RECS แบ่ง Large Transaction เป็น Smaller Pieces เพื่อ Apply แบบ Parallel Dependencies ถูกจัดการและรักษาไว้

Parallel Replication Architecture

Architecture เริ่มจากอ่าน Single Trail File แต่มี Multiple Lanes สำหรับ Reading (Mappers) และ Writing (Appliers) Parallel Replicat จัดลำดับ Transactions ตาม Key Dependencies (PK, FK, UK) แตกต่างจาก Integrated Replicat ที่ทำ Dependency และ Write ภายใน Database

2 โหมดการทำงาน:

• Integrated Mode: คล้าย Integrated Replicat เดิม แต่ Readers/Writers ไม่ External to Database ใช้ Database Internals จัดการ Processes
• Non-integrated Mode: Replicat รันแบบ Parallel แต่อยู่ภายนอก Database เลย

Key Features

• เร็วกว่า Integrated Replicat สูงสุด 5 เท่า
• Apply Single Large Transaction แบบ Parallel ได้
• Parallelize Large Transaction ได้ พร้อมพิจารณา Dependencies
• ควบคุม Processing ด้วย SPLIT_TRANS_RECS (Default: 100,000 Records)

Basic Parameters

• MAP_PARALLELISM: จำนวน Mappers (Threads อ่าน Trail File) Min: 1, Max: 100, Default: 2
• APPLY_PARALLELISM: จำนวน Appliers (Connections ไป Target DB) Default: 4
• MIN_APPLY_PARALLELISM / MAX_APPLY_PARALLELISM: Auto-tuned Apply Parallelism ตั้ง Min/Max Range ห้ามใช้พร้อมกับ APPLY_PARALLELISM
• SPLIT_TRANS_RECS: แบ่ง Large Transaction เป็นชิ้นเล็กๆ Apply Parallel Dependencies ยังคงรักษา Default: Disabled

เพิ่ม Non-integrated Parallel Replicat ด้วย AdminClient

1. เปิด AdminClient:

   $ cd $OGG_HOME/bin
   $ ./adminclient

2. Connect ไป Service Manager Deployment Source:

   adminclient> connect https://: deployment  as  password 

3. สร้าง Parallel Replicat Process:

   adminclient> add replicat , integrated, parallel, exttrail  checkpointtable ggadmin.ggcheckpoint

4. Edit Parameter File:

   adminclient> edit params 

5. Start Parallel Replicat:

   adminclient> start replicat 

หลังสร้าง จะแสดงใน Administration Service หลัง Start Report Files จะแสดง Threads ของ Mappers และ Appliers

Sample Parameter File

replicat REP1
userid ggadmin, password ****
INSERTUPDATES
REPERROR(1, DISCARD)
MAP_PARALLELISM 2
MIN_APPLY_PARALLELISM 2
MAX_APPLY_PARALLELISM 8
SPLIT_TRANS_RECS 100
MAP *.*, TARGET *.*;

สรุป

GoldenGate เป็น Replication Tool ยอดเยี่ยมจาก Oracle ให้ Heterogeneous Replication ระหว่าง Database/Platform ต่างๆ Parallel Replicat เพิ่มข้อได้เปรียบ: New Replicat Variant Apply Transactions แบบ Parallel ปรับปรุง Performance ให้ Benefit ของ Integrated Replicat แต่ทำ Dependency Computation และ Parallelism นอก Database อ่าน/Map Trail Files แบบ Parallel Apply Large Transactions เร็ว รองรับ Oracle Database 11g (11.2.0.4) ขึ้นไป