วิธีใช้ Boto3 ตรวจสอบสถานะการย้ายข้อมูล (Migration) ใน AWS Glue

ข้อกำหนดปัญหา

ใช้ไลบรารี Boto3 ใน Python เพื่อตรวจสอบสถานะของการดำเนินการย้ายข้อมูล (Migration Operation)

ตัวอย่าง

ตรวจสอบสถานะ Migration Operation ในบัญชี

ขั้นตอนการแก้ปัญหา

ขั้นตอนที่ 1 – นำเข้า boto3 และ botocore.exceptions เพื่อจัดการข้อยกเว้น
ขั้นตอนที่ 2 – ส่งพารามิเตอร์ catalog_id ที่ต้องการตรวจสอบสถานะการย้ายข้อมูล พารามิเตอร์นี้เป็น Optional หากไม่ระบุ จะตรวจสอบบัญชีผู้ใช้ที่ล็อกอินอยู่ว่า Migration กำลังดำเนินการหรือเสร็จสิ้นแล้ว catalog_id คือ Account ID ของผู้ใช้
ขั้นตอนที่ 3 – สร้าง AWS Session ด้วย Boto3 ตรวจสอบ region_name ในโปรไฟล์เริ่มต้น หากไม่มี ให้ระบุโดยตรง
ขั้นตอนที่ 4 – สร้าง AWS Client สำหรับ Glue
ขั้นตอนที่ 5 – เรียก get_catalog_import_status และส่ง catalog_id เป็นพารามิเตอร์ CatalogId
ขั้นตอนที่ 6 – จะดึงรายละเอียดการย้ายข้อมูลที่กำลังดำเนินอยู่ หากไม่มีจะดึงรายละเอียดการย้ายครั้งล่าสุด
ขั้นตอนที่ 7 – จัดการข้อยกเว้นทั่วไปหากเกิดข้อผิดพลาด

ตัวอย่างโค้ด

ใช้โค้ดต่อไปนี้เพื่อตรวจสอบสถานะการย้ายข้อมูล:

import boto3
from botocore.exceptions import ClientError

def status_of_migration(catalog_id=None):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_catalog_import_status(CatalogId=catalog_id)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in status_of_migration: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in status_of_migration: " + e.__str__())

print(status_of_migration())

ผลลัพธ์

{
    'ImportStatus': {
        'ImportCompleted': True,
        'ImportTime': datetime.datetime(2017, 11, 17, 1, 32, 44, tzinfo=tzlocal()),
        'ImportedBy': 'StatusSetByDefault'
    },
    'ResponseMetadata': {
        'RequestId': '7c33d6f9-...-3b202961e3e7',
        'HTTPStatusCode': 200,
        'HTTPHeaders': {
            'date': 'Sun, 21 Feb 2021 05:40:06 GMT',
            'content-type': 'application/x-amz-json-1.1',
            'content-length': '102',
            'connection': 'keep-alive',
            'x-amzn-requestid': '7c33d6f9-...-3b202961e3e7'
        },
        'RetryAttempts': 0
    }
}