วิธีใช้ Boto3 Library ใน Python รัน Glue Job

ข้อกำหนดปัญหา

ใช้ไลบรารี Boto3 ใน Python เพื่อรัน Glue Job เช่น รัน Job run_s3_file_job

ขั้นตอนการแก้ปัญหา

1. ขั้นตอนที่ 1 – นำเข้า boto3 และ botocore.exceptions เพื่อจัดการข้อยกเว้น
2. ขั้นตอนที่ 2 – job_name เป็นพารามิเตอร์บังคับ ในขณะที่ arguments เป็น Optional Parameter บาง Job ต้องการ Arguments เพื่อรัน ส่ง Arguments เป็น Dict เช่น arguments = {'arguments1': 'value1', 'arguments2': 'value2'} หาก Job ไม่ต้องการ Arguments ให้ส่งแค่ job_name
3. ขั้นตอนที่ 3 – สร้าง AWS Session ด้วย Boto3 ตรวจสอบ region_name ในโปรไฟล์เริ่มต้น หากไม่มี ให้ระบุโดยตรง
4. ขั้นตอนที่ 4 – สร้าง AWS Client สำหรับ Glue
5. ขั้นตอนที่ 5 – ใช้ฟังก์ชัน start_job_run ส่ง JobName และ Arguments หากจำเป็น
6. ขั้นตอนที่ 6 – เมื่อ Job เริ่มทำงาน จะได้ job_run_id พร้อม Metadata ของ Job
7. ขั้นตอนที่ 7 – จัดการข้อยกเว้นทั่วไปหากเกิดข้อผิดพลาด

ตัวอย่างโค้ด

ใช้โค้ดต่อไปนี้เพื่อรัน Glue Job ที่มีอยู่:

import boto3
from botocore.exceptions import ClientError

def run_glue_job(job_name, arguments={}):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
        return job_run_id
    except ClientError as e:
        raise Exception("boto3 client error in run_glue_job: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in run_glue_job: " + e.__str__())

print(run_glue_job("run_s3_file_job"))

ผลลัพธ์

{
    'JobRunId': 'jr_5f8136286322ce5b7d0387e28df6742abc6f5e6892751431692ffd717f45fc00',
    'ResponseMetadata': {
        'RequestId': '36c48542-a060-468b-83cc-b067a540bc3c',
        'HTTPStatusCode': 200,
        'HTTPHeaders': {
            'date': 'Sat, 13 Feb 2021 13:36:50 GMT',
            'content-type': 'application/x-amz-json-1.1',
            'content-length': '82',
            'connection': 'keep-alive',
            'x-amzn-requestid': '36c48542-a060-468b-83cc-b067a540bc3c'
        },
        'RetryAttempts': 0
    }
}