home

หน้าแรก
 Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> Python

วิธีใช้ Boto3 ตรวจสอบสถานะ Glue Job ที่กำลังทำงาน

ข้อกำหนดปัญหา

ใช้ไลบรารี Boto3 ใน Python เพื่อรัน Glue Job และตรวจสอบสถานะว่าสำเร็จหรือล้มเหลว เช่น รัน Job run_s3_file_job และตรวจสอบสถานะ

ขั้นตอนการแก้ปัญหา

  1. ขั้นตอนที่ 1 – นำเข้า boto3 และ botocore.exceptions เพื่อจัดการข้อยกเว้น
  2. ขั้นตอนที่ 2 – job_name เป็นพารามิเตอร์บังคับ ในขณะที่ arguments เป็น Optional Parameter ในฟังก์ชัน บาง Job ต้องการ Arguments เพื่อรัน ในกรณีนี้ ส่ง Arguments เป็น Dict เช่น arguments = {'arguments1': 'value1', 'arguments2': 'value2'} หาก Job ไม่ต้องการ Arguments ให้ส่งแค่ job_name
  3. ขั้นตอนที่ 3 – สร้าง AWS Session ด้วย Boto3 ตรวจสอบ region_name ในโปรไฟล์เริ่มต้น หากไม่มี ให้ระบุโดยตรง
  4. ขั้นตอนที่ 4 – สร้าง AWS Client สำหรับ Glue
  5. ขั้นตอนที่ 5 – ใช้ฟังก์ชัน start_job_run ส่ง JobName และ Arguments หากจำเป็น
  6. ขั้นตอนที่ 6 – เมื่อ Job เริ่มทำงาน จะได้ job_run_id พร้อม Metadata ของ Job
  7. ขั้นตอนที่ 7 – ใช้ฟังก์ชัน get_job_run ส่งพารามิเตอร์ RunId จากผลลัพธ์ของฟังก์ชันก่อนหน้า จะคืนค่า Dictionary เกี่ยวกับสถานะ
  8. ขั้นตอนที่ 8 – ดึงสถานะเฉพาะของ Job สถานะอาจเป็น Running หาก Job ยังไม่เสร็จ หรือ SUCCEEDED/FAILED
  9. ขั้นตอนที่ 9 – จัดการข้อยกเว้นทั่วไปหากเกิดข้อผิดพลาด

ตัวอย่างโค้ด

ใช้โค้ดต่อไปนี้เพื่อรันและตรวจสอบสถานะของ Glue Job ที่มีอยู่:

import boto3
from botocore.exceptions import ClientError
import time

def run_glue_job_get_status(job_name, arguments={}):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        job_run_id = glue_client.start_job_run(JobName=job_name, Arguments=arguments)
        status_detail = glue_client.get_job_run(JobName=job_name, RunId=job_run_id.get("JobRunId"))
        status = status_detail.get("JobRun").get("JobRunState")
        return status
    except ClientError as e:
        raise Exception("boto3 client error in run_glue_job_get_status: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in run_glue_job_get_status: " + e.__str__())

# Get status 1st time
print(run_glue_job_get_status("run_s3_file_job"))
# Get status 2nd time after waiting
time.sleep(10)
print(run_glue_job_get_status("run_s3_file_job"))

ผลลัพธ์

## Get status 1st time
Running
# Get status 2nd time after waiting
SUCCEEDED