Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> Python

วิธีใช้ Boto3 ตรวจสอบว่า Glue Job มีอยู่หรือไม่


ข้อกำหนดปัญหา

ใช้ไลบรารี Boto3 ใน Python เพื่อตรวจสอบว่า Glue Job มีอยู่หรือไม่ เช่น ตรวจสอบว่า run_s3_file_job มีอยู่ใน AWS Glue หรือไม่

ขั้นตอนการแก้ปัญหา

  1. ขั้นตอนที่ 1 – นำเข้า boto3 และ botocore.exceptions เพื่อจัดการข้อยกเว้น
  2. ขั้นตอนที่ 2 – job_name เป็นพารามิเตอร์ในฟังก์ชัน
  3. ขั้นตอนที่ 3 – สร้าง AWS Session ด้วย Boto3 ตรวจสอบ region_name ในโปรไฟล์เริ่มต้น หากไม่มี ให้ระบุโดยตรง
  4. ขั้นตอนที่ 4 – สร้าง AWS Client สำหรับ Glue
  5. ขั้นตอนที่ 5 – ใช้ฟังก์ชัน get_job ส่ง JobName
  6. ขั้นตอนที่ 6 – หาก Job มีอยู่ Response จะมีรายละเอียดทั้งหมดเกี่ยวกับ Job มิฉะนั้นจะโยน Exception
  7. ขั้นตอนที่ 7 – จัดการข้อยกเว้นทั่วไปหากเกิดข้อผิดพลาด

ตัวอย่างโค้ด

ใช้โค้ดต่อไปนี้เพื่อตรวจสอบว่า Glue Job มีอยู่หรือไม่:

import boto3
from botocore.exceptions import ClientError

def check_glue_job_exists(job_name):
    session = boto3.session.Session()
    glue_client = session.client('glue')
    try:
        response = glue_client.get_job(JobName=job_name)
        return response
    except ClientError as e:
        raise Exception("boto3 client error in check_glue_job_exists: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in check_glue_job_exists: " + e.__str__())

# To check existing job
print(check_glue_job_exists("run_s3_file_job"))
# Job doesn't exist
print(check_glue_job_exists("run_s3_file_job_not_exist"))

ผลลัพธ์

# To check existing job
{'Job': {'Name': 'run_s3_file_job', 'Description': 'Glue job for the test', 'Role': 'arn:aws:iam::12345:role/delegated/glue-service-role', 'CreatedOn': datetime.datetime(2021, 2, 10, 15, 7, 3, 638000, tzinfo=tzlocal()), 'LastModifiedOn': datetime.datetime(2021, 2, 10, 15, 7, 3, 638000, tzinfo=tzlocal()), 'ExecutionProperty': {'MaxConcurrentRuns': 1}, 'Command': {'Name': 'glueetl', 'ScriptLocation': 's3://test/pipeline.py', 'PythonVersion': '3'}, 'DefaultArguments': {'--job-language': 'python', 'Step': '0'}, 'MaxRetries': 0, 'AllocatedCapacity': 4, 'Timeout': 2880, 'MaxCapacity': 4.0, 'WorkerType': 'G.1X', 'NumberOfWorkers': 4, 'GlueVersion': '2.0'}, 'ResponseMetadata': {'RequestId': 'e3ec9e2c-e75d-4443-bfea-fef674fff7e9', 'HTTPStatusCode': 200, 'HTTPHeaders': {'date': 'Sat, 13 Feb 2021 13:20:27 GMT', 'content-type': 'application/x-amz-json-1.1', 'content-length': '1501', 'connection': 'keep-alive', 'x-amznrequestid': 'e3ec9e2c-e75d-4443-bfea-fef674fff7e9'}, 'RetryAttempts': 0}}

# Job doesn't exist
botocore.errorfactory.EntityNotFoundException: An error occurred (EntityNotFoundException) when calling the GetJob operation: Job with name: run_s3_file_job_not_exist not found.