Computer >> คอมพิวเตอร์ >  >> การเขียนโปรแกรม >> Python

จะใช้ Boto3 เพื่อรับรายละเอียดของงานที่คั่นหน้าไว้ใน AWS Glue Data Catalog ได้อย่างไร


ตัวอย่าง − ดึงรายละเอียดของงานที่คั่นหน้า 'งานหนังสือ' ใน AWS Glue Data Catalog

คำชี้แจงปัญหา − ใช้ไลบรารี boto3 ใน Python เพื่อดึงรายละเอียดของงานที่คั่นหน้าไว้ใน AWS Glue Data Catalog

แนวทาง/อัลกอริทึมในการแก้ปัญหานี้

ขั้นตอนที่ 1 - นำเข้าข้อยกเว้น boto3 และ botocore เพื่อจัดการกับข้อยกเว้น

ขั้นตอนที่ 2bookmarked_job_name เป็นพารามิเตอร์บังคับ ควรมี job_name ที่บุ๊กมาร์กไว้แล้ว มิฉะนั้นจะโยน EntityNotFoundException

ขั้นตอนที่ 3 − สร้างเซสชัน AWS โดยใช้ไลบรารี boto3 ตรวจสอบให้แน่ใจว่ามีการกล่าวถึง region_name ในโปรไฟล์เริ่มต้น หากไม่มีการระบุ ให้ส่ง region_name อย่างชัดเจนขณะสร้างเซสชัน

ขั้นตอนที่ 4 − สร้างไคลเอนต์ AWS สำหรับกาว

ขั้นตอนที่ 5 − ตอนนี้ใช้ get_job_bookmark และส่งผ่าน bookmarked_job_name เป็นพารามิเตอร์ JobName

ขั้นตอนที่ 6 − มันส่งคืนรายละเอียดที่เกี่ยวข้องกับรายการบุ๊คมาร์ค โปรดทราบว่าหาก job_name ไม่ถูกบุ๊กมาร์ก มันจะส่งข้อยกเว้นเป็น EntityNotFound .

ขั้นตอนที่ 7 − จัดการข้อยกเว้นทั่วไปหากมีข้อผิดพลาดขณะตรวจสอบงาน

ตัวอย่าง

ใช้รหัสต่อไปนี้เพื่อดึงรายละเอียดของงานที่บุ๊กมาร์กไว้ใน AWS Glue Data Catalog -

import boto3
from botocore.exceptions import ClientError

def retrieves_details_of_bookmarked_job(bookmarked_job_name)
   session = boto3.session.Session()
   glue_client = session.client('glue')
   try:
      response = glue_client.get_job_bookmark(JobName=bookmarked_job_name)
      return response
   except ClientError as e:
      raise Exception("boto3 client error in retrieves_details_of_bookmarked_job: " + e.__str__())
   except Exception as e:
      raise Exception("Unexpected error in retrieves_details_of_bookmarked_job: " + e.__str__())
print(retrieves_details_of_bookmarked_job("book-job"))

ผลลัพธ์

{'JobBookmarkEntry': {'JobName': 'book-job', 'Version': 8, 'Run': 2,
'Attempt': 2, 'PreviousRunId':
'jr_dee547c2f78422e34136aa12c85de010b823787833eee04fbf34bc9b8cb4f7b9',
'RunId':
'jr_a035fe15daa31e9a751f02876c26e5d11a829f2689803a9e9643bd61f70273e4',
'JobBookmark':
'{"gdf":{"jsonClass":"HadoopDataSourceJobBookmarkState","timestamps":{"R
UN":"1","HIGH_BAND":"900000","CURR_LATEST_PARTITION":"0","CURR_LATEST_PA
RTITIONS":"","CURR_RUN_START_TIME":"2020-10-
30T13:03:43.730Z","INCLUDE_LIST":""}}}'}, 'ResponseMetadata':
{'RequestId': 'bacf1497-***************996f05b3c1', 'HTTPStatusCode':
200, 'HTTPHeaders': {'date': 'Sun, 28 Feb 2021 13:00:19 GMT', 'contenttype': 'application/x-amz-json-1.1', 'content-length': '535',
'connection': 'keep-alive', 'x-amzn-requestid': 'bacf1497-
******************996f05b3c1'}, 'RetryAttempts': 0}}