วิธีใช้ Boto3 แบ่งหน้า (Paginate) ผ่าน Objects ทั้งหมดของ S3 Bucket ใน AWS Glue

ข้อกำหนดปัญหา: ใช้ไลบรารี boto3 ใน Python เพื่อแบ่งหน้าผ่าน objects ทั้งหมดของ S3 bucket จาก AWS Glue Data Catalog

ขั้นตอนการแก้ปัญหา

• ขั้นตอน 1: นำเข้า boto3 และ botocore.exceptions

• ขั้นตอน 2: พารามิเตอร์: bucket_name (บังคับ), max_items, page_size, starting_token (เลือกได้)

  • max_items: จำนวนระเบียนสูงสุดที่ต้องการคืน
  • page_size: ขนาดของแต่ละหน้า
  • starting_token: ใช้ Last Key จาก response ก่อนหน้าเพื่อดึงหน้าต่อไป

• ขั้นตอน 3: สร้าง AWS session ด้วย boto3 พร้อมระบุ region_name

• ขั้นตอน 4: สร้าง AWS client สำหรับ S3

• ขั้นตอน 5: สร้าง paginator object ด้วย list_objects (หรือ list_objects_v2 สำหรับ API ใหม่กว่า)

• ขั้นตอน 6: เรียก paginate พร้อมส่ง PaginationConfig

• ขั้นตอน 7: คืนค่าระเบียนตาม max_items และ page_size

• ขั้นตอน 8: จัดการข้อยกเว้นทั่วไป

โค้ดตัวอย่าง

import boto3
from botocore.exceptions import ClientError

def paginate_through_all_objects_s3_bucket(bucket_name, max_items=None, page_size=None, starting_token=None):
    session = boto3.session.Session()
    s3_client = session.client('s3')
    try:
        paginator = s3_client.get_paginator('list_objects_v2')
        response = paginator.paginate(
            Bucket=bucket_name,
            PaginationConfig={
                'MaxItems': max_items,
                'PageSize': page_size,
                'StartingToken': starting_token
            }
        )
        return response
    except ClientError as e:
        raise Exception("boto3 client error in paginate_through_all_objects_s3_bucket: " + e.__str__())
    except Exception as e:
        raise Exception("Unexpected error in paginate_through_all_objects_s3_bucket: " + e.__str__())

# 1st Run
a = paginate_through_all_objects_s3_bucket('s3-test-bucket', 2, 5)
print(*a)

# 2nd Run (ใช้ NextToken จากรอบแรก)
for items in a:
    next_token = items['Contents'][max_items-1]['Key']
    b = paginate_through_all_objects_s3_bucket('s3-test-bucket', 2, 5, next_token)
    print(*b)

ผลลัพธ์

#1st Run
{'ResponseMetadata': {'RequestId': '5AE5VF7RK', 'HostId': '**************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': '**************', 'x-amz-request-id': '5AE5VF7RK', 'date': 'Sat, 03 Apr 2021 07:33:28 GMT', 'x-amz-bucket-region': 'us-east-1', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'IsTruncated': True, 'Marker': '', 'Contents': [{'Key': 'analytics-s3i/param.json', 'LastModified': datetime.datetime(2020, 10, 29, 19, 50, 55, tzinfo=tzutc()), 'ETag': '"e6f6b8e02"', 'Size': 1554, 'StorageClass': 'STANDARD', 'Owner': {'DisplayName': 'AWS.Development', 'ID': '92************************0'}}, {'Key': 'analytics-s3i/params.json', 'LastModified': datetime.datetime(2021, 3, 10, 20, 10, 47, tzinfo=tzutc()), 'ETag': '"22a4bf70c1ed2612"', 'Size': 1756, 'StorageClass': 'STANDARD', 'Owner': {'DisplayName': 'AWS.Development', 'ID': '92************************************************'}}], 'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'CommonPrefixes': None}

#2nd Run
{'ResponseMetadata': {'RequestId': '5AEAWX', 'HostId': 'Uc********************************', 'HTTPStatusCode': 200, 'HTTPHeaders': {'x-amz-id-2': '*****************************', 'x-amz-request-id': '5AEAWX', 'date': 'Sat, 03 Apr 2021 07:33:28 GMT', 'x-amz-bucket-region': 'us-east-1', 'content-type': 'application/xml', 'transfer-encoding': 'chunked', 'server': 'AmazonS3'}, 'RetryAttempts': 0}, 'IsTruncated': True, 'Marker': 'analytics-s3i/params.json', 'Contents': [{'Key': 'analytics-s3i/template.json', 'LastModified': datetime.datetime(2020, 10, 29, 19, 50, 55, tzinfo=tzutc()), 'ETag': '"3af411f"', 'Size': 21334, 'StorageClass': 'STANDARD', 'Owner': {'DisplayName': 'AWS.Development', 'ID': '92************************'}}, {'Key': 'analytics-s3i2/param.json', 'LastModified': datetime.datetime(2020, 11, 20, 17, 32, 45, tzinfo=tzutc()), 'ETag': '"04c29cf86888f99"', 'Size': 1695, 'StorageClass': 'STANDARD', 'Owner': {'DisplayName': 'AWS.Development', 'ID': '92************************'}}], 'Name': 's3-test-bucket', 'Prefix': '', 'MaxKeys': 5, 'EncodingType': 'url', 'CommonPrefixes': None}

แนะนำ: ใช้ list_objects_v2 แทน list_objects เพราะเป็น API เวอร์ชันใหม่ที่มีประสิทธิภาพดีกว่าและรองรับการแบ่งหน้าได้เต็มรูปแบบ