Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> Python

วิธีใช้ TensorFlow หาสถานะ Preprocessing Layer ของชุดข้อมูลใน Python

บทนำ

TextVectorization layer ต้อง adapt() กับข้อมูลก่อนใช้งาน เพื่อสร้าง Vocabulary จากข้อมูลจริง

การติดตั้ง

pip install tensorflow

ตัวอย่างโค้ด

# เตรียม dataset เฉพาะข้อความ (ไม่มี label)
train_text = raw_train_ds.map(lambda text, labels: text)

# เรียก adapt() บนทั้งสอง layer
binary_vectorize_layer.adapt(train_text)
int_vectorize_layer.adapt(train_text)

# นิยามฟังก์ชัน vectorize สำหรับ binary mode
def binary_vectorize_text(text, label):
    text = tf.expand_dims(text, -1)
    return binary_vectorize_layer(text), label

ผลลัพธ์

A text-only dataset without labels is prepared
The adapt method is called
The result is displayed on the console

คำอธิบาย

  • adapt() สแกนข้อมูลสร้าง Vocabulary อัตโนมัติ

  • Binary mode ใช้ Bag-of-words model