จุดรหัส Unicode ทุกจุดเป็นของชุดรหัสเดียวซึ่งเรียกว่าสคริปต์ สคริปต์ของตัวละครเป็นตัวกำหนดภาษาของตัวละครนั้นๆ TensorFlow มาพร้อมกับเมธอด 'strings.unicode_script' ที่ช่วยค้นหาว่าสคริปต์ใดจะใช้โค้ดพอยท์ที่กำหนด รหัสสคริปต์เป็นค่า int32 ซึ่งสามารถจับคู่กับค่า UScriptCode ของส่วนประกอบสากลสำหรับ Unicode (ICU) ได้
อ่านเพิ่มเติม: TensorFlow คืออะไรและ Keras ทำงานร่วมกับ TensorFlow เพื่อสร้าง Neural Networks อย่างไร
เราจะไม่เห็นวิธีการแสดงสตริง Unicode โดยใช้ Python และจัดการกับสตริงที่ใช้ Unicode ที่เทียบเท่า ขั้นแรก แยกสตริง Unicode เป็นโทเค็นตามการตรวจจับสคริปต์โดยใช้ Unicode ที่เทียบเท่ากับ ops สตริงมาตรฐาน
เรากำลังใช้ Google Colaboratory เพื่อเรียกใช้โค้ดด้านล่าง Google Colab หรือ Colaboratory ช่วยเรียกใช้โค้ด Python บนเบราว์เซอร์และไม่ต้องมีการกำหนดค่าใดๆ และเข้าถึง GPU ได้ฟรี (หน่วยประมวลผลกราฟิก) Colaboratory ถูกสร้างขึ้นบน Jupyter Notebook
print("The below represent '芸' and 'Б' respectively")
uscript = tf.strings.unicode_script([33464, 1041])
print(uscript.numpy()) # [17, 8] == [USCRIPT_HAN, USCRIPT_CYRILLIC]
print("Applying to multidimensional strings")
print(tf.strings.unicode_script(batch_chars_ragged)) เครดิตโค้ด:https://www.tensorflow.org/tutorials/load_data/unicode
ผลลัพธ์
The below represent '芸' and 'Б' respectively [17 8] Applying to multidimensional strings <tf.RaggedTensor [[25, 25, 25, 25, 25], [25, 25, 25, 25, 0, 25, 25, 0, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 25], [25, 25, 25, 25, 25, 25, 25, 25, 25], [0]]>
คำอธิบาย
- จุดโค้ด Unicode ทุกจุดเป็นของคอลเล็กชันโค้ดพอยต์เดียวที่เรียกว่าสคริปต์
- สคริปต์ของตัวละครช่วยกำหนดภาษาที่ตัวละครนั้นสามารถอยู่ได้
- TensorFlow มีการดำเนินการ tf.strings.unicode_script เพื่อค้นหาว่าสคริปต์ใดที่จุดโค้ดที่กำหนดจะใช้
- รหัสสคริปต์เป็นค่า int32 ที่แมปกับค่า UScriptCode ของส่วนประกอบสากลสำหรับ Unicode (ICU)
- การดำเนินการ tf.strings.unicode_script สามารถใช้กับ tf.Tensors หลายมิติ หรือ tf.RaggedTensors ของโค้ดพอยท์ได้เช่นกัน
