ดัชนีความสามารถในการอ่านใน Python (NLP)?

การประมวลผลภาษาธรรมชาติเป็นการศึกษาเกี่ยวกับการสร้างอัตโนมัติและความเข้าใจภาษามนุษย์ตามธรรมชาติ นี่เป็นงานที่น่าสนใจมากขึ้นในการแก้ปัญหา เนื่องจากเทคโนโลยีคอมพิวเตอร์ถูกรวมเข้ากับเกือบทุกอุตสาหกรรมในปัจจุบัน เราจะศึกษาสาขาวิชาเฉพาะด้านการประมวลผลภาษาธรรมชาติ ความสามารถในการอ่าน เรื่องนี้เกี่ยวข้องกับหัวข้อการกำหนดความสามารถในการอ่านข้อความ สิ่งนี้บ่งชี้ว่าการอ่านหรือทำความเข้าใจข้อความนั้นยากเพียงใด

ดัชนีความสามารถในการอ่านคือค่าตัวเลขที่ระบุว่าการอ่านและทำความเข้าใจข้อความนั้นยาก (หรือง่าย) เพียงใด มีการทดสอบหลายอย่างเพื่อกำหนดความสามารถในการอ่าน และมีขอบเขตการใช้งานที่แตกต่างกัน

"ความสามารถในการอ่านอธิบายความง่ายในการอ่านเอกสาร" [13] มีการทดสอบต่างๆ มากมาย [9] เพื่อคำนวณความสามารถในการอ่าน การทดสอบความสามารถในการอ่าน "ถือเป็นการคาดคะเนความง่ายในการอ่าน แต่ไม่ใช่วิธีเดียวในการพิจารณาความสามารถในการอ่าน"

การทดสอบบางอย่างใช้ภาษาที่เป็นกลาง แต่มีการทดสอบบางอย่างที่เหมาะกับบางภาษามากกว่า ความรู้เกี่ยวกับการทดสอบความสามารถในการอ่านที่แตกต่างกันเป็นสิ่งสำคัญสำหรับเรา

ARI = 4.71 * (characters/words) 
+ 0.5 * (words/sentence) -21.43

FRE = 206.835 − 1.015*(total words/ 
total sentences) − 84.6 * (total
syllables/ total words)

FKGL = 0.39 * (total words/ total 
sentences) + 11.8 (total syllables/ 
total words) -15.59

CLI = (5.89 * (characters/ words)) − 
(30 *(sentences/words)) − 15.8

GFI = 0.4 * (( words/ sentence) + 
100 * (complex words/ words))

RIX = (Long Words/ Sentences)
(long words = words where number of characters > 6)

LIX = (total words/ total sentences) + 
(long words/ total words * 100)
(long words = words where number 
of characters > 6)

ตัวอย่างเช่น ด้านล่างนี้คือโปรแกรมผ่านดัชนีเฟลชเพื่อกำหนดความสามารถในการอ่านของไฟล์ข้อความ

สมมติฐาน

จากข้างบนนี้ จะใช้สูตรระดับเกรด flesch-kincaid เพื่อคำนวณระดับเกรด G ที่เทียบเท่ากัน -

FKGL =0.39 * (จำนวนคำทั้งหมด/ ประโยคทั้งหมด) + 11.8 (จำนวนพยางค์ทั้งหมด/ จำนวนคำทั้งหมด) -15.59

รหัส

import os
dire = os.getcwd()
listOfdir = os.listdir(dire)
while True:
   UserFileName = input('Enter file name:')
   if (UserFileName in listOfdir) and (UserFileName.endswith(".txt")):
      InputFile = open(UserFileName,'r')
      text = InputFile.read()
      sentence = text.count('.') + text.count('!') + text.count(';') + text.count(':') + text.count('?')
      words = len(text.split())
      syllable = 0
      for word in text.split():
         for vowel in ['a','e','i','o','u']:
            syllable + = word.count(vowel)
         for ending in ['es','ed','e']:
            if word.endswith(ending):
               syllable - = 1
         if word.endswith('le'):
            syllable + = 1
      G = round((0.39*words)/sentence+ (11.8*syllable)/words-15.59)
      if G > = 0 and G < = 30:
         print ('The Readability level is College')
      elif G > = 50 and G < = 60:
         print ('The Readability level is High School')
      elif G > = 90 and G < = 100:
         print ('The Readability level is fourth grade')
      print ('This text has %d words' %(words))
   elif UserFileName not in listOfdir:
      print ('This text file does not exist in current directory')
   elif not(UserFileName.endswith('.txt')):
      print ('This is not a text file.')

ผลลัพธ์

Enter file name:dataVisualization.txt
The Readability level is College
This text has 64 words