Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

วิธีการดึงข้อมูลข้อความ (Text Retrieval) มีอะไรบ้าง?


การดึงข้อมูลข้อความ (Text retrieval) เป็นกระบวนการแปลงข้อความไม่มีโครงสร้างเป็นรูปแบบที่มีโครงสร้างเพื่อระบุรูปแบบที่มีความหมายและข้อมูลเชิงลึกใหม่ โดยใช้เทคนิคการวิเคราะห์ขั้นสูง รวมถึง Naïve Bayes, Support Vector Machines (SVM), และอัลกอริทึม deep learning อื่นๆ องค์กรจึงสามารถสำรวจและค้นพบความสัมพันธ์ที่ซ่อนอยู่ภายในข้อมูลไม่มีโครงสร้างของพวกเขา มีสองวิธีของการดึงข้อมูลข้อความ ดังนี้:

  • การเลือกเอกสาร (Document Selection) — ในวิธีการเลือกเอกสาร คิวรีถูกมองว่าเป็นข้อจำกัดสำหรับการเลือกเอกสารที่เกี่ยวข้อง วิธีทั่วไปของประเภทนี้คือ Boolean retrieval model ซึ่งเอกสารถูกกำหนดโดยชุดคำสำคัญ (keywords) และผู้ใช้ให้ Boolean expression ของคำสำคัญ เช่น car and repair shops, tea or coffee, หรือ database systems but not Oracle ระบบดึงข้อมูลสามารถรับคิวรี Boolean นี้และคืนบันทึกที่สอดคล้องกับ Boolean expression เนื่องจากความซับซ้อนในการกำหนดความต้องการข้อมูลของผู้ใช้อย่างแม่นยำด้วยคิวรี Boolean เทคนิค Boolean retrieval ปกติทำงานได้ดีก็ต่อเมื่อผู้ใช้เข้าใจมากเกี่ยวกับชุดเอกสารและสามารถสร้างคิวรีที่ดีที่สุดได้ในลักษณะนี้

  • การจัดอันดับเอกสาร (Document ranking) — วิธีการจัดอันดับเอกสารใช้คิวรีเพื่อจัดอันดับบันทึกทั้งหมดตามลำดับความเกี่ยวข้อง สำหรับผู้ใช้ทั่วไปและคำค้นหาสำรวจ (exploratory queries) เทคนิคเหล่านี้เหมาะสมกว่าวิธีการเลือกเอกสาร ระบบดึงข้อมูลข้อมูลส่วนใหญ่ในปัจจุบันนำเสนอรายการไฟล์ที่จัดอันดับแล้วตอบสนองต่อคำค้นหาคีย์เวิร์ดของผู้ใช้

    มีหลายวิธีการจัดอันดับบนพื้นฐานขนาดใหญ่ของฐานคณิตศาสตร์ เช่น พีชคณิต, ตรรกะ, ความน่าจะเป็น, และสถิติ ความเข้าใจร่วมหลังทั้งหมดคือการเชื่อมโยงคีย์เวิร์ดในคิวรีกับในบันทึก และให้คะแนนแต่ละบันทึกตามว่าตรงกับคิวรีมากน้อยเพียงใด วัตถุประสงค์คือประมาณค่าความเกี่ยวข้องของบันทึกด้วยคะแนนที่คำนวณจากข้อมูลรวมถึงความถี่ของคำในเอกสารและชุดทั้งหมด 本质上 ยากที่จะให้ขนาดความเกี่ยวข้องที่แม่นยำระหว่างชุดคีย์เวิร์ด ตัวอย่าง ยากที่จะวัดระยะห่างระหว่าง data mining และ data analysis

    วิธีที่นิยมที่สุดของวิธีนี้คือ vector space model แนวคิดพื้นฐานคือ: แทนเอกสารและคิวรีทั้งคู่เป็นเวกเตอร์ในพื้นที่มิติสูงที่สอดคล้องกับคีย์เวิร์ดทั้งหมด และใช้ similarity measure ที่เหมาะสมเพื่อประเมินความคล้ายคลึงระหว่างเวกเตอร์คิวรีและเวกเตอร์บันทึก ค่า similarity จึงสามารถใช้จัดอันดับเอกสารได้