Similarity Measures (การวัดความคล้ายคลึง) ให้กรอบงานที่ตัดสินใจ Data Mining บางอย่างพัฒนาขึ้น งานเช่น Classification และ Clustering โดยทั่วไปพิจารณาความมีอยู่ของ Similarity Measure ส่วนสาขาที่มีเทคนิควัดความคล้ายคลึงแย่ มักพบว่าการค้นหาข้อมูลเป็นงานที่面倒 (Cumbersome)
การประยุกต์ใช้หลัก
1. Information Retrieval (IR - การดึงข้อมูลสารสนเทศ)
เป้าหมายของระบบ IR คือตอบสนองความต้องการของผู้ใช้ ความต้องการมักแสดงเป็น Textual Query สั้น ที่พิมพ์ในกล่องค้นหาออนไลน์ ระบบ IR โดยทั่วไปไม่ตอบ Query โดยตรง แต่แสดงรายการบันทึกที่จัดอันดับ (Ranked List) ที่ถูกตัดสินว่าเกี่ยวข้อง (Relevant) กับ Query นั้น โดย Similarity Measure ใดๆ
เนื่องจาก Similarity Measures มีผลทำให้ข้อมูลจัดกลุ่มและจัดประเภทเกี่ยวกับ Query ผู้ใช้มักพบการตีความใหม่ของความต้องการข้อมูลที่อาจหรืออาจไม่มีประโยชน์ เมื่อปรับ Query ใหม่ ในกรณีที่ Query เป็นบันทึกจากชุดต้นฉบับ Similarity Measures 可用于 จัดกลุ่มและจัดประเภทบันทึกภายในชุดสะสม สรุปคือ Similarity Measures สามารถเพิ่มสถาปัตยกรรมพื้นฐานให้กับชุดที่ไม่มีโครงสร้าง (Unstructured Sets) ก่อนหน้านี้
แรงจูงใจ (Motivation)
Similarity Measures ที่ใช้ในระบบ IR อาจบิดเบือนมุมมองของชุดข้อมูลทั้งหมด ตัวอย่าง: หากผู้ใช้พิมพ์ Query ใน Search Engine และไม่พบคำตอบที่พอใจใน Top 10 หน้าเว็บ มักจะพยายามปรับ Query ใหม่ 1-2 ครั้ง
Classic Similarity Measures
Similarity Measure นิยามว่าเป็นการแมป (Mapping) จากคู่ของ Tuples ขนาด k ไปยัง Scalar Number ตามข้อตกลง ทุก Similarity Measures ต้องแมปไปยังช่วง [-1, 1] หรือ [0, 1] โดยคะแนนความคล้าย 1 หมายถึงความคล้ายสูงสุด Similarity Measure ควรแสดงคุณสมบัติที่ค่าจะเพิ่มขึ้นเมื่อคุณสมบัติที่สัมพันธ์ในสองรายการที่เปรียบเทียบเพิ่มขึ้น
Dice Coefficient
Dice Coefficient เป็นการทั่วไป (Generalization) ของค่าเฉลี่ยฮาร์โมนิก (Harmonic Mean) ของ Precision และ Recall ระบบที่มี Harmonic Mean สูง ทฤษฎีแล้วควรใกล้ระบบ Retrieval ที่ lý tưởng ที่จัดการ Precision สูงได้ในระดับ Recall สูง Harmonic Mean สำหรับ Precision และ Recall กำหนดโดย:
$$E = \frac{2}{\frac{1}{P} + \frac{1}{R}}$$
ในขณะที่ Dice Coefficient แทนด้วย:
$$sim(d,d_j) = D(A,B) = \frac{|A \cap B|}{\alpha|A| + (1-\alpha)|B|} \cong \frac{\alpha \sum_{k=1}^{n} w_{kq} w_{kj}}{\alpha \sum_{k=1}^{n} w_{kq}^2 + (1-\alpha) \sum_{k=1}^{n} w_{kj}^2}$$
ด้วย $\alpha \in [0, 1]$ แสดงว่า Dice Coefficient เป็น Weighted Harmonic Mean เมื่อ $\alpha = \frac{1}{2}$
Overlap Coefficient
Overlap Coefficient พยายามตัดสินใจระดับที่สองเซตทับซ้อน (Overlap) Overlap Coefficient เปรียบเทียบได้โดย:
$$sim(d,d_j) = D(A,B) = \frac{|A \cap B|}{\min(|A|, |B|)} \cong \frac{\alpha \sum_{k=1}^{n} w_{kq} w_{kj}}{\alpha \sum_{k=1}^{n} w_{kq}^2 + \sum_{k=1}^{n} w_{kj}^2}$$
Overlap Coefficient คำนวณโดยใช้ Max Operator แทน Min
