Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

ทำไมต้องใช้ Support และ Confidence ในการเหมืองข้อมูล

Support (การสนับสนุน) เป็นขนาดที่สำคัญเพราะกฎที่มี support ต่ำมากสามารถเกิดขึ้นได้ง่ายโดยโอกาส (Chance) กฎที่มี support ต่ายังเป็นไปได้ที่จะน่าเบื่อจากมุมมองธุรกิจ เพราะไม่คุ้มค่าที่จะปรับปรุงรายการที่ผู้ใช้ซื้อร่วมกันนานๆ

กฎการเชื่อมโยง (Association Rule) เป็นคำอธิบายแบบบ่งชี้ (Implication) ในรูปแบบ X→Y โดยที่ X และ Y เป็น itemsets ที่ไม่ทับซ้อน (Disjoint) คือ $\mathrm{X\cap\:Y=\phi}$ ความแข็งแกร่งของกฎการเชื่อมโยงสามารถวัดได้ในรูปของ support และ confidence ของมัน Support ตัดสินใจว่ากฎมีให้ (Available) มากแค่ไหนต่อชุดข้อมูลที่กำหนด ในขณะที่ confidence ตัดสินใจว่ารายการใน Y เกิดขึ้นบ่อยแค่ไหนในธุรกรรมที่มี X

Confidence (ความเชื่อมั่น) วัดความแม่นยำของข้อสรุปที่สร้างโดยกฎ สำหรับรูปแบบกฎที่กำหนด X→Y ค่า confidence ที่สูงกว่า ทำให้ Y น่าจะมีอยู่ในธุรกรรมที่มี X มากขึ้น Confidence ยังให้การประมาณค่าความน่าจะเป็นแบบมีเงื่อนไข (Conditional Probability) ของ Y ที่กำหนด X

ผลการวิเคราะห์การเชื่อมโยง (Association Analysis Results) ต้องดำเนินการด้วยความระมัดระวัง การอนุมานที่สร้างโดยกฎการเชื่อมโยงไม่จำเป็นต้องหมายถึงเหตุ-ผล (Causality) แทนที่จะเป็นสิ่งนั้น มันบ่งชี้ความสัมพันธ์ร่วมกันที่แข็งแกร่ง (Strong Co-occurrence Relationship) ระหว่างองค์ประกอบในอนุบัญญัติ (Antecedent) และอนุบัญญัติตาม (Consequent) ของกฎ เหตุ-ผล ต้องการความรู้เกี่ยวกับแอตทริบิวต์เหตุและผลในข้อมูล และโดยทั่วไปมีความสัมพันธ์ที่เกิดขึ้นตามเวลา

ปัญหาการเหมืองกฎการเชื่อมโยง (Association Rule Mining Problem) สามารถระบุได้ดังนี้:

การค้นพบกฎการเชื่อมโยง (Association Rule Discovery)

กำหนดชุดธุรกรรม T ค้นพบกฎบางกฎที่มี support ≥ minsup และ confidence ≥ minconf โดยที่ minsup และ minconf คือเกณฑ์ support และ confidence ที่เทียบเท่า

วิธี brute-force สำหรับการเหมืองกฎการเชื่อมโยงคือการคำนวณ support และ confidence สำหรับกฎที่ใช้ได้แต่ละกฎ วิธีนี้มีค่าใช้จ่ายสูงมาก เพราะมีกฎแบบเอ็กซ์โพเนนเชียลที่สามารถคัดลอกได้จากชุดข้อมูล

ขั้นตอนต้นทางแรกไปสู่การปรับปรุงการใช้งานของอัลกอริทึมการเหมืองกฎการเชื่อมโยงคือการแยก (Decouple) ข้อกำหนด support และ confidence หาก itemset เป็น infrequent (น่าจะเป็น odd ในข้อความต้นฉบับ) ดังนั้น candidate rules ทั้งหกสามารถตัดแต่ง (Pruned) ได้โดยตรงโดยไม่ต้องคำนวณค่า confidence ของพวกเขา

ดังนั้น กลยุทธ์ทั่วไปที่นำไปใช้โดยอัลกอริทึมการเหมืองกฎการเชื่อมโยงหลายอัลกอริทึมคือการแยกปัญหาออกเป็นสองงานหลักย่อย (Subtasks):

การสร้าง Frequent Itemsets (Frequent Itemset Generation)

วัตถุประสงค์คือค้นพบ itemsets บางอย่างที่ต้องการเกณฑ์ Itemsets เหล่านี้เรียกว่า frequent itemsets

การสร้างกฎ (Rule Generation)

วัตถุประสงค์คือแยกกฎ confidence สูง (High-confidence Rules) จาก frequent itemsets ที่ค้นพบในขั้นตอนก่อนหน้า กฎเหล่านี้เรียกว่า strong rules ความต้องการทางการคำนวณสำหรับการสร้าง frequent itemset มักมีค่าใช้จ่ายมากกว่าของการสร้างกฎ

Support & Confidence ใน Association Rule Mining: ความสำคัญ, การวัดความแข็งแกร่งกฎ, Causality vs Co-occurrence, 2-Step Process (Frequent Itemsets → Rule Generation)

ทำความเข้าใจ Support/Confidence: Support ป้องกัน Chance Rules, Confidence = Conditional Probability P(Y|X), ไม่ใช่ Causality, 2-Step Mining: Frequent Itemset Generation (Costly) → Rule Generation (Strong Rules)