การขุดข้อมูล (Data Mining) คือขั้นตอนการค้นพบความสัมพันธ์ รูปแบบ และแนวโน้มที่เป็นประโยชน์และใหม่ๆ โดยการวิเคราะห์ปริมาณข้อมูลจำนวนมากที่จัดเก็บในคลังข้อมูล โดยใช้เทคโนโลยีการรู้จำรูปแบบ รวมถึงเทคนิคทางสถิติและคณิตศาสตร์ นั่นคือการวิเคราะห์ชุดข้อมูลเชิงความเป็นจริงเพื่อค้นพบความสัมพันธ์ที่ไม่คาดคิด และสรุปข้อมูลในวิธีที่นวัตกรรม ซึ่งเป็นทั้งเหตุผลและมีประโยชน์ต่อเจ้าของข้อมูล
นี่คือกระบวนการคัดเลือก สำรวจ และสร้างแบบจำลองของข้อมูลปริมาณมาก เพื่อค้นหาความสม่ำเสมอหรือความสัมพันธ์ที่ไม่รู้จักกันมาก่อน เพื่อให้ได้ผลลัพธ์ที่ชัดเจนและมีประโยชน์สำหรับเจ้าของฐานข้อมูล
การขุดข้อมูลคล้ายคลึงกับวิทยาการข้อมูล (Data Science) ดำเนินการโดยบุคคลในสถานการณ์เฉพาะ บนชุดข้อมูลเฉพาะ และมีวัตถุประสงค์เฉพาะ ขั้นตอนนี้ประกอบด้วยฟังก์ชันหลายประเภท รวมถึง การขุดข้อความ (Text Mining) การขุดเว็บ (Web Mining) การขุดเสียงและวิดีโอ การขุดข้อมูลเชิงรรับรู้ และการขุดสื่อสังคม ซึ่งทำได้ผ่านซอฟต์แวร์ที่หลากหลายตั้งแต่พื้นฐานจนถึงเฉพาะทาง
การจ้างนอก (Outsourcing) งานขุดข้อมูลช่วยให้งานเสร็จเร็วขึ้นด้วยต้นทุนการดำเนินงานที่ต่ำ บริษัทเฉพาะทางยังสามารถใช้เทคโนโลยีใหม่ๆ เพื่อจัดเก็บข้อมูลที่ค้นหาได้ยากด้วยตนเอง มีข้อมูลจำนวนมหาศาลบนแพลตฟอร์มต่างๆ แต่ความรู้ที่เข้าถึงได้นั้นมีจำกัดมาก
ความท้าทายหลักคือการวิเคราะห์ข้อมูลเพื่อแยกข้อมูลสำคัญที่นำไปใช้แก้ปัญหาหรือพัฒนาธุรกิจได้ มีเครื่องมือและเทคนิคไดนามิกมากมายสำหรับขุดข้อมูลและค้นพบข้อมูลเชิงลึกที่ดีขึ้น
ทำไมการขุดชุดรายการที่พบบ่อย (Frequent Itemsets) จึงซับซ้อน?
ฟังก์ชันการขุดชุดรายการที่พบบ่อยเป็นเรื่องซับซ้อน เพราะยากที่จะหาความสัมพันธ์ที่แข็งแกร่งระหว่างรายการข้อมูลในระดับการนามธรรมที่ต่ำหรือพื้นฐาน เนื่องจากความ疏疏ของข้อมูลในพื้นที่หลายมิติ
ความสัมพันธ์ที่แข็งแกร่งมักพบในระดับแนวคิดสูงที่สามารถแทนความรู้ทั่วไปได้ แต่วิธีที่เป็นความรู้ทั่วไปสำหรับผู้ใช้อาจดูใหม่ๆ สำหรับอีกคน ดังนั้น การขุดข้อมูลจึงควรให้ความเป็นไปได้ในการขุดกฎเชื่อมโยง (Association Rules) ในหลายระดับของการนามธรรม และสลับระหว่างพื้นที่นามธรรมต่างๆ ได้อย่างราบรื่น
เหตุผลที่ทำให้การขุด Frequent Itemsets ยาก
การคำนวณเพิ่มขึ้นแบบเอ็กซ์โพเนนเชียล: การคำนวณที่ต้องใช้เพื่อสร้างกฎเชื่อมโยงเพิ่มขึ้นแบบเอ็กซ์โพเนนเชียลตามจำนวนรายการและความซับซ้อนของกฎที่พิจารณา
สมมติฐานรายการเหมือนกัน: รายการถูกถือว่าเหมือนกันยกเว้นคุณลักษณะระบุตัวตนเดียว เช่น ประเภทสินค้า แต่ไม่ใช่ทุกปัญหาที่เข้ากับคำอธิบายนี้
การเลือกชุดรายการที่เหมาะสม: งานที่ยากที่สุดคือการกำหนดชุดรายการที่ถูกต้องสำหรับการวิเคราะห์ โดยการทำให้รายการเป็นทั่วไป (Generalize) จะช่วยให้ความถี่ของรายการที่ใช้ในการวิเคราะห์ใกล้เคียงกัน
รายการที่เกิดขึ้นนادر: ยากที่จะสร้างกฎเชื่อมโยงเมื่อมีรายการที่เกิดขึ้นน้อยมากในธุรกรรมน้อยๆ
