Sparsification (การทำให้ Proximity Matrix เบาบาง) Proximity matrix ขนาด m×m สำหรับ m จุดข้อมูล สามารถมองเป็น dense graph ที่ทุกโหนดเชื่อมต่อกันทุกคู่ และน้ำหนัก edge ระหว่างคู่โหนดสะท้อน pairwise proximity ของพวกเขา แม้ทุกวัตถุจะมีความคล้ายคลึงกับทุกวัตถุ แต่สำหรับชุดข้อมูลส่วนใหญ่ วัตถุคล้ายกับจำน

CURE (Clustering Using REpresentatives) CURE ย่อมาจาก Clustering Using REpresentatives เป็นอัลกอริทึมจัดกลุ่มที่ใช้หลายเทคนิคเพื่อสร้างแนวทางที่จัดการชุดข้อมูลขนาดใหญ่, outliers, และกลุ่มที่มีสถาปัตยกรรม non-spherical และขนาด non-uniform ได้ CURE นิยามกลุ่มโดยใช้ representative points หลายจุดจากกลุ

แอปพลิเคชันของ Anomaly Detection ใน anomaly detection วัตถุประสงค์คือค้นพบวัตถุที่แตกต่างจากวัตถุอื่นๆ เรียกว่า outliers เพราะอยู่ไกลจากจุดข้อมูลส่วนใหญ่บน scatter plot เรียกอีกอย่างว่า deviation detection เพราะค่าแอตทริบิวต์เบี่ยงเบนจากค่าที่คาดหวัง หรือ exception mining เพราะ anomalies เป็นสิ่งพิ

สาเหตุของ Anomalies (ความผิดปกติ) ใน anomaly detection วัตถุประสงค์คือค้นพบวัตถุที่แตกต่างจากวัตถุอื่นๆ บ่อยครั้ง anomalous objects เรียกว่า outliers เพราะบน scatter plot พวกมันอยู่ไกลจากจุดข้อมูลส่วนใหญ่ Anomaly detection เรียกอีกอย่างว่า deviation detection เพราะ anomalous objects มีค่าแอตทริบิวต

ปัญหาของ Anomaly Detection มีประเด็นสำคัญในการตรวจจับความผิดปกติ (anomaly detection) ดังนี้: 1. Number of Attributes used to define an anomaly (จำนวนแอตทริบิวต์ที่ใช้นิยาม anomaly) คำถามว่าวัตถุเป็น anomalous ขึ้นอยู่กับแอตทริบิวต์เดี่ยว คือค่าของวัตถุสำหรับแอตทริบิวต์นั้น anomalous หรือไม่ เนื่อง

แนวทางทางสถิติ (Statistical Approaches) แนวทางทางสถิติเป็นแนวทางแบบมีโมเดล (model-based) คือ สร้างโมเดลสำหรับข้อมูล และประเมินวัตถุว่าตรงกับโมเดลมากน้อยเพียงไร แนวทางทางสถิติส่วนใหญ่ในการตรวจจับ outliers ขึ้นอยู่กับการพัฒนาโมเดลการแจกแจงความน่าจะเป็น (probability distribution model) และพิจารณาว่าวั

แอปพลิเคชันของ CRISP-DM (Cross Industry Standard Process for Data Mining) CRISP-DM ได้รับการยอมรับเป็นแนวทางเพื่อมาตรฐาน hóa methodology M&V และอนุญาตให้ประเมินการประหยัดพลังงานได้อย่างมีประสิทธิภาพมากขึ้น มีแอปพลิเคชันของ CRISP-DM ดังนี้: 1. Business Understanding (ความเข้าใจทางธุรกิจ) โรงงาน

Bitcoin Mining (การขุดบิทคอยน์) คืออะไร? Bitcoin mining หมายถึงกระบวนการยืนยันและเพิ่มข้อมูลธุรกรรมลงในบัญชีแจ้งสาธารณะ (public ledger) บัญชีแจ้งสาธารณะนี้เรียกว่า blockchain เพราะประกอบด้วยชุดของบล็อก (blocks) บิทคอยน์เป็นเงินเสมือนที่มีค่า และค่าเปลี่ยนแปลงตามเวลา ไม่มีหน่วยงานกำกับดูแลธุรกรรมบิท

Bisecting K-Means Algorithm Bisecting K-means algorithm เป็นการขยายง่ายๆ ของ K-means พื้นฐาน ขึ้นอยู่กับแนวคิดง่ายๆ: เพื่อได้ K clusters ให้แบ่งชุดจุดทั้งหมดเป็นสองกลุ่ม เลือกหนึ่งในสองกลุ่มมาแบ่งต่อ ไปเรื่อยๆ จนได้ K clusters K-means algorithm รับพารามิเตอร์นำเข้า k และแบ่งชุด n objects เป็น k cl

Agglomerative Hierarchical Clustering (การจัดกลุ่มแบบลำดับชั้นแบบรวม - Bottom-up) Agglomerative Hierarchical clustering เป็นแนวทางจัดกลุ่มแบบ bottom-up ที่กลุ่มมี sub-clusters ซึ่งต่อไปก็มี sub-clusters อีก ต่างเริ่มต้นโดยวางทุกวัตถุในกลุ่มของตัวเอง แล้วรวม atomic clusters เหล่านี้เป็นกลุ่มใหญ่ขึ้น

องค์ประกอบของ Hierarchical Clustering วิธีการจัดกลุ่มแบบลำดับชั้นทำงานโดยการรวมวัตถุข้อมูลเป็นต้นไม้ของกลุ่ม (tree of clusters) อัลกอริทึมแบบลำดับชั้นมีแบบ top-down (divisive) หรือ bottom-up (agglomerative) คุณลักษณะของเทคนิกลำดับชั้นที่แม่นยำเสื่อมลงจากความไม่สามารถปรับเปลี่ยนได้ เนื่องจากการตัดสิ

K-Means K-means clustering เป็นอัลกอริทึมแบ่งกลุ่ม (partitioning algorithm) K-means จัดสรรข้อมูลแต่ละชิ้นในชุดข้อมูลให้กับกลุ่มใหม่ที่สร้างขึ้นเพียงกลุ่มเดียว ข้อมูลหรือจุดข้อมูลจะถูกกำหนดให้กับกลุ่มที่ใกล้ที่สุดโดยใช้ขนาดระยะทางหรือความคล้ายคลึง ใน K-means วัตถุจะถูกกำหนดให้กับ centroid ที่ใกล้ที่

ลักษณะของข้อมูลที่ส่งผลต่อการวิเคราะห์กลุ่ม ลักษณะข้อมูลต่อไปนี้สามารถส่งผลกระทบอย่างมากต่อการวิเคราะห์กลุ่ม: 1. High Dimensionality (มิติสูง) ในชุดข้อมูลมิติสูง แนวคิดแบบยุคลิดเกี่ยวกับความหนาแน่น (จำนวนจุดต่อปริมาตรหน่วย) จะกลายเป็นสิ่งสำคัญ สันนิษฐานว่าเมื่อมิติเพิ่มขึ้น ปริมาตรเพิ่มขึ้นแบบเอ็ก

องค์ประกอบของกลุ่ม (Cluster Elements) กระบวนการรวมชุดของวัตถุทางกายภาพหรือนามธรรมเข้ากับชั้นเรียนของวัตถุเดียวกัน เรียกว่า การจัดกลุ่ม (clustering) กลุ่ม (cluster) คือชุดของวัตถุข้อมูลที่คล้ายกันภายในกลุ่มเดียวกัน และแตกต่างจากวัตถุในกลุ่มอื่น กลุ่มข้อมูลสามารถมองรวมเป็นหนึ่งกลุ่มในหลายแอปพลิเคชัน

ลักษณะสำคัญของอัลกอริทึมจัดกลุ่ม มีลักษณะหลักของอัลกอริทึมจัดกลุ่มดังนี้: 1. Order Dependence (ความขึ้นอยู่กับลำดับข้อมูล) สำหรับอัลกอริทึมบางตัว ลักษณะและจำนวนกลุ่มที่ได้อาจแตกต่างกันอย่างมาก ขึ้นอยู่กับลำดับที่ข้อมูลถูกประมวลผล แม้จะควรหลีกเลี่ยงอัลกอริทึมแบบนี้ แต่บางครั้งความขึ้นอยู่กับลำดับมี

Prototype-Based Clustering (การจัดกลุ่มแบบโปรโตไทป์) คืออะไร? ในการจัดกลุ่มแบบโปรโตไทป์ กลุ่ม (cluster) คือกลุ่มของวัตถุที่วัตถุหนึ่งอยู่ใกล้โปรโตไทป์ที่แทนกลุ่มนั้นมากกว่าโปรโตไทป์ของกลุ่มอื่น อัลกอริทึมแบบโปรโตไทพ์ที่ง่ายที่สุดใช้ centroid (จุดกึ่งกลาง) ของสมาชิกในกลุ่มเป็นโปรโตไทป์ของกลุ่มนั้น

SOM (Self-Organizing Feature Map) คืออะไร? SOM ย่อมาจาก Self-Organizing Feature Map เป็นแนวทางการจัดกลุ่ม (clustering) และการแสดงภาพข้อมูล (data visualization) ที่พัฒนาจากมุมมองของเครือข่ายประสาทเทียม (neural network) วัตถุประสงค์หลักของ SOM คือการค้นหาชุดของ centroid (ที่เรียกในภาษา SOM ว่า refere

SOM (Self-Organizing Feature Map) เป็น clustering และ data visualization technique ที่อิง neural network perspective 儘管มี neural network basis แต่ SOM นำเสนออย่าง minimal ในบริบทของ prototype-based clustering alteration อัลกอริทึมของ SOM Initialize the centroids (เริ่มต้น centroids) repeat Choose

Association analysis algorithms มี potential สร้าง patterns จำนวนมาก ตัวอย่าง แม้ data set มีแค่ 6 items สร้างได้ถึงพันกว่า association rules ที่ support และ confidence thresholds บางระดับ เนื่องจาก real commercial databases ใหญ่และมิติสูง อาจได้ thousands หรือ millions ของ patterns บางส่วนไม่น่าสน

วิธีมาตรฐานสำหรับจัดการ graph isomorphism issues คือ map แต่ละ graph เป็น string representation เฉพาะเจาะจง เรียกว่า code หรือ canonical label Canonical label มี property ว่า ถ้า two graphs เป็น isomorphic codes ของพวกเขาจะต้องเท่ากัน Property นี้ช่วยให้เรา test graph isomorphism ได้โดยเปรียบเทียบ