Computer >> บทช่วยสอนคอมพิวเตอร์ >  >> การเขียนโปรแกรม >> การเขียนโปรแกรม

วิธีการแยกช่วงข้อมูลแบบไม่มีผู้กำกับดูแล (Unsupervised Discretization) มีอะไรบ้าง

แอตทริบิวต์เป็นแบบไม่ต่อเนื่อง (Discrete) หากมีจำนวนค่าที่เป็นไปได้น้อย (จำกัด) ในขณะที่แอตทริบิวต์ต่อเนื่อง (Continuous) ถือว่ามีจำนวนค่าที่เป็นไปได้มาก (อนันต์)

อีกนัยหนึ่ง แอตทริบิวต์ข้อมูลแบบไม่ต่อเนื่องสามารถมองได้เป็นฟังก์ชันที่ช่วง (Range) เป็นกลุ่มจำกัด ในขณะที่แอตทริบิวต์ข้อมูลต่อเนื่องเป็นฟังก์ชันที่ช่วงเป็นกลุ่มที่มีลำดับสมบูรณ์และไม่จำกัด โดยทั่วไปเป็นช่วง (Interval)

การแยกช่วง (Discretization) มีเป้าหมายเพื่อลดจำนวนค่าที่เป็นไปได้ที่แอตทริบิวต์ต่อเนื่องรับได้ โดยการแบ่งพวกมันออกเป็นช่วงหลายช่วง มีสองวิธีสำหรับปัญหาการแยกช่วง หนึ่งคือการควอนไทซ์ (Quantize) ทุกแอตทริบิวต์ในความไม่มีความรู้บางอย่างเกี่ยวกับคลาสของอินสแตนซ์ในคลาสการฝึกอบรม เรียกว่าการแยกช่วงแบบไม่มีผู้กำกับดูแล (Unsupervised Discretization)

อีกวิธีคือการนำคลาสเข้ามาคิดถึงเมื่อแยกช่วง เรียกว่าการแยกช่วงแบบมีผู้กำกับดูแล (Supervised Discretization) วิธีแรกเป็นความเป็นไปได้เพียงอย่างเดียวเมื่อจัดการกับปัญหาการจัดกลุ่ม (Clustering) ที่คลาสไม่รู้จักหรือไม่มีอยู่

วิธีที่ชัดเจนของการแยกช่วงแอตทริบิวต์ตัวเลขคือการแบ่งช่วงของมันออกเป็นจำนวนช่วงที่กำหนดไว้ล่วงหน้าที่เท่ากัน: ไม้กวาดที่คงที่ ไม่ขึ้นกับข้อมูล นี้โดยทั่วไปทำในขณะที่ข้อมูลถูกเก็บรวบรวม

ในวิธีการแยกช่วงแบบไม่มีผู้กำกับดูแล มันมีความเสี่ยงที่จะทำลายความแตกต่างที่จะกลายเป็นประโยชน์ในกระบวนการเรียนรู้ โดยการใช้ระดับช่วงที่หยาบเกินไป หรือ ที่โดยตัวเลือกที่ตรงข้ามของขอบเขต จำเป็นต้องรวมอินสแตนซ์หลายอินสแตนซ์ของหลายคลาสเข้าด้วยกัน

การแบ่งถังแบบกว้างเท่ากัน (Equal-width Binning) มักกระจายอินสแตนซ์อย่างไม่สม่ำเสมอ

บางถังมีอินสแตนซ์หลายตัว ในขณะที่บางถังไม่มีเลย สิ่งนี้สามารถทำลายความสามารถของแอตทริบิวต์ในการช่วยสร้างโครงสร้างการตัดสินใจที่ดีได้อย่างรุนแรง ดีกว่าคืออนุญาตให้ช่วงมีขนาดหลายขนาด เลือกพวกมันเพื่อให้จำนวนตัวอย่างการฝึกอบรมที่เท่ากันเข้าสู่แต่ละช่วง

วิธีนี้เรียกว่าการแบ่งถังแบบความถี่เท่ากัน (Equal-frequency Binning) แบ่งช่วงของแอตทริบิวต์ออกเป็นจำนวนถังที่กำหนดไว้ล่วงหน้าตามการกระจายของอินสแตนซ์ตามแกนนั้น บางครั้งเรียกว่าการทำให้ฮิสโตแกรมเท่ากัน (Histogram Equalization) เพราะถ้าสามารถทำฮิสโตแกรมของเนื้อหาถังที่ได้ จะแบนบ่อยครั้ง หากมองเห็นหลายถังเป็นทรัพยากร วิธีนี้พัฒนาการใช้งานที่ดีที่สุดของมัน

การแบ่งถังแบบความถี่เท่ากันชัดเจนต่อคลาสของอินสแตนซ์ และนี่สามารถสร้างขอบเขตที่ไม่ดีได้ ตัวอย่างเช่น หากบางอินสแตนซ์ในถังมีคลาสหนึ่ง และบางอินสแตนซ์ในถังถัดไปที่ใหญ่กว่ามีอีกคลาสหนึ่ง ยกเว้นอันแรกที่มีคลาสเริ่มต้น แน่นอนว่ามันสมเหตุสมผลที่จะเคารพการแบ่งคลาสและมีอินสแตนซ์แรกนั้นอยู่ในถังก่อนหน้า เสียสละคุณสมบัติความถี่เท่ากัน เพื่อประโยชน์ของความสม่ำเสมอ (Homogeneity)

Unsupervised Discretization: Equal-width vs Equal-frequency Binning และข้อจำกัด

ทำความเข้าใจ Unsupervised Discretization: การแปลงแอตทริบิวต์ต่อเนื่องเป็นช่วง (Binning) เทียบ Equal-width และ Equal-frequency Binning ข้อดี/ข้อเสีย และปัญหาขอบเขตคลาส