ปัญหาที่พบบ่อยในการเหมืองข้อมูลคือการใช้สมการถดถอย (Regression Equation) เพื่อทำนายค่าของตัวแปร従属 (Dependent Variable) เมื่อเรามีตัวแปรหลายตัวพร้อมเลือกเป็นตัวทำนาย (Predictors) ในโมเดลนี้
ข้อพิจารณาอื่นที่สนับสนุนการรวมตัวแปรจำนวนมากในหวังว่าความสัมพันธ์ที่ซ่อนอยู่จะ浮出 มากขึ้น บริษัทหนึ่งพบว่าลูกค้าที่เคยซื้อฟิล์มกันรอยขีดข่วนสำหรับขาเก้าอี้และโต๊ะมีความเสี่ยงเครดิตต่ำกว่า
มีหลายเหตุผลที่ต้องระมัดระวังก่อนที่จะโยนตัวแปรที่เป็นไปได้ทั้งหมดเข้าไปในโมเดล
- อาจมีค่าใช้จ่ายสูงหรือไม่เป็นไปได้ที่จะตั้งค่าชุดตัวทำนายครบถ้วนสำหรับการทำนายในอนาคต
- อาจสามารถคำนวณตัวทำนายน้อยกว่าได้อย่างแม่นยำกว่า (เช่น ในการสำรวจ)
- ตัวทำนายมากเท่าไหร่ โอกาสค่าขาดหาย (Missing Values) ในข้อมูลก็มากเท่านั้น หากเราลบหรือเติมค่าระเบียนที่มีค่าขาดหาย ตัวทำนายหลายตัวจะนำไปสู่อัตราการลบหรือเติมค่าระเบียนสูงขึ้น
- ความกระชับ (Parsimony) เป็นลักษณะสำคัญของโมเดลที่ดี เราได้ข้อมูลเชิงลึกมากขึ้นเกี่ยวกับอิทธิพลของตัวทำนายในโมเดลที่มีพารามิเตอร์น้อย
- การประมาณค่าสัมประสิทธิ์ถดถอย (Regression Coefficients) น่าจะเป็นสองความหมาย (Ambiguous) เนื่องจาก multicollinearity ในโมเดลที่มีตัวแปรหลายตัว (Multicollinearity คือการมีอยู่ของตัวทำนายสองตัวขึ้นไปที่มีความสัมพันธ์เชิงเส้นเดียวกันกับตัวแปรผลลัพธ์)
- สัมประสิทธิ์ถดถอยแข็งแกร่งสำหรับโมเดลที่กระชับ กฎข้อเท็จจริงโดยประมาณคือมีระเบียนนับ n มากกว่า 5(p + 2) โดยที่ p คือจำนวนตัวทำนาย
- สามารถแสดงได้ว่าการใช้ตัวทำนายที่ไม่มีความสัมพันธ์กับตัวแปรผลลัพธ์ เพิ่มความแปรปรวนของการทำนาย
- สามารถแสดงได้ว่าการตัดทิ้งตัวทำนายที่มีความสัมพันธ์กับตัวแปรผลลัพธ์ สามารถเพิ่มข้อผิดพลาดเฉลี่ย (Bias) ของการทำนาย
สองจุดสุดท้ายนี้กำหนดว่ามีการแลกเปลี่ยน (Trade-off) ระหว่างตัวทำนายน้อยเกินไปและมากเกินไป โดยทั่วไป การยอมรับ bias บางส่วนสามารถลดความแปรปรวนในการทำนายได้ การแลกเปลี่ยน bias-variance นี้เป็นสิ่งสำคัญโดยเฉพาะสำหรับตัวทำนายหลายตัว เพราะน่าจะมีตัวแปรในโมเดลที่มีสัมประสิทธิ์เล็กเทียบกับส่วนเบี่ยงเบนมาตรฐานของสัญญาณรบกวน และมีความสัมพันธ์อย่างน้อยปานกลางกับตัวแปรอื่นๆ
การตัดทิ้งตัวแปรดังกล่าวจะปรับปรุงการทำนาย เนื่องจากลดความแปรปรวนของการทำนาย การแลกเปลี่ยน bias-variance แบบนี้เป็นองค์ประกอบสำคัญของกระบวนการเหมืองข้อมูลสำหรับการทำนายและการจำแนกประเภท
วิเคราะห์เหตุผลและวิธีการลด Predictors: ต้นทุน, Missing Values, Multicollinearity, Parsimony, กฎ n > 5(p+2), Bias-Variance Trade-off, และผลกระทบต่อ Prediction Variance และ Error
