ความหมายของ Generalized Linear Models
Generalized linear models (GLMs) นิยามฐานทฤษฎี (theoretical foundation) ที่ regression แบบเชิงเส้น (linear regression) สามารถนำไปใช้ในการสร้างโมเดลตัวแปรตอบสนองเชิงหมวดหมู่ (categorical response variables) ได้ ใน generalized linear models ความแปรปรวน (variance) ของตัวแปรตอบสนอง y เป็นฟังก์ชันของค่าเฉลี่ยของ y ไม่เหมือนกับ linear regression ที่ความแปรปรวนของ y เป็นค่าคงที่ (constant)
Generalized linear models (GLMs) เป็นการขยาย (extension) ของ linear models แบบดั้งเดิม อัลกอริทึมนี้ fit generalized linear models เข้ากับข้อมูลโดยการเพิ่มให้สูงสุด (maximizing) log-likelihood Elastic net penalty สามารถใช้สำหรับการทำให้พารามิเตอร์สม่ำเสมอ (parameter regularization) การคำนวณการ fit โมเดล (model fitting calculation) เป็นแบบขนาน (parallel), รวดเร็วทั้งหมด (completely fast), และขยายได้ดี (scales completely well) สำหรับโมเดลที่มีจำนวน predictors ที่แน่นอนกับ non-zero coefficients
สองประเภทของ GLMs
มีสองประเภทของ generalized linear models ได้แก่ Logistic Regression (การถดถอยโลจิสติก) และ Poisson Regression (การถดถอยพอยซง)
Logistic regression สร้างโมเดลความน่าจะเป็นของเหตุการณ์ต่างๆ ที่จะเกิดขึ้น เป็นฟังก์ชันเชิงเส้นของกลุ่มตัวแปรทำนาย (predictor variables)
Count data (ข้อมูลนับ) บ่อยครั้งแสดงการกระจายพอยซง (Poisson distribution) และโดยทั่วไปถูกสร้างโมเดลโดยใช้ Poisson regression
Log-linear Models
Log-linear models สร้างโมเดลการกระจายความน่าจะเป็นหลายมิติแบบ discrete (discrete multidimensional probability distributions) พวกเขาสามารถใช้คำนวณค่าความน่าจะเป็นที่เกี่ยวข้องกับเซลล์ลูกบาศก์ข้อมูล (data cube cells) ได้ ตัวอย่างเช่น สมมติว่ามีข้อมูลสำหรับแอตทริบิวต์ city, item, year, และ sales ในแนวทาง log-linear ทุกแอตทริบิวต์ควรเป็น categorical และดังนั้น แอตทริบิวต์ที่มีค่าต่อเนื่อง (continuous-valued attributes) (เช่น sales) ควรถูก discretized (แบ่งช่วง)
แนวทางนี้สามารถใช้คำนวณความน่าจะเป็นของแต่ละเซลล์ใน 4-D base cuboid สำหรับแอตทริบิวต์ที่กำหนด ขึ้นอยู่กับ 2-D cuboids สำหรับ city และ item, city และ year, city และ sales และ 3-D cuboid สำหรับ item, year, และ sales ด้วยวิธีนี้ แนวทางแบบวนซ้ำ (iterative approach) สามารถใช้สร้าง data cubes ระดับสูง (higher-order data cubes) จาก lower-order ones
วิธีนี้ขยายได้ดี (scales up well) เพื่อรองรับหลายมิติ นอกจากการทำนาย (prediction) log-linear model ยังมีประโยชน์สำหรับการบีบอัดข้อมูล (data compression) (เพราะ lower-order cuboids โดยทั่วไปครอบครองพื้นที่น้อยกว่า base cuboid) และการทำให้ข้อมูลเรียบ (data smoothing) (เพราะการคำนวณเซลล์ใน lower-order cuboids ไม่ค่อยขึ้นอยู่กับการเปลี่ยนแปลงจากการสุ่มตัวอย่าง sampling variations มากกว่าการคำนวณเซลล์ใน base cuboid)
Decision Trees สำหรับการทำนาย (Prediction)
Decision tree induction สามารถปรับเปลี่ยนได้เพื่อทำนายค่าต่อเนื่อง (continuous/ordered values) แทนที่จะเป็น class labels มีสองประเภทของต้นไม้สำหรับการทำนายคือ regression trees และ model trees Regression trees ถูกเสนอเป็นส่วนหนึ่งของระบบเรียนรู้ CART
ทุก regression tree leaf เก็บการทำนายค่าต่อเนื่อง (continuous-valued prediction) ซึ่งเป็นค่าเฉลี่ยของแอตทริบิวต์ที่ทำนายสำหรับ training tuples ที่จับ leaf นั้น ในทางตรงข้าม ใน model trees ทุก leaf แสดง regression model และสมการเชิงเส้นหลายตัวแปร (multivariate linear equation) สำหรับแอตทริบิวต์ที่ทำนาย Regression และ model trees มักมีประสิทธิภาพมากกว่า linear regression เมื่อข้อมูลไม่ได้ถูกนิยามดีโดย simple linear model
