Mô hình và giả định
- Y = α + β1X1 + … + βkXk + ε; βj là độ nhạy của Y theo Xj khi giữ nguyên các X khác (partial slope coefficient).
- Năm giả định của hồi quy một biến (mở rộng cho nhiều X) cộng giả định thứ sáu: các X không tương quan hoàn hảo, mỗi X có phần biến động riêng.
- OLS lọc ảnh hưởng của biến khác: hồi quy phần dư của Y (sau khi loại X2) theo phần dư của X1 (sau khi loại X2) ra β1.
- Thêm biến tương quan với X1 làm hệ số của X1 thay đổi; dummy variable dịch hệ số chặn giữa hai nhóm.
Thước đo khớp
- TSS = ESS + RSS; R2 = ESS ÷ TSS = 1 − RSS ÷ TSS; hồi quy bội: R2 = r2Y,Ŷ.
- SER = √[RSS ÷ (n − k − 1)]: độ bất định của giá trị dự báo.
- Ba hạn chế của R²: gần như luôn tăng khi thêm biến; không so sánh được khi Y khác nhau; không có ngưỡng chuẩn. R² cao không chứng minh đủ biến hay nhân quả.
- R2a = 1 − [(n − 1) ÷ (n − k − 1)] × (1 − R2); R2a ≤ R2, có thể giảm khi thêm biến, có thể âm.
Kiểm định
- t = (β̂j − βj0) ÷ SE(β̂j) với n − k − 1 bậc tự do; khoảng tin cậy β̂j ± tc × SE(β̂j).
- F-test mô hình đầy đủ và rút gọn: F = [(RSSP − RSSF) ÷ q] ÷ [RSSF ÷ (n − kF − 1)], bậc tự do (q, n − kF − 1), luôn một phía.
- F-test toàn mô hình: F = (ESS ÷ k) ÷ [RSS ÷ (n − k − 1)] = (R2 ÷ k) ÷ [(1 − R2) ÷ (n − k − 1)], bậc tự do (k, n − k − 1).
- Không bác bỏ H0 đồng thời không có nghĩa từng biến đều vô dụng; q = 1 thì F = t2.