Heteroskedasticity
- Unconditional: phương sai thay đổi nhưng không liên quan tới X, thường không gây vấn đề lớn. Conditional: phương sai phụ thuộc mức của X, gây vấn đề cho suy luận.
- Hệ quả: hệ số vẫn unbiased và consistent; standard error không đáng tin nên t-test, F-test không đáng tin.
- White test: hồi quy ε̂2 theo các X (kèm bình phương, tích chéo), χ2 = n × R2 với k(k + 3) ÷ 2 bậc tự do; bác bỏ H0 khi χ2 > giá trị tới hạn.
- Xử lý: dùng White (robust) standard errors; ngoài ra có thể biến đổi dữ liệu hoặc weighted least squares.
Multicollinearity
- Perfect collinearity: một X là tổ hợp tuyến tính chính xác của X khác, vi phạm giả định, không ước lượng được.
- Multicollinearity: các X tương quan cao, không vi phạm giả định nhưng làm standard error phình to, tăng Type II error.
- Dấu hiệu: t-test không có ý nghĩa trong khi R² cao và F-test bác bỏ H0. VIFj = 1 ÷ (1 − R2j); VIF > 10 (R2j > 90%) là có vấn đề.
- Khắc phục: bỏ bớt biến tương quan; stepwise regression.
Đặc tả mô hình
- Thêm biến thừa: hệ số vẫn unbiased, adjusted R² giảm, kém chính xác hơn.
- Omitted variable bias cần hai điều kiện: biến bị bỏ tương quan với X trong mô hình và là yếu tố quyết định Y. Hệ số chệch và inconsistent; β̂1 → β1 + β2 × δ.
- Bias-variance trade-off: mô hình lớn bias thấp, variance cao; mô hình nhỏ bias cao, variance thấp. Công cụ: general-to-specific (loại biến có |t| nhỏ nhất), m-fold cross-validation (chọn sai số ngoài mẫu thấp nhất).
Phần dư, outlier và BLUE
- Residual plot: phần dư theo Ŷ, lý tưởng là nhỏ và không có quy luật; standardized residual vượt ±4 là có vấn đề.
- Cook's distance: Dj = Σ(Ŷi(−j) − Ŷi)2 ÷ (k × s2), k là số hệ số kể cả hệ số chặn; Dj > 1 là outlier có ảnh hưởng.
- OLS là BLUE khi quan hệ tuyến tính, sai số có kỳ vọng 0, homoskedastic và độc lập; không cần phân phối chuẩn.