Tóm tắt Reading 56: Supervisory Guidance on Model Risk Management — FRM2

Model dùng thống kê, kinh tế, tài chính, toán cùng giả định để biến dữ liệu đầu vào thành ước lượng định lượng.
Ba thành phần: information input (dữ liệu, giả định) → processing (input thành ước lượng) → reporting (ước lượng thành thông tin dùng được cho kinh doanh).
Mô hình phải đơn giản hóa vì chi phí, nên không bao giờ chính xác tuyệt đối: model risk luôn tồn tại, không triệt tiêu được.
Model risk: hậu quả xấu (tổn thất tài chính, danh tiếng) do quyết định dựa trên đầu ra sai hoặc dùng sai. Hai nguồn: (1) mô hình có lỗi cơ bản, từ thiết kế tới triển khai, garbage in garbage out; (2) mô hình bị dùng sai, ngoài mục đích, sai bối cảnh, hoặc không còn phù hợp với sản phẩm/thị trường mới.

Nhận diện mọi rủi ro liên quan và định lượng. Lượng model risk tăng theo độ phức tạp, độ bất định của input và giả định, tác động lên người dùng. Đánh giá cả từng mô hình lẫn tổng hợp các mô hình liên quan.
Effective challenge: người độc lập hoàn toàn với khâu phát triển (tránh self-review threat), giỏi kỹ thuật, có quy trình theo dõi xử lý được ban điều hành cấp cao hậu thuẫn. Đòi hỏi tách bạch nhiệm vụ.
Công cụ khác: giới hạn phạm vi sử dụng, phân tích hiệu quả, hiệu chỉnh liên tục, đặt đầu ra cạnh thông tin khác để kiểm tra độ hợp lý.
Materiality quyết định cường độ quản trị.

Mục tiêu rõ, khớp với cách dùng; mô tả nền tảng kèm điểm mạnh, yếu; lý thuyết đúng; so với mô hình thay thế làm reasonability check.
Data proxy, dữ liệu không đại diện, điều chỉnh dữ liệu (nhất là từ nguồn ngoài) phải ghi rõ cho người dùng.
Kiểm thử: độ chính xác, độ vững và ổn định, dải input hợp lý, điểm yếu, trạng thái bình thường và stressed, mô hình phía sau dùng đầu ra. Dùng nhiều phép kiểm định để tránh Type I/Type II error.
Điều chỉnh định tính phải có cơ sở và được ghi chép; kiểm soát nội bộ gồm con người và hệ thống.

Người xây mô hình nói chung không thẩm định; ngoại lệ ở mảng quá chuyên sâu thì phải có rà soát khách quan.
Ba thành phần: conceptual soundness, ongoing monitoring, outcomes analysis.
Conceptual soundness: rà tài liệu (công thức, giả định, cách tính, input), dữ liệu phù hợp và đại diện; sensitivity analysis một biến, nhiều biến, stress; có kế hoạch sửa, giới hạn hoặc thay mô hình; thẩm định cả phần định tính.
Ongoing monitoring: process verification (input, mã nguồn, phân quyền sửa mã, nhật ký thay đổi, tích hợp hệ thống, bảng tính tự dựng), xem xét override, benchmarking (chênh nhỏ không phải xác nhận tuyệt đối; chênh lớn chưa chắc mô hình sai).
Outcomes analysis: định lượng và định tính, nhiều phép thử; parallel outcomes analysis (mô hình sửa không tốt hơn rõ rệt thì sửa tiếp); backtesting (giai đoạn khác giai đoạn xây mô hình, khớp kỳ dự báo, khoảng tin cậy); kỳ dự báo dài thì bổ sung kiểm thử ngắn hạn và early warning. Xây lại thì thẩm định trước khi dùng.
Backtest VaR: số lần vượt kỳ vọng = n × p; z = (số lần vượt − n × p) ÷ n × p × (1 − p).

Yêu cầu nhà cung cấp đưa thông tin xây dựng và kết quả kiểm thử; thẩm định dựa nhiều vào sensitivity analysis và benchmarking; ghi nhận sửa đổi; ngân hàng vẫn phải hiểu sâu sản phẩm.