Backtesting
Kiểm định hậu nghiệm
Backtesting (kiểm định hậu nghiệm) là việc so sánh dự báo của một mô hình với kết quả thực tế đã xảy ra để đánh giá mô hình có đáng tin hay không. Trong quản trị rủi ro, backtesting thường dùng để kiểm định mô hình VaR bằng cách đếm số ngày tổn thất thực tế vượt VaR. Trong đầu tư, thuật ngữ này còn chỉ việc chạy thử một chiến lược trên dữ liệu quá khứ.
Explanation
Một mô hình VaR 99% đúng sẽ có tổn thất thực tế vượt VaR vào khoảng 1% số ngày. Mỗi ngày như vậy gọi là exception (ngoại lệ). Trong 250 ngày giao dịch, số ngoại lệ kỳ vọng là 2,5. Nếu thấy 10 ngoại lệ, mô hình gần như chắc chắn đánh giá thấp rủi ro. Nếu thấy 0 ngoại lệ trong nhiều năm, mô hình có thể quá thận trọng, khiến tổ chức giữ thừa vốn và đặt hạn mức quá chặt.
Basel quy định khung traffic light (đèn giao thông) cho VaR 99% trên 250 ngày: vùng xanh từ 0 đến 4 ngoại lệ, vùng vàng từ 5 đến 9, vùng đỏ từ 10 trở lên. Ngân hàng dùng mô hình nội bộ phải nhân VaR với hệ số tối thiểu 3 khi tính vốn, cộng thêm plus factor ở vùng vàng (0,40 đến 0,85) và 1 ở vùng đỏ. Về thống kê, có thể dùng kiểm định z dựa trên phân phối nhị thức hoặc kiểm định Kupiec (unconditional coverage), và kiểm định Christoffersen để xem các ngoại lệ có dồn cục theo thời gian hay không.
Backtesting chiến lược đầu tư có mục đích khác: ước tính lợi nhuận và rủi ro nếu chiến lược đã được áp dụng trong quá khứ. Rủi ro lớn nhất ở đây là overfitting (khớp quá mức với dữ liệu), look-ahead bias (dùng thông tin chưa có tại thời điểm ra quyết định) và survivorship bias (chỉ dùng dữ liệu của các cổ phiếu còn tồn tại). Kết quả backtest đẹp không đảm bảo hiệu quả trong tương lai.
Backtesting khác stress testing: backtesting kiểm tra mô hình trên dữ liệu đã xảy ra, còn stress testing đặt câu hỏi nếu kịch bản cực đoan xảy ra thì sao. Backtesting là một phần bắt buộc của model validation và giúp phát hiện model risk sớm.
Key Points
- So sánh dự báo của mô hình với kết quả thực tế.
- VaR 99% trên 250 ngày: kỳ vọng 2,5 ngoại lệ.
- Basel traffic light: xanh 0-4, vàng 5-9, đỏ từ 10 ngoại lệ.
- Quá nhiều ngoại lệ là đánh giá thấp rủi ro, quá ít có thể là quá thận trọng.
- Backtest chiến lược đầu tư dễ bị overfitting, look-ahead bias và survivorship bias.
Formula
z = (x - N × p) / √(N × p × (1 - p))
- x
- Số ngoại lệ quan sát được (số ngày tổn thất thực tế vượt VaR), đếm từ báo cáo lãi lỗ hằng ngày.
- N
- Số ngày quan sát, thường là 250.
- p
- Xác suất ngoại lệ theo mô hình, bằng 1 - độ tin cậy (1% với VaR 99%).
Nếu |z| lớn hơn giá trị tới hạn (1,96 với mức ý nghĩa 5% hai phía), bác bỏ giả thuyết mô hình đúng.
Examples
Worked Example
Đánh giá mô hình VaR sau một năm
Ngân hàng TMCP Tây Đô (số liệu giả định) dùng VaR 1 ngày 99% cho khối kinh doanh. Trong 250 ngày giao dịch vừa qua, có 7 ngày tổn thất thực tế vượt VaR.
- Số ngoại lệ kỳ vọng: 250 × 1% = 2,5.
- Tỷ lệ ngoại lệ thực tế: 7 / 250 = 2,8%.
- z = (7 - 2,5) / √(250 × 0,01 × 0,99) = 4,5 / √2,475 ≈ 4,5 / 1,5732 ≈ 2,86, lớn hơn 1,96 nên bác bỏ giả thuyết mô hình đúng.
- Theo Basel, 7 ngoại lệ thuộc vùng vàng, plus factor 0,65: hệ số nhân vốn = 3 + 0,65 = 3,65.
Mô hình đánh giá thấp rủi ro và vốn yêu cầu tăng khoảng 0,65 / 3 ≈ 22% so với vùng xanh. Ngân hàng cần xem các ngày ngoại lệ có dồn vào một giai đoạn biến động không, rồi hiệu chỉnh lại mô hình, ví dụ dùng cửa sổ dữ liệu có thêm giai đoạn căng thẳng.
Real-World Scenario
Quỹ kiểm tra chiến lược bằng walk-forward
Anh Phong, chuyên viên phân tích định lượng tại một công ty quản lý quỹ, xây chiến lược chọn cổ phiếu theo động lượng trên dữ liệu 2015 đến 2022. Thay vì tối ưu tham số trên toàn bộ dữ liệu, anh dùng walk-forward: tối ưu trên 3 năm, kiểm tra trên năm kế tiếp, rồi trượt cửa sổ.
Lợi nhuận trên các năm kiểm tra thấp hơn đáng kể so với năm tối ưu, nhưng phản ánh trung thực hơn hiệu quả có thể đạt được. Anh cũng trừ phí giao dịch, thuế và dùng giá có thể khớp được thực tế trong biên độ giá, rồi mới trình ủy ban đầu tư.
Common Mistakes
Common Mistake
Chọn chiến lược tốt nhất trong 200 lần thử
Một nhà đầu tư thử 200 tổ hợp tham số cho chiến lược giao dịch trên dữ liệu 5 năm và chọn tổ hợp cho lợi nhuận 35%/năm. Khi áp dụng thật, lợi nhuận chỉ khoảng 3%/năm sau phí.
Đây là overfitting: với 200 lần thử, kết quả tốt nhất phần lớn đến từ may mắn khớp với nhiễu trong quá khứ. Cách đúng: giữ lại một phần dữ liệu ngoài mẫu chưa từng dùng, giới hạn số lần thử, tính chi phí giao dịch và kiểm tra tính hợp lý kinh tế của chiến lược.
- Cho rằng 0 ngoại lệ là mô hình VaR hoàn hảo, trong khi có thể mô hình quá thận trọng.
- So sánh VaR với lãi lỗ có chứa phí, hoa hồng và giao dịch trong ngày, làm sai lệch số ngoại lệ.
- Đọc kết quả backtest chiến lược đầu tư như lợi nhuận được đảm bảo trong tương lai.
- Dùng dữ liệu chưa công bố tại thời điểm ra quyết định khi backtest (look-ahead bias).
Exam Tip
FRM Part II (Market Risk) hỏi đếm ngoại lệ, vùng traffic light Basel, kiểm định Kupiec và Christoffersen. CFA Level II (Quantitative Methods) và Level III hỏi các thiên lệch khi backtest chiến lược đầu tư.