Précisions importantes sur le backtesting comparatif de la VaR

Important facts on comparative backtesting of Value at Risk

Samir Saissi-Hassani
Additional contact information
Samir Saissi-Hassani: HEC Montréal

No 25-06, Working Papers from HEC Montreal, Canada Research Chair in Risk Management

Abstract: La Valeur à Risque (VaR) demeure une mesure clé du risque de marché, notamment sous l’exigence Bâle du backtesting sur la VaR à 1%. Le backtesting standard évalue la couverture du modèle. Le backtesting comparatif mesure son économie. Ces deux approches sont essentielles et complémentaires, certes, mais différentes et parfois contradictoires. Effectivement, un modèle peut être désigné le meilleur économiquement, quoique non conforme réglementairement. Nous documenterons ces faits et approfondirons l’analyse des mécanismes reliés. D’autre part, la littérature actuelle du backtesting comparatif utiliserait inadéquatement le test DM. Lors des périodes de fortes violations groupées de la VaR, les fonctions de score produisent des valeurs extrêmes non indépendantes très asymétriques. La conclusion du test pourrait être invalide à cause d’un problème de stationnarité que la théorie suppose. Pour y remédier, le test DM est reconstruit à l’aide de fonctions de transformation appropriées. Il fournit ainsi des conclusions consistantes et statistiquement identiques, avec plusieurs combinaisons de fonctions de transformation et de fonctions de score distinctes.

Value at Risk (VaR) remains a key measure of market risk, notably under the Basel requirement for backtesting on VaR at 1%. Standard backtesting evaluates the model’s coverage. Comparative backtesting measures its economic efficiency. These two approaches are essential and complementary, yet different and sometimes contradictory. Indeed, a model may be deemed the best economically, although not regulatory compliant. We will document those facts and conduct a thorough analysis of the underlying mechanisms involved. Moreover, the way the current literature on comparative backtesting uses the DM test might be inadequate. During periods of heavy clustered VaR violations, score functions produce very asymmetric and non-independent extreme values. A problem of stationarity theoretically assumed could render the test’s conclusion erroneous. To address this, the DM test is rebuilt using suitable transformation functions. It thus provides consistent and statistically identical conclusions with several combinations of distinct transformation functions and score functions.

Keywords: Value at Risk; market risk; Basel settlements; standard backtesting; comparative backtesting; score fonctions; identification fonctions; unconditional coverage; conditional coverage; transformation fo (search for similar items in EconPapers)
JEL-codes: C22 C44 C46 C52 G21 G24 G28 G32 (search for similar items in EconPapers)
Pages: 58
Date: 2025-10-07
References: Add references at CitEc
Citations:

Downloads: (external link)
https://www.risksresearch.com/_files/ugd/a6eed3_c1 ... ae0167d2f547a33e.pdf

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:ris:crcrmw:021673

Access Statistics for this paper

More papers in Working Papers from HEC Montreal, Canada Research Chair in Risk Management Contact information at EDIRC.
Bibliographic data for series maintained by Claire Boisvert ().