000 04814nam a2200289 c 4500
999 _c147485
_d147485
003 ES-MaIEF
005 20230529185908.0
007 ta
008 190603s2021 sp a||||o||||o001 0 eng d
040 _aES-MaIEF
_bspa
_cES-MaIEF
100 1 _968505
_aAlonso, Andrés
245 1 0 _aUnderstanding the performance of machine learning models to predict credit default
_helectrónico
_ba novel approach for supervisory evaluation
_c Andrés Alonso and José Manuel Carbó
260 _aMadrid
_bBanco de España
_c2021
300 _a44 p
490 0 _aBanco de España. Documentos de trabajo ;
_v2105
500 _aDisponible en formato PDF en el repositorio de la Biblioteca del IEF con el nombre : OL 1799
520 _aIn this paper we study the performance of several machine learning (ML) models for credit default prediction. We do so by using a unique and anonymized database from a major Spanish bank. We compare the statistical performance of a simple and traditionally used model like the Logistic Regression (Logit), with more advanced ones like Lasso penalized logistic regression, Classification And Regression Tree (CART), Random Forest, XGBoost and Deep Neural Networks. Following the process deployed for the supervisory validation of Internal Rating-Based (IRB) systems, we examine the benefits of using ML in terms of predictive power, both in classification and calibration. Running a simulation exercise for different sample sizes and number of features we are able to isolate the information advantage associated to the access to big amounts of data, and measure the ML model advantage. Despite the fact that ML models outperforms Logit both in classification and in calibration, more complex ML algorithms do not necessarily predict better. We then translate this statistical performance into economic impact. We do so by estimating the savings in regulatory capital when using ML models instead of a simpler model like Lasso to compute the risk-weighted assets. Our benchmark results show that implementing XGBoost could yield savings from 12.4% to 17% in terms of regulatory capital requirements under the IRB approach. This leads us to conclude that the potential benefits in economic terms for the institutions would be significant and this justify further research to better understand all the risks embedded in ML models.
520 _aEn este artículo estudiamos el rendimiento de diferentes modelos de aprendizaje automático —machine learning (ML)— en la predicción de incumplimiento crediticio. Para ello hemos utilizado una base de datos única y anónima de uno de los bancos españoles más importantes. Hemos comparado el rendimiento estadístico de los modelos tradicionalmente más usados, como la regresión logística (Logit), con modelos más avanzados, como la regresión logística penalizada (Lasso), árboles de clasificación y regresión, bosques aleatorios, XGBoost y redes neuronales profundas. Siguiendo el proceso de validación supervisora de sistemas basados en calificaciones internas —Internal ratings-based approach (IRB)— hemos examinado los beneficios en poder predictivo de usar técnicas de ML, tanto para clasificar como para calibrar. Hemos realizado simulaciones con diferentes tamaños de muestras y número de variables explicativas para aislar las ventajas que pueden tener los modelos de ML asociadas al acceso de grandes cantidades de datos, de las ventajas propias de los modelos de ML. Encontramos que los modelos de ML tienen un mejor rendimiento que Logit tanto en clasificación como en calibración, aunque los modelos más complejos de ML no son necesariamente los que predicen mejor. Posteriormente traducimos esta mejoría en rendimiento estadístico a impacto económico. Para ello estimamos el ahorro en capital regulatorio cuando usamos modelos de ML en lugar de métodos tradicionales para calcular los activos ponderados en función del riesgo. Nuestros resultados indican que usar XGBoost en lugar de Lasso puede resultar en ahorros de un 12,4% a un 17%, en términos de capital regulatorio, cuando utilizamos el proceso IRB. Esto nos lleva a concluir que los beneficios potenciales de usar ML, en términos económicos, serían significativos para las instituciones, lo que justifica una mayor investigación para comprender mejor todos los riesgos incorporados en los modelos de ML.
650 4 _aESPAÑA
_941092
650 4 _aDEUDORES Y ACREEDORES
_956582
650 4 _aSOBREENDEUDAMIENTO DE PARTICULARES
_956570
650 4 _aPAGO
_947926
650 4 _aMODELOS ECONOMETRICOS
_947776
700 1 _968536
_aCarbó, José Manuel
856 _uhttps://www.bde.es/f/webbde/SES/Secciones/Publicaciones/PublicacionesSeriadas/DocumentosTrabajo/21/Files/dt2105e.pdf
942 _cRE