Evaluación de indicadores adelantados mediante el área AUC
(Fragmento de las páginas 18-19 de la sección "La brecha crédito/PIB y los colchones de capital anticíclicos: preguntas y respuestas" del Informe Trimestral del BPI, marzo de 2014)
El área AUC, es decir el área bajo la curva ROC (Receiver Operating Characteristic o Característica Operativa del Receptor), es una herramienta estadística que se utiliza para medir el acierto en la predicción de eventos binarios, es decir, eventos que bien ocurren o no ocurren. Los orígenes de esta herramienta se remontan al análisis de señales de radar durante la Segunda Guerra Mundial, aunque también tiene una larga trayectoria en otros ámbitos científicos (ej Swets y Picket (1982)). Su aplicación a la economía es más reciente (ej Cohen et al (2009), Berge y Jorda (2011), Jorda et al (2011)). El UAC condensa la relación de intercambio entre las señales correctas y falsas para las preferencias de cada operador (en ese caso, las autoridades), como se explica más abajo.
La elección de un indicador implica tomar una decisión sobre el compromiso que ofrece entre la tasa de predicciones correctas y la tasa de predicciones falsas. Existen cuatro combinaciones posibles entre una señal binaria (que puede ser «positivo» o «negativo») y la consiguiente materialización de un evento («ocurre» o «no ocurre»). El indicador perfecto es aquel que señala «positivo» cada vez que va a ocurrir un evento, mientras que la señal de una indicador desinformativo tiene las mismas probabilidades de acertar que de fallar. Las señales que no son binarias sino que proceden de variables continuas, como las que abarca este artículo, deben calibrarse, es decir, el operador define un umbral por encima del cual todo indicador se considera una señal. Modificando el umbral varía la relación entre verdaderos positivos (señal «positiva» y «ocurre») y falsos positivos (señal «positiva» y «no ocurre»). Si el umbral se fija en un nivel muy alto, el indicador no logrará predecir muchos eventos, pero tampoco señalará muchos falsos positivos. Si el umbral se fija en un nivel muy bajo, generará muchas señales, captando así muchos eventos, pero también errará mucho más en las predicciones 1.
La curva ROC de un indicador refleja la relación entre la tasa de verdaderos positivos (como porcentaje de todos los eventos que ocurren) y la tasa de falsos positivos (como porcentaje de todos los que no ocurren) para diferentes niveles del umbral. Las líneas rojas del gráfico inferior muestran las curvas ROC para tres indicadores diferentes. El panel izquierdo corresponde al indicador perfecto, que es el que predice correctamente los eventos, por lo que si se baja el umbral desde el máximo se predicen cada vez más eventos pero siempre sin errar (segmento vertical). Cuando el umbral se sitúa en el nivel que predice todos los eventos que ocurren, bajándolo más no aumentará la tasa de aciertos de predicción, que ya de por sí es 1, pero sí la tasa de predicciones positivas erróneas (segmento horizontal). El panel derecho refleja el otro extremo: un indicador completamente desinformativo. Si se rebaja el umbral, se modifica la tasa de verdaderos y falsos positivos, pero siempre en la misma cantidad. Por tanto, el punto de equilibrio se sitúa en la línea de 45º. Los casos más interesantes se encuentran entre ambos extremos (panel central): conforme el calibrado se aleja del vértice del gráfico (reduciendo el umbral desde su valor máximo), va mejorando la tasa de verdaderos positivos sin que con ello aumente demasiado la tasa de falsos positivos. Sin embargo, según va bajando el umbral, cuesta más mejorar la tasa de verdaderos positivos (es decir, la curva ROC se aplana).
El operador (las autoridades en este caso) no es indiferente a esta relación de compromiso y pondera positivamente la tasa de aciertos (predicciones correctas de eventos que ocurren) y negativamente la tasa de falsos positivos. Estas preferencias se reflejan en las líneas rectas discontinuas. La línea más vertical (azul) corresponde a un operador que prefiere evitar los falsos positivos proporcionalmente más que otro operador que prefiere no dejar de predecir un evento (línea verde). Cada uno de estos operadores intenta alcanzar la mayor extensión de la pendiente que representa sus preferencias. Para los dos casos extremos, la elección es trivial. En el caso del indicador perfectamente informativo del panel izquierdo, el calibrado de ambos operadores ofrecerá una certeza total. En el caso del indicador desinformativo del panel derecho, ambos operadores se situarán en extremos opuestos: uno en el punto con cero falsos positivos y tasa de aciertos cero (el vértice) y el otro en el punto que predice todos los eventos que ocurren, pero donde la tasa de falsos positivos es del 100%. En situaciones realistas con indicadores informativos con ruido, cada operador elegirá su propio calibrado como muestran los puntos de tangencia del panel central. Para cada operador, la distancia entre la línea roja en el punto de tangencia y la línea de 45º representa la ganancia que obtienen dadas sus preferencias y las opciones que ofrece el indicador en cuestión.
El AUC se calcula como el área bajo toda la curva ROC, Así pues, refleja la ganancia media con respecto a la decisión desinformada para todas las posibles preferencias del operador (es decir, para todas las posibles combinaciones de ponderaciones asignadas a los dos tipos de errores). Así pues, ofrece una medida condensada del poder de predicción para toda la gama de posibles preferencias y calibrados (Elliott and Lieli (2013)), lo cual resulta especial atractivo en el ámbito de política macroprudencial, ante la dificultad para cuantificar con precisión los costes y beneficios de sus medidas (CGFS (2012)). El indicador desinformativo tiene un AUC (área por debajo de la línea de 45º) de 0,5, mientras que en el caso del indicador completamente informativo la AUC es de 1. Los casos intermedios presentan valores comprendidos entre ambas magnitudes. En el caso de indicadores cuyo valor cae en anticipación de un evento, la AUC presenta valores comprendidos entre 0,5 (desinformativo) y 0 (perfectamente informativo).
1 Se asume que el indicador aumenta en anticipación de un evento. En caso contrario, la señal es «positiva» cuando la variable se sitúa por debajo del umbral y la explicación sería a la inversa.