Backtesting de Reserva de Seguros

Por:

Pedro Aguilar Beltrán

Jorge Avendaño Estrada

Septiembre de 2009

El Backtesting es un procedimiento técnico que consiste en validar la idoneidad,

precisión y validez de un modelo diseñado para hacer estimaciones, con base en la
comparación de las estimaciones hechas por el modelo actuarial respecto de los
valores reales observados. En el ámbito actuarial, las pruebas de Backtesting han
ido cobrando relevancia a medida que los modelos se vuelven más sofisticados y
aumenta con ello la incertidumbre de conocer a priori si dichos modelos van a
funcionar adecuadamente. Lo incorporado en este artículo corresponde a un
desarrollo llevado a cabo por P. Aguilar y J. Avendaño.

Esquemas más avanzados de valuación de riesgos a nivel mundial, como los que se contemplan en
Solvencia II, tienden a la utilización de modelos diseñados por las propias compañías de seguros y
bancos. Dichos modelos idealmente habrían de medir las obligaciones de la compañía con base en
las características y comportamiento propio de sus riesgos, por lo que se caracterizan por incluir
diversas variables y procedimientos complejos de cálculo. Por la complejidad de estos modelos, no
es posible determinar analíticamente si los resultados que den serán adecuados y congruentes con la
realidad. Adicionalmente, ante el comportamiento dinámico de los portafolios de riesgos, existe la
constante posibilidad de que un modelo aun habiendo sido eficiente, posteriormente se desajuste
debido a que la composición del portafolio de riesgos para el que fue elaborado, ha presentado
cambios relevantes.

Por lo anterior, resulta importante contar con una herramienta que permita analizar el desempeño de
los modelos actuariales y determinar con criterios actuariales sólidos, si un modelo debe
“rechazarse” o “aceptarse” 1 en función del grado de precisión con que dicho modelo se esté
ajustando a la evidencia empírica. La herramienta que debe utilizarse para estos efectos es la prueba
llamada “Backtesting”.

Como se mencionó, el Backtesting es un procedimiento técnico que consiste en validar la

idoneidad, precisión y validez de un modelo actuarial, el cual se basa en la comparación de las
estimaciones hechas por el modelo respecto de los valores reales observados. No existen modelos
únicos predefinidos de Backtesting, dichos modelos se deben crear en función del tipo de modelo
actuarial que se quieren validar.

En la industria de seguros es importante contar con un modelo de Backtesting que permita validar
los modelos actuariales de reserva, sin embargo, hasta el momento de escribir este artículo, no
existía un desarrollo o modelo de Backtesting específicamente para reservas de seguros. A finales
de 2008, como parte de un trabajo de libre investigación, fue ideado y desarrollado un modelo de

1
Aceptarse significa que el modelo puede continuar aplicándose en las mismas condiciones originales, y Rechazarse
significa que el modelo ya no puede seguir aplicándose por lo que deben realizársele cambios.

Página 1 de 7
32. Prima de Tarifa

Backtesting por P. Aguilar y J. Avendaño, que permite determinar el adecuado desempeño de los
modelos actuariales de valuación de la reserva.

El modelo se sustenta en el hecho fundamental de que la reserva de riesgos en curso es la media de

las obligaciones futuras. Como media que es, el valor así estimado de la reserva se comportará
como una variable aleatoria con función de distribución normal.

Si tomamos un determinado intervalo alrededor de la media de la distribución normal, podemos

decir que con un determinado grado de confianza (que dependerá del tamaño del intervalo), los
valores reales deberán caer dentro del intervalo de confianza (véase Gráfica 39.1). El intervalo de
confianza puede ser elegido de tal manera que sólo con una probabilidad baja ( ε ), los valores
reales caerán fuera del intervalo, en tanto que la probabilidad de que los valores reales caigan dentro
del intervalo será (1- ε ).

Cuando una observación caiga fuera del intervalo se dirá que es una excepción o fracaso, y cuando
caiga dentro del intervalo se dirá que es un éxito.

0.25
Zona de Excepciones
0.20

0.15

0.10

0.05

0.00
0 2 4 6 8 10 12 14 16 18 20

Gráfica 39.1

Para efectos de dar una explicación muy práctica y comprensible del método, supongamos que
tenemos una cartera de riesgos asegurados a los cuales se les ha valuado su reserva durante N
periodos, de manera que se tienen N mediciones teóricas provenientes del modelo actuarial de
valuación de reserva, y N observaciones reales. Si nos planteamos ver cada una de las mediciones
como un ensayo Bernoulli, entonces cada observación real tendrá una probabilidad ε de caer fuera
del intervalo y (1- ε ) de caer dentro del intervalo. Planteado así el problema, se puede decir que en
las N observaciones que tenemos, el valor esperado del número de excepciones, es N ∗ ε . De esta
manera si en la realidad se observa que el número de excepciones observadas es un número muy
superior a N ∗ ε , entonces es posible cuestionarse la idoneidad del modelo actuarial de valuación
de reservas.

Página 2 de 7
 11. Primas Niveladas de Seguros de Vida Tradicionales

En N observaciones, se puede tener un comportamiento como el que se presenta en la gráfica 32.2,

donde se puede observar que algunos valores reales se salen del intervalo de confianza en tanto que
los demás se mantienen por debajo o por encima de la media, pero dentro del intervalo de
confianza.

14

12

10

observaciones
4
limite inferior

2 media
limite superior
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35

Gráfica 39.2.

Pero aun cuando un modelo actuarial sea adecuado, puede presentar excepciones por encima del
número esperado, por lo que no se podrá rechazar terminantemente, eso sólo se podrá hacer en la
medida que el número de excepciones se desvíe significativamente, respecto de su valor esperado.

Para ello se puede establecer el número de excepciones a partir de lo cual, con un alto grado de
confianza, se rechaza la hipótesis de que el modelo de valuación sea adecuado. Este criterio
permitirá disminuir la posibilidad de aceptar un modelo inadecuado o rechazar un modelo
adecuado.

El criterio para la evaluación de un modelo, se puede basar en el número de excepciones

observadas, estableciendo tres rangos para el número de excepciones.

1. El primer rango definirá el número máximo de excepciones que se aceptarán para decir que
el modelo es aceptable.

2. El segundo rango establecerá el número máximo de excepciones que se aceptará para decir
que el modelo debe someterse a observación, ya que no es completamente confiable.

3. El tercer rango establecerá el número de excepciones a partir del cual se considerará que el
modelo no es aceptable.

Página 3 de 7
32. Prima de Tarifa

Ejemplo:

1. Si la probabilidad asociada al número de excepciones observadas es mayor o igual al

10%, el modelo es aceptable.
2. Si la probabilidad asociada al número de excepciones observadas es menor al 10% pero
mayor al 0.5%, el modelo se acepta pero debe quedar bajo observación porque podría
ser incorrecto o inapropiado.
3. Si la probabilidad asociada al número de excepciones observadas es inferior al 0.5% el
modelo se rechaza.

Estos rangos pueden fijarse con otros valores, dependiendo del grado de tolerancia que se le quiera
dar al número de excepciones.

Considerando que el número de excepciones se comporta como una variable aleatoria Binomial con
parámetros (N, ε ), la probabilidad asociada al número de excepciones observadas Pr(k) está dada
como:
⎛N⎞
Pr(k) = ⎜⎜ ⎟⎟(ε)k (1 − ε) N − k
⎝k ⎠

De esta manera se pueden definir los valores de los rangos necesarios para aplicar los criterios de
aceptación, prevención o rechazo del modelo actuarial de valuación de reserva que se analiza.

No obstante que este criterio ayuda a determinar la eficiencia del modelo de reserva, esta prueba de
Backtesting podría ser vulnerable ante algunos modelos ineficientes 2 por lo que es necesario
establecer algunos criterios adicionales que permitirían evitar esta situación. Véase el ejemplo de la
Gráfica 39.3, donde se observa como los resultados reales caen la mayor parte por debajo 3 de la media
estimada, lo cual es indicativo de que el modelo es ineficiente, y que sin embargo pasaría la prueba debido a
que los resultados reales se mantienen dentro del intervalo.

2
Al decir ineficientes nos estamos refiriendo a que el modelo no ha podido predecir la realidad con la precisión y medida
que exige la prueba de Backtesting.
3
La misma conclusión sería válida si las observaciones reales estuvieran por encima de la media.

Página 4 de 7
 11. Primas Niveladas de Seguros de Vida Tradicionales

14

12

10

observaciones
4
limite inferior
2 media
limite superior
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29

Gráfica 39.3
Tomando en cuenta que cada observación real tendrá una probabilidad de caer por encima o por debajo de la
media con una probabilidad de 0.5, entonces es posible calcular cuál es la probabilidad de que en N
observaciones, k de ellas hayan caído por debajo (o encima) de la media. Dicha probabilidad se puede
calcular mediante la Binomial
N −k
⎛ N ⎞⎛ 1 ⎞ ⎛ 1 ⎞
k
Pr(k ) = ⎜⎜ ⎟⎟⎜ ⎟ ⎜ ⎟
⎝ k ⎠⎝ 2 ⎠ ⎝ 2 ⎠

Una vez calculada esta probabilidad podemos establecer como criterio, que se rechace un modelo si la
probabilidad asociada al número de observaciones por debajo o por encima de la media tiene una
probabilidad de ocurrencia muy pequeña como sería del 0.005.

Observe por ejemplo la estadística siguiente en la que se muestran los valores de reserva estimados por el
modelo, respecto de los valores reales.

Estimación
Reserva Valor Real Excepciones
Periodo Modelo A Observado Límite Superior Límite Inferior Modelo A
1 40,852,478 30,521,489 49,431,498 32,273,458 1
2 44,576,232 41,257,896 53,937,240 35,215,223 0
3 43,521,789 45,821,547 52,661,365 34,382,213 0
4 46,373,084 47,896,528 56,111,432 36,634,736 0
5 45,687,925 56,241,695 55,282,389 36,093,461 1
6 45,175,183 40,521,879 54,661,971 35,688,394 0
7 39,879,853 38,987,452 48,254,622 31,505,084 0
8 41,287,965 53,587,925 49,958,438 32,617,492 1
9 41,522,879 54,876,591 50,242,684 32,803,074 1
10 39,857,482 50,214,798 48,227,553 31,487,411 1
11 42,180,429 44,587,962 51,038,319 33,322,539 0
12 41,581,478 43,568,792 50,313,588 32,849,368 0
13 40,982,527 41,254,872 49,588,858 32,376,197 0
14 44,033,313 44,598,725 53,280,308 34,786,317 0
15 47,084,098 46,589,722 56,971,759 37,196,438 0
16 48,975,863 60,521,789 59,260,794 38,690,932 1
17 37,251,482 55,625,879 45,074,293 29,428,671 1
18 48,793,215 63,587,925 59,039,790 38,546,640 1
19 63,254,876 61,548,925 76,538,400 49,971,352 0
20 46,857,921 50,897,852 56,698,084 37,017,758 0

Página 5 de 7
32. Prima de Tarifa

Estimación Reserva Modelo A Límite Superior

Límite Inferior Valor Real Observado

100,000,000

80,000,000

60,000,000

40,000,000

20,000,000

-
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Con base en estos datos, es posible aplicar la prueba de Bactesting al modelo A de reserva. Suponga
que el valor de ε es de 0.1, de manera que el valor esperado de excepciones es 2. Como puede
observarse, ocurrieron ocho excepciones, las cuales tienen una probabilidad de ocurrir de:

⎛ 20 ⎞
Pr(3) = ⎜⎜ ⎟⎟(0.1)8 (0.9) 20−8 ≈ 0.000355776
⎝8 ⎠
Dado que la probabilidad de ese número de excepciones es muy baja e inferior al límite impuesto de
0.005, se puede decir que el modelo es ineficiente, con un elevado grado de seguridad.

La segunda prueba consiste en analizar el número de veces que el valor real se mantuvo por arriba
del valor estimado de la reserva. Como se observa, hubo 15 observaciones por encima del valor de
la reserva, las cuales tienen asociada una probabilidad de:

15 20−15
⎛ 20 ⎞⎛ 1 ⎞ ⎛ 1 ⎞
Pr(k ) = ⎜⎜ ⎟⎟⎜ ⎟ ⎜ ⎟ = 0.014785767
⎝15 ⎠⎝ 2 ⎠ ⎝ 2 ⎠
No obstante que se observaron quince valores por encima de la estimación, la probabilidad asociada es
superior al 0.01, por lo que se puede aceptar el modelo.

Se presenta ahora el modelo alternativo B cuyas estimaciones de reserva se presentan a continuación.

Página 6 de 7
 11. Primas Niveladas de Seguros de Vida Tradicionales

Estimación
Reserva Modelo Valor Real Excepciones
Periodo B Observado Límite Superior Límite Inferior Modelo A
1 35,876,428 30,521,489 43,410,478 28,342,378 0
2 41,257,896 41,257,896 49,922,054 32,593,738 0
3 57,896,548 45,821,547 70,054,823 45,738,273 0
4 47,896,528 47,896,528 57,954,799 37,838,257 0
5 50,421,879 56,241,695 61,010,474 39,833,284 0
6 40,521,789 40,521,879 49,031,365 32,012,213 0
7 38,987,452 38,987,452 47,174,817 30,800,087 0
8 53,587,925 53,587,925 64,841,389 42,334,461 0
9 54,876,591 54,876,591 66,400,675 43,352,507 0
10 41,521,789 50,214,798 50,241,365 32,802,213 0
11 44,587,962 44,587,962 53,951,434 35,224,490 0
12 43,568,792 43,568,792 52,718,238 34,419,346 0
13 56,897,215 41,254,872 68,845,630 44,948,800 1
14 44,598,725 44,598,725 53,964,457 35,232,993 0
15 46,589,722 46,589,722 56,373,564 36,805,880 0
16 45,879,215 54,879,251 55,513,850 36,244,580 0
17 55,625,879 55,625,879 67,307,314 43,944,444 0
18 63,587,925 63,587,925 76,941,389 50,234,461 0
19 61,548,925 61,548,925 74,474,199 48,623,651 0
20 50,897,852 50,897,852 61,586,401 40,209,303 0

En este modelo sólo se produjeron dos excepciones y el número de observaciones por encima de la media
fueron de 7 quedando 13 por debajo, lo que no permite determinar que el modelo sea ineficiente.

Se recomienda aplicar una prueba adicional para tomar en cuenta no tal sólo las excepciones sino también el
monto de los valores observados. Esta prueba consiste en estimar la media porcentual de las observaciones
que cayeron por encima de la estimación ( Δ i ) y la media de las observaciones por debajo de la estimación
∇ i , debiendo este valor ser cercano a uno y en la medida que no lo sea se podría determinar ineficiencia del
modelo actuarial que se prueba. ■

Página 7 de 7