CADENAS DE
MARKOV
Matrices de
transición de n
pasos
Clasificación de
Las ecuaciones de Chapman-Kolmogorov
proporcionan un método para calcular estas
probabilidades de transición de n pasos:
Estas ecuaciones simplemente señalan que al ir del estado i al
estado j en n pasos, el proceso estará en algún estado k
después de exactamente m (menor que n) pasos. Así, pik(m)
*pkj(n–m) es solo la probabilidad condicional de que, si comienza
en el estado i, el proceso vaya al estado k después de m pasos
y después al estado j en n – m pasos.
Por lo tanto, al resumir estas probabilidades
condicionales sobre todos los estados posibles k se
debe obtener pij(n). Los casos especiales de m=1 y m=
n–1 conducen a las expresiones
Para todos los estados i y j. Estas expresiones permiten que las
probabilidades de transición de n pasos se puedan obtener a
partir de las probabilidades de transición de un paso de manera
recursiva. Para n= 2, estas expresiones se convierten
para todos los estados i y j
donde las pij(2) son los elementos
de la matriz P(2). También note que estos elementos se
obtienen al multiplicar la matriz de transición de un
paso por si misma; esto es,
P(2) = P * P = P2.
De la misma manera, las expresiones anteriores de pij(n) cuando m = 1 y m
= n – 1 indican que la matriz de probabilidades de transición de n pasos es
P(n) = PP(n-1) = P(n-1)P
= PPn-1 = Pn-1P
= P n.
Entonces, la matriz de probabilidades de transición de n pasos Pn se puede
obtener al calcular la n-esima potencia de la matriz de transición de un
paso P.
RETOMANDO EL EJEMPLO DE CLIMA
El clima en el pueblo de Centerville puede cambiar con rapidez
de un día a otro. Sin embargo, las posibilidades de tener clima
seco (sin lluvia) mañana es de alguna forma mayor si hoy esta
seco, es decir, si no llueve. En particular, la probabilidad de que
mañana este seco es de 0.8 si hoy esta seco, pero es de solo 0.6
si hoy llueve. Estas probabilidades no cambian si se considera la
información acerca del clima en los días anteriores a hoy. ¿si el
primer día de la semana es seco calcule la probabilidad de llegar
a un día seco o a un dia lluvioso al día 4 y 5 en esa semana?
Estado siguiente (Xt+1)
Estado actual
Xt 0 1
0 0,8 0,2
1 0,6 0,4
Para iniciar, la matriz de transición de dos pasos es
Así, si el clima esta en el estado 0 (seco) en un día particular, la probabilidad
de estar en el estado 0 dos días después es 0.76, por lo que la probabilidad de
estar en el estado 1 (lluvia) es 0.24.
En forma similar, si el clima esta en el estado 1 ahora, la probabilidad de estar
en el estado 0 dos días después es 0.72 mientras que la probabilidad de estar
en el estado 1 es 0.28.
Las probabilidades del estado del clima tres, cuatro o cinco días a futuro
también se pueden leer de la misma forma a partir de las matrices de
transición de tres, cuatro y cinco pasos que se calculan a continuación.
Observe que la matriz de transición de cinco pasos tiene la
característica de que los dos renglones poseen elementos idénticos.
Ello refleja el hecho de que la probabilidad del clima que esta en un
estado particular es en esencia independiente del estado del clima
cinco días antes.
Por lo tanto, las probabilidades de cualquier renglón de esta matriz
de transición de cinco pasos se denominan probabilidades del
estado estable de la cadena de Markov
EJEMPLO INVENTARIOS
Calcular ahora sus matrices de transición y probabilidades de estado de n
pasos para n= 2, 4 y 8 (numero de semanas). Para comenzar, su matriz de
transición de un solo paso P se usa para obtener la matriz de transición de
dos pasos P de la siguiente forma:
(2)
Estado siguiente (Xt+1)
Estado
actual
Xt 0 1 2 3
P 0 0.080 0.184 0.368 0.368
1 0.632 0.368 0 0
2 0.264 0.368 0.368 0
3 0.080 0.184 0.368 0.368
Para interpretación, dado que se tiene una cámara en
existencia al final de la semana, la probabilidad de que no
haya cámaras en inventario dos semanas después es de
0.283, esto es p10 (2) = 0.283.
De manera similar, dado que se tienen dos cámaras al final
de una semana, la probabilidad de que haya tres cámaras en
inventario dos semanas después es de 0.097; esto es, p23 (2)
= 0.097.
La matriz de transición de cuatro pasos también se
puede obtener de la siguiente manera:
Para interpretación, dado que queda una cámara al final de una
semana, 0.282 es la probabilidad de que no haya cámaras en
inventario cuatro semanas mas tarde; es decir, p10(4) = 0.282. De
igual manera, dado que quedan dos cámaras en el almacén al
final de cierta semana, se tiene una probabilidad de 0.171 de que
haya tres cámaras en el almacén cuatro semanas después; esto
es, p23(4) = 0.171.
Las probabilidades de transición del numero de cámaras en inventario
dentro de ocho semanas se puede leer de la misma forma a partir de la
matriz de transición de ocho pasos que se calcula a continuación.
Esta matriz tiene la característica de que sus renglones tienen elementos idénticos. De nuevo, la
razón es que las probabilidades en cualquier renglón son las probabilidades del estado estable
de esta cadena de Markov, es decir, las probabilidades del estado del sistema después de un
tiempo suficiente han llegado a un punto en el que el estado inicial ya no es relevante.
Clasificación de estados
Acabamos de ver que las probabilidades de transición de n
pasos convergen hacia las probabilidades del estado estable
después de un numero de pasos suficiente. Sin embargo,
esto no es valido para todas las cadenas de Markov.
Las propiedades a largo plazo de una cadena de Markov
dependen en gran medida de las características de sus
estados y de la matriz de transición. Para describir con mas
detalle las propiedades de una cadena de Markov es
necesario presentar algunos conceptos y definiciones que
se refieren a estos estados.
Se dice que el estado j es accesible desde el estado
i si pij(n) > 0 para alguna n ≥ 0. (Recuerde que pij(n)
es solo la probabilidad condicional de llegar al
estado j después de n pasos, si el sistema esta en el
estado i.) Entonces, que el estado j sea accesible
desde el estado i significa que es posible que el
sistema llegue finalmente al estado j si comienza en
el estado i.
En general, una condición suficiente para que todos
los estados sean accesibles es que exista un valor
de n para el que p(n) > 0 para todo i y j.
Si el estado j es accesible desde el estado i y el estado i
es accesible desde el estado j, entonces se dice que los
estados i y j se comunican. En general:
1. Cualquier estado se comunica consigo mismo
(porque p i(0) = P{X0 = i|X0 = i} = 1).
i
2. Si el estado i se comunica con el estado j, entonces
el estado j se comunica con el estado i.
3. Si el estado i se comunica con el estado j y este con
el estado k, entonces el estado i se comunica con el
estado k.
Las propiedades 1 y 2 se deducen de la definición de
estados que se comunican, mientras que la propiedad 3
se deriva de las ecuaciones de Chapman-Kolmogorov.
Como resultado de estas propiedades de
comunicación se puede hacer una partición del
espacio de estados en clases separadas, donde
se dice que dos estados que se comunican
pertenecen a la misma clase. (Una clase puede
consistir en un solo estado.) Si existe solo una
clase, es decir, si todos los estados se
comunican, se dice que la cadena de Markov es
irreducible.
Estados recurrentes y estados transitorios
Con frecuencia es útil saber si un proceso que comienza
en un estado regresara alguna vez a el. La siguiente es
una posibilidad.
• Un estado se llama estado transitorio si, después de
haber entrado a este estado, el proceso nunca
regresa a el. Por consiguiente, el estado i es
transitorio si y solo si existe un estado j (j ≠ i) que es
accesible desde el estado i, pero no viceversa, esto
es, el estado i no es accesible desde el estado j.
Así, si el estado i es transitorio y el proceso visita este
estado, existe una probabilidad positiva (quizá incluso
de 1) de que el proceso se moverá al estado j y nunca
regresara al estado i. En consecuencia, un estado
transitorio será visitado solo un numero finito de veces.
Cuando se inicia en el estado i, otra posibilidad es que
el proceso definitivamente regrese a ese estado.
• Se dice que un estado es recurrente si, después de
haber entrado a este estado, el proceso
definitivamente regresara a ese estado. Por
consiguiente, un estado es recurrente si y solo si no
es transitorio.
Como un estado recurrente será visitado de nuevo
después de cada visita, podría ser visitado un numero
infinito de veces si el proceso continuara por siempre.
Si el proceso entra en cierto estado y permanece en el
al siguiente paso, se considera un regreso a ese estado.
En consecuencia, el siguiente tipo de estado se
considera un tipo especial de estado recurrente.
Un estado se llama estado absorbente si, después
de haber entrado ahí, el proceso nunca saldrá de el.
Por consiguiente, el estado i es un estado absorbente si
y solo si pii = 1.
Como ejemplo, suponga que un proceso de Markov tiene la siguiente matriz
de transición:
Observe que el estado 2 es absorbente (y, por lo tanto, recurrente), porque si
el proceso entra en el (tercer renglón de la matriz), nunca sale. El estado 3 es
transitorio porque una vez que el proceso se encuentra en el, existe una
probabilidad positiva de nunca regresar. La probabilidad de que el proceso
vaya del estado 3 al estado 2 en el primer paso es 1/3. Si el proceso esta en
el estado 2, permanece en ese estado. Cuando el proceso deja el estado 4,
nunca vuelve. Los estados 0 y 1 son recurrentes. Para comprobar todo lo
anterior, observe en P que si el proceso comienza en cualquier de estos
estados, nunca sale de ellos. Aun mas, cuando el proceso se mueve de uno
de estos estados al otro, siempre regresa al estado original.
Considere un ejemplo sobre juegos de azar suponga que dos jugadores (A y B), con 2
dólares cada uno, aceptan seguir jugando y apostar 1 dólar cada vez hasta que uno de
ellos quiebre. La probabilidad de que A gane una apuesta es 1/3, por lo que la
probabilidad de que gane B es 2/3. El numero de dólares que tiene el
jugador A antes de cada apuesta son (0, 1, 2, 3 o 4) proporciona los estados de una
cadena de Markov con la matriz de transición
