Seminario de Cadenas de Márkov en tiempo discreto (CMTD)

1) En un pueblo el clima puede cambiar de un día para otro, consideramos solo dos estados del
tiempo: clima seco o húmedo.
La probabilidad de tener un clima seco al día siguiente es de 0.8 si el día actual es seco, pero si
el clima es húmedo, la probabilidad de tener un clima seco es de 0.6. Asumir que dichos valores
no cambian en el tiempo, se pide calcular:
a) la matriz de transición
b) El diagrama de transición
c) Calcular la matriz de 5 pasos
d) Probabilidad de estado estable del sistema
Solución
La evolución del clima día tras día en el pueblo es un proceso estocástico, si se comienza en
algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t = 0 , 1, 2 , ... . El
estado del sistema en el día t puede ser
Estado 0 : El día t es seco
Estado 1 : El día t es lluvioso

Así, para t = 0 , 1, 2 , ... , la variable aleatoria Xt toma los valores

0 , si el dia t es seco
Xt = 
1 , si el dia t es humedo

a) Matriz de transición

=
P =
ij (t) P(X t +1 j=
| Xt i)

P ( Xt +=
1 0| X= ) 0.8
t 0= P ( Xt +=
1 1| X= ) 0.2 (1 − 0.8)
t 0=

P ( Xt +1= 0| X= ) 0.6
t 1= P ( Xt +1= 1| X= ) 0.4 (1 − 0.6)
t 1=

Estado actual Xt Estado siguiente Xt +1

0 1
0 P00 = 0.8 P01 = 0.2
1 P10 = 0.6 P11 = 0.4

Entonces

0 1 0 1
0  P00 P01  0  0.8 0.2 
1    
 P10 P11  1  0.6 0.4 

Página 1
b) Diagrama de transición

c) Matriz de transición de 5 pasos

2
2 P.P
P= 2  0.8 0.2 =  0.76 0.24 
= P=    
 0.6 0.4   0.72 0.28 

( )
2
4 2
2
4  0.76 0.24   0.75 0.25 
P= P = P=  =  
 0.72 0.28   0.749 0.251

4P  0.75
P5 P=
=
0.25  0.8 0.2   0.75 0.25 
=
    
 0.749 0.251 0.6 0.4   0.75 0.25 

d) Probabilidades de estado estable

0.8 0.2 
Se sabe π = πP ⇒ (x ; y) = (x ; y)   , x+y =
1
0.6 0.4 

0.8x + 0.6y =
x 0.2x + 0.2y =
0.2
 ⇒ ⇒ 0.2y =
y − 0.2
0.2x + 0.4y
= y 0.2x + 0.4y
= y

1 3
0.2= 0.8y ⇒ y= , x= ⇒ π= (0.75 , 0.25)
4 4
2) En una región el clima solo puede ser soleado (S) o nublado (N), suponiendo que las
condiciones climáticas en días sucesivos forman una cadena de Márkov con probabilidades
estacionarias, siendo la matriz de transición:
S(1) N(2)
S(1)  0.7 0.3 
 
N(2)  0.6 0.4 

a) Si el martes está nublado, ¿cuál es la probabilidad que esté nublado el miércoles?

b) Si el martes está nublado, ¿cuál es la probabilidad que el jueves haga sol?
c) Suponiendo que la probabilidad que el martes haga sol es 0,2 y la probabilidad de que
esté nublado es 0,8. Calcular:
• Probabilidad de que esté nublado el miércoles.
• Probabilidad de que esté nublado el jueves.
• Probabilidad de que esté nublado el viernes.

Solución

Página 2
  P11 P12   0.7 0.3 
 =  , Estado 1 : El día t es soleado , Estado 2 : El día t es nublado
 P21 P22   0.6 0.4 

1, si el dia t es soleado

Xt = 
2 , si el dia t es nublado
Parte a:
Si el martes está nublado, la probabilidad de que esté nublado el miércoles es P22 ,como es
transición de un solo paso, entonces P22 = 0.4
Parte b:
Si el martes está nublado para calcular la probabilidad de que el jueves haga sol se necesita
(2)
calcular la matriz de transición en 2 pasos, necesitamos P21en la matriz de dos pasos ( P21 ).

 0.7 0.3   0.7 0.3   0.67 0.33  (2)

P2 =  ⋅ =  , la probabilidad de jueves con sol es P21 = 0.66
 0.6 0.4   0.6 0.4   0.66 0.34 

Parte c:
Si el martes la probabilidad de soleado es 0,2 y la probabilidad nublado 0,8, esto es,
π0 =(0,2 ; 0.8) ; el miércoles está nublado (después del 1 paso): π = π0P
 0.7 0.3 
π (0.2
= , 0.8)   (0.62
 , 0.38)
 , probabilidad = 0,38 miércoles nublado
 0.6 0.4  S N
Para calcular la probabilidad de que el jueves esté nublado: π = π0P2
 0.67 0.33 
π (0.2
= , 0.8)   (0.662
 , 0.338)

 0.66 0.34  S N
La probabilidad del jueves nublado es 0,338

Para calcular la probabilidad de que el viernes esté nublado: π = π0P3

P3 P=
= 2P  0.67 0.33  0.7 0.3 =
  0.667 0.333 
    
 0.66 0.34  0.6 0.4   0.666 0.334 
 0.667 0.333 
=π (0.2 , 0.8) ⋅  =  (0.6662

  , 0.3338)
 , la probabilidad del viernes nublado es
 0.666 0.334  S N
0,3338

3) Se sabe que un sistema de comunicaciones falla o no dependiendo si ha fallado o no el día

anterior. La probabilidad de que falle un día sabiendo que ha fallado el día anterior es de 0,6,
pero si no ha fallado el día anterior es de 0,4.
a) ¿Cuál es la probabilidad que el sistema falle dentro de cuatro días sabiendo que hoy no ha
fallado?
b) ¿Cuál es la probabilidad que el sistema falle el cuarto día sabiendo que inicialmente la
probabilidad de fallar es de 0,3 y la de no fallar es de 0,7?
c) ¿Cuál es el vector de probabilidades de largo plazo?

Solución
a) Sean los estados E = {0 ≡ falla, 1 ≡ no falla}

Página 3
 (4)
La probabilidad pedida es =
P10 =
P(X 4 0=
| X0 1)

b) La distribución de probabilidad inicial es π0 =(0.3 , 0.7) y la distribución de probabilidad en

4 pasos será π4 =π0P4

c) El estado estable se determina resolviendo la ecuación π = πP

 0.6 0.4  0.6x + 0.4y =x
π = πP= → (x , y) (x , y)  → , además x + y =
1
 0.4 0.6  0.4 x + 0.6y =
y
=
Resolviendo =
x 0.5 , y 0.5 , π =(0.5 , 0.5) .

Página 4
4) Un agente comercial realiza su trabajo en tres ciudades A, B y C. Para evitar desplazamientos
innecesarios está todo el día en la misma ciudad y allí pernocta, desplazándose a otra ciudad al
día siguiente, si no tiene suficiente trabajo. Después de estar trabajando un día en C, la
probabilidad de tener que seguir trabajando en ella al día siguiente es 0.4, la de tener que viajar
a B es 0.4 y la de tener que ir a A es 0.2. Si el viajante duerme un día en B, con probabilidad de
un 20% tendrá que seguir trabajando en la misma ciudad al día siguiente, en el 60% de los casos
viajará a C, mientras que irá a A con probabilidad 0.2. Por último si el agente comercial trabaja
todo un día en A, permanecerá en esa misma ciudad, al día siguiente, con una probabilidad 0.1,
irá a B con una probabilidad de 0.3 y a C con una probabilidad de 0.6 .

a) Si hoy el viajante está en C, ¿cuál es la probabilidad de que también tenga que trabajar en C
al cabo de cuatro días?

b) Determinar las probabilidades estacionarias

Resolucion
Matriz de un solo paso para A, B, C.
A B C
A  0.1 0.3 0.6 
B 0.2 0.2 0.6 
 
C 0.2 0.4 0.4 
Parte a
Debemos hallar P4

 19 13 12 
100 100 25 
 0.1 0.3 0.6   0.1 0.3 0.6   
P2 0.2 0.2 =   
0.6  0.2 0.2 0.6  ⇒ P 2  9 17 12 
  50 50 25 
0.2 0.4 0.4  0.2 0.4 0.4   
 9 3 13 
 50 10 25 
Debo hallar el elemento a33 de P4 . Se sabe que
A × B = C ⇒ cij = (fila i de A)(columna j de B)
4
P33 = (fila 3 de P2 )(columna 3 de P2 )
4 9 3 13 12 12 13
P33 (= )( ) (0.18 0.3 0.52)(0.48 0.48 0.52)
50 10 25 25 25 25

4
P33 = 0.0864 + 0.144 + 0.2704 = 0.5008
Parte b
Debemos hallar las probabilidades estacionarias
 0.1 0.3 0.6  0.1x + 0.2y + 0.2z =x
  
π = πP → (x , y , =
z) (x , y , z) 0.2 0.2 0.6  → 0.3x + 0.2y + 0.4z
= y , x + y +=
z 1

0.2 0.4 0.4  0.6x + 0.6y + 0.4z = z
Resolviendo
x 0.1818
= , y 0.3181
= , z 0.5 . En porcentajes, 18.18% para la ciudad A, el 31.81% para B
y el 50% para la ciudad C.
Página 5
5) En una comunidad hay 3 supermercados (S1, S2, S3) existe la movilidad de un cliente de uno
a otro. El 1 de septiembre, ¼ de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total de 10.000
personas. Cada mes el S1 retiene el 90% de sus clientes y pierde el 10% que se va al S2. Se
averiguó que el S2 solo retiene el 5% y pierde el 85% que va a S1 y el resto se va a S3, el S3
retiene solo el 40%, pierde el 50% que va al S1 y el 10% va al S2.

a) Establecer la matriz de transición

b) ¿Cuál es la proporción de clientes para los supermercados el 1 de noviembre?
c) Hallar el vector de probabilidad estable.
Resolucion
Parte a
S1 S2 S3
S1  0.9 0.1 0 
S2 0.85 0.05 0.1
 
S3  0.5 0.1 0.4 

Parte b
1 1 5
π0 =( , , ) ⇒ π2 =π0P2
4 3 12

 0.9 0.1 0   0.9 0.1 0   0.895 0.095 0.010 

P2 =    0.8575 0.0975 0,045 
0.85 0.05 0.1 0.85 0.05 0.1  
 0.5 0.1 0.4   0.5 0.1 0.4   0.735 0.095 0.17 
 0.895 0.095 0.010 
1 1 5 
2 0 2
π =π P =( , , ) 0.8575 0.0975 0,045  ⇒ π2 =(0.816 0.096 0.088)
4 3 12 
 0.735 0.095 0.17 
La proporción es del 81.6% para S1, 9.6% para S2 y 8.8% para S3
Parte c
El vector de probabilidad de estado estable, se obtiene resolviendo
π = πP → (x= , y , z) (x , y , z)P ∧ x=
+y+z 1
 0.9 0.1 0  0.9x + 0.85y + 0.5z = x
  
(x , y ,=
z) (x , y , z) 0.85 0.05 0.1 → 0.1x + 0.05y + 0.1z = y , x + y +=
z 1
 0.5 0.1 0.4  0x + 0.1y + 0.4z = z
0.1x + 0.1y + 0.1z =0.1
 ⇒ 0.05y = 0.1− y ⇒ 1.05y = 0.1⇒ y = 0.0952
0.1x + 0.05y + 0.1z = y
0.1(0.0952) + 0.4z = z ⇒ 0.00952 = 0.6z ⇒ z = 0.01586
x =1− (y + z) ⇒ x =1− 0.11106 ⇒ x =0.88894
6) La cervecería mas importante del mundo (Guiness) ha contratado a un analista de
investigación de operaciones para analizar su posición en el mercado. Estan preocupados en
especial por su mayor competidor (Heineken). El analista piensa que el cambio de marca se
puede modelar como una cadena de markov incluyendo tres estados, los estados G y H
representan a los clientes que beben cerveza producida por las mencionadas cervecerías y el
estado I representa todas las demás marcas. Los datos se toman cada mes y el analista ha
construido la siguiente matriz de transición de los datos históricos

Página 6
 G H I
G 0.7 0.2 0.1 
H  0.2 0.75 0.05
 
I  0.1 0.1 0.8 

¿Cuáles son los porcentajes de mercado en el estado estable

Resolucion
El vector de probabilidad de estado estable, se obtiene de
π = πP → (x= , y , z) (x , y , z)P ∧ x=
+y+z 1
0.7 0.2 0.1  0.7x + 0.2y + 0.1z = x
  
(x , y , =
z) (x , y , z) 0.2 0.75 0.05  → 0.2x + 0.75y + 0.1z
= y , x + y +=
z 1

 0.1 0.1 0.8  0.1x + 0.05y + 0.8z = z
Resolviendo
9 10 7
=x = ,y = ,z
26 26 26

7) Los consumidores de café en el área de Pontevedra usan tres marcas A, B , C. En marzo de

1995 se hizo una encuesta en la que se entrevisto a 8450 personas que compran café y los
resultados fueron
Compra en el siguiente mes Totales
Compra total Marca A Marca B Marca C
Marca A = 1690 507 845 338 1690
Marca B = 3380 676 2028 676 3380
Marca C = 3380 845 845 1690 3380
Totales 2028 3718 2704 8450

a) Si las compras se hacen mensualmente, ¿Cuál será la distribución del mercado de café en
Pontevedra en el mes de junio?
b) A la larga, ¿Cómo se distribuirán los clientes de café?

Resolucion
Parte a
De la tabla de frecuencias, obtenemos las frecuencias de transición
A B C
A  0.3 0.5 0.2 
B  
 0.2 0.6 0.2 
C 0.25 0.25 0.5

De marzo a junio hay 4 pasos, debo hallar P4

 0.3 0.5 0.2   0.3 0.5 0.2  0.24 0.5 0.26 
2 
P  0.2 0.6 = 0.2   0.2 0.6 0.2  ⇒ p2 0.23 0.51 0.26 
 
0.25 0.25 0.5  0.25 0.25 0.5  0.25 0.4 0.35 

Página 7
 0.24 0.5 0.26  0.24 0.5 0.26  0.2376 0.4790 0.2834 
P4 0.23 0.51 = 0.26  0.23 0.51 0.26  ⇒ p4 0.2375 0.4791 0.2834 
0.25 0.4 0.35  0.25 0.4 0.35  0.2395 0.469 0.2915 
Parte b
A la larga se entiende que es el estado estable o estacionario
π = πP → (x= , y , z) (x , y , z)P ∧ x= +y+z 1
 0.3 0.5 0.2  0.3x + 0.2y + 0.25z = x
  
(x , y , =
z) (x , y , z)  0.2 0.6 0.2  → 0.5x + 0.6y + 0.25z
= y , x + y +=
z 1

0.25 0.25 0.5  0.2x + 0.2y + 0.5z =
z
Resolviendo
5 10 6
=x = ,y = ,z
21 21 21

8) Consideremos la existencia de tres clases sociales: alta, media y baja. La pertenencia de cada
individuo de una población a cada una de las clases depende únicamente de la clase a la que
pertenecían sus padres. Se sabe que, si un individuo pertenece a la clase alta, sus hijos
pertenecerán a la clase alta con probabilidad 0.55 y a la clase baja con probabilidad 0.35. Si el
individuo pertenece a la clase media, sus hijos pertenecerán a la clase alta con probabilidad 0.25
y a la clase baja con probabilidad 0.15. Si el individuo pertenece a la clase baja, sus hijos
pertenecerán a la clase alta con probabilidad 0.10 y a la clase media con probabilidad 0.25.
Sabiendo que la población actual esta formada por el 10% de clase alta , el 25% de clase media
y el 65% de clase baja, se pide:
a) La composición social dentro de cuatro generaciones
b) La composición social a largo plazo.
Resolucion
Parte a
π0 = (0.1 , 0.25 , 0.65) ⇒ π4 = π0P4

A M B
A  0.55 0.10 0.35
M  0.25 0.60 0.15
 
B 0.10 0.25 0.65

 0.55 0.10 0.35  0.55 0.10 0.35 0.3625 0.2025 0.435

P2  0.25 0.60 0.15 ⋅  0.25 0.60= 
0.15 ⇒ P 2 0.3925 0.4225 0.275
    
0.10 0.25 0.65 0.10 0.25 0.65 0.1825 0.3225 0.495
0.3625 0.2025 0.435  0.3625 0.2025 0.435  0.27205 0.29925 0.4287 
4     4  
P 0.3925 0.4225 0.275  ⋅ 0.3925 0.4225 = 0.275  ⇒ P 0.28765 0.32845 0.3839
0.1825 0.3225 0.495  0.1825 0.3225 0.495  0.25405 0.33285 0.4131
0.27205 0.29925 0.4287 
4 0 4
π = π P ⇒π 4
(0.1
= , 0.25 , 0.65) 0.28765 0.32845 0.3839 (0.26425 , 0.32839 , 0.40736)
0.25405 0.33285 0.4131
26.42% de clase alta, 32.83% de clase media y 40.73% de clase baja

Página 8
Parte b
π = πP → (x=
, y , z) (x , y , z)P ∧ x=
+y+z 1
0.55 0.10 0.35  0.55x + 0.25y + 0.10z = x
  
(x , y , =
z) (x , y , z) 0.25 0.60 0.15  → 0.10x + 0.60y + 0.25z
= y , x + y +=
z 1
0.10 0.25 0.65  0.35x + 0.15y + 0.65z = z
0.10x + 0.60y + 0.25z = y

0.35x + 0.15y + 0.65z = z , resolviendo
= x 0.40789
= , y 0.26974
= , z 0.32237
x + y + z =1

40.789% de clase alta, 26.974% de clase media y 32.237% de clase baja

9) El ascensor de un edificio con sótano y dos pisos realiza viajes de uno a otro piso. El piso en
el que finaliza el viaje n-esimo del ascensor sigue una cadena de Márkov. Se sabe que la mitad
de los viajes que parten del sótano se dirigen a cada uno de los otros dos pisos, mientras que si
un viaje comienza en el primer piso, solo el 25% de las veces finaliza en el segundo. Por último,
si un trayecto comienza en el segundo piso, siempre finaliza en el sótano, se pide:
a) Calcular la matriz de probabilidades de transición
b) Dibujar el grafo asociado
c) ¿Cuál es la probabilidad que, a largo plazo, el ascensor se encuentre en cada uno de los tres
pisos?
Resolucion
Parte a
Los estados de la cadena serán {0 ;1; 2} , siendo el sótano el 0 y 1 y 2 al primer y segundo piso
respectivamente.

0 1 2
0  0 0.5 0.5 
1 0.75 0 0.25
 
2  1 0 0 

Parte b

Parte c
π = πP → (x=
, y , z) (x , y , z)P ∧ x=
+y+z 1
 0 0.5 0.5  0.75y + z = x
  
=
(x , y , z) (x , y , z) 0.75 0 0.25=  → 0.5x y =
, x+y+z 1
 1 0 0  0.5x + 0.25y =z
x + y + z =1
 8 4 5
0.5x = y =
, resolviendo x = ,y = ,z
0.5x + 0.25y = 17 17 17
 z

Página 9