UNEFA

 Procesos estocásticos: Tema III

 Cadenas de Markov
 Conjuntos de problemas.

 Propiedad Markoviana:
P  X n1  j / X 0  k0 , X1  k1 ,..., X n1  kn1 , X n  i   P  X n1  j / X n  i   Pij
 i  estado presente( filas)
Pij  
 j  estado futuro(columnas)

 Probabilidades de transición: en una cadena homogénea finita con los estados

posibles E1 , E2 ,..., En se usara al notación:
 P11 P1n 
 
Pij  P  X n 1  j / X n  i   
1
 ; Pij  0 como la matriz de
P Pnn nxn
 n1
estado futuro

transición de un solo paso.

 Un proceso estocástico  X t , t  0,1,.... es una cadena de Markov si presenta la

propiedad Markoviana.

n
 P
j 1
ij  1 ( la suma de cada fila es una distribución de probabilidad)

 Ejemplo 1)

1) En cierta región el tiempo atmosférico sigue la siguiente secuencia:

Un día se denomina soleado (S) si el sol luce más de la mitad del día, y se
denomina nublado (N) si lo hace menos. Por experiencia se sabe que si hay
un día nublado, es igual de probable que el día siguiente también sea
nublado, si el día es soleado hay una probabilidad de 2/3 de que también sea
soleado.

a) Construya la matriz de transición de este proceso.

0 si el dia es N
Sol: X t   (es una cadena de dos estados)
 1 si el dia es S
 0 1

0 1
1 1
0  P P01  0  2 2
Pij    00   Pij    
1  P10 P11  1  1 2
 
3 3
Probabilidades de transición:
1
P00   X t 1  0 / X t  0  
2
1
P01   X t 1  1/ X t  0    P00  P01  1 (Recuerde que cada fila
2
representa una distribución de probabilidad despeje)
1
P10   X t 1  0 / X t  1 
3
2
P11   X t 1  1/ X t  1 
3
 Probabilidad de transición en “n” pasos Pijn  Pij  n 

 Notación: Pijn  P  X mn  j / X m  i 

 Ejemplo: Pij2  P  X m2  j / X m  i   P  X m2  3 / X m  2   P23  2 

 Seguimos con el modelo del clima:

 Dado un vector de probabilidad inicial P 0  1 0 ¿Cuál es la

N S

probabilidad de que dentro de tres días también este nublado? , ¿y de que

este soleado?
 3
1 1
2 2  29 43 
P3  a (0) .P 3  1 0       0.403 0.597 
1 2  72 72 
  N S
3 3
 probabilidades de estado estable (probabilidad límite independiente del
estado inicial). P  lim P   lim a (0) .P 
n n
n  n 

 n

 j   i Pij
 
 i 0
 Ecuaciones de estado estable:  n
   1
 j 0 j
 Con respecto al modelo del clima calcule las probabilidades de
estado estable: plantee el sistema:
 1 1
  0  1   0
1 1 2 3
  
1 2
 0 1   2 2
   0  1     0   1   1
1 2 2 3
 
3 3   0  1  1


 2 3
 cuya solución es  j   0  1    
 5 5

 Los procesos estocásticos X t   X 0 , X1 ,... proporcionan una

representación matemática de la forma en que evoluciona la condición de
un sistema físico atreves del tiempo.

 Probabilidad de secuencia de ocupación de estados (1*)

P  X 0  x0 , X1  x1 ,..., X n  xn   P  X 0  x0 .P  X1  x1 / X 0  x0  ...P  X n  xn / X n1  xn1 

 Px0 .Px0 x1 .......Pxn1xn

1) Demuestre lo siguiente:

a) P  X 4  j, X 5  k , X 6  l / X 3  i  Pij .Pjk .Pkl

b) P  X 0  x0 , X1  x1 , X 2  x2   P  X 0  x0  Px0 x1 .Px1x2

c) P  X 2  j / X 0  i  
 X2  j, X1  k , X 0  i 
 Pik .Pkj
P  X0  i

 Cadenas de Markov de estado discreto

 Problemas propuestos

1) Dada la matriz de probabilidades de transición de una cadena de Markov:

1    
pij   
  1  
 Hallar su vector de estado estable.
1 1
 Respuesta:  i   , 
2 2
2) Suponga que la probabilidad de que mañana llueva si hoy está lloviendo es 0.6,
y que la probabilidad de que mañana haga buen tiempo si hoy hace buen tiempo
es 0.4.
a) Determine la matriz de transición correspondiente y hallar su vector de
distribución estacionario. Recuerde los estados (lluvia, buen tiempo).

3) Un profesor de ingeniería adquiere una computadora nueva cada dos años. El

profesor puede elegir de entre tres modelos: M1, M2, M3. Si el modelo actual es
M1 la siguiente computadora pude ser M2 con probabilidad de 0.2 o M3 con
probabilidad de 0.15 si el modelo actual es M2 las probabilidades de cambiar a
M1 y M3 son 0.2 Y 0.25 respectivamente pero si el modelo actual es M3
entonces las probabilidades de comprar los modelos M1 y M2 son 0.5 y 0.1
respectivamente.

a) Represente la situación como una cadena de Markov y escriba cada una de

sus probabilidades de transición como: p  xn1  j / xn  i 
b) Si x   1, 0, 0  Determina la probabilidad de que el profesor compre el
0

modelo actual en 4 años.

4) Los posibles estados del clima de una región son: lluvioso, bueno y con nieve.
Nunca hay dos días buenos en secuencia. Después de un día bueno existe la
misma posibilidad de que el siguiente sea lluvioso o con nieve. El 50% de los
días lluviosos y el 50% de los días con nieve se repiten, cuando un día es
lluvioso existe la misma probabilidad de que el día siguiente sea bueno o con
nieve. Cuando un día es con nieve existe la misma posibilidad de que el
siguiente sea bueno o lluvioso.

a) Represente la situación como una cadena de Markov y escriba cada una de

sus probabilidades de transición como: p  xn1  j / xn  i 

b) Elabore el diagrama de transición.

c) ¿En este modelo cual es la probabilidad de que si hoy es bueno mañana sea
con nieve en el tercer paso? (Escriba la notación).
5) El clima en cierta región europea fluctúa de la siguiente forma: si hoy esta
soleado hay un 80% de probabilidad de que mañana también este soleado sin
amenaza de lluvia. Si esta nublado, hay un 20% de probabilidad de que mañana
llueva y 30% de probabilidad de que este soleado. Seguirá lloviendo hasta el día
siguiente con una probabilidad de 0.8 pero con un 10% de probabilidad de que
este soleado.
 Recuerde el orden de los estados 0 = nublado; 1= lluvioso; 2=soleado
a) Represente la situación como una cadena de Markov y escriba cada una de sus
probabilidades de transición como: p  xn1  j / xn  i 
b) Elabore el diagrama de transición.
c) Halle su vector de estado estacionario
d) ¿En este modelo cual es la probabilidad de que si hoy es bueno mañana sea con
nieve en el segundo paso?
0 1 2

 0.5 0.2 0.3 

 
 Solución: Pij   0.1 0.8 0.1 
 0 0.2 0.8 
 

6) Los hábitos de estudio de Roberto son los siguientes: si él estudia una noche, él
está 70% seguro de que no estudiara la noche siguiente. Por otra parte, si él no
estudia una noche, él está seguro solo en un 60% de que tampoco estudiara la
noche siguiente. Halle la matriz de transición de la situación antes descrita y
encuentre con qué frecuencia estudia Roberto a largo plazo.

S  0.3 0.7 
 Solución: Pij    S=(si estudia) ; N=(no estudia)
T  0.4 0.6 
4 7
 t , 
11 11

7) Diga si las siguientes matrices son estocásticas:

1 0 0 0   1 0 0 0 
   
0 0.5 0 0.5  0.4 0 0 0.6 
a) Pij   ; b) Pij  
0 1 0 0   0.2 0.3 0 0.7 
   
 0 0.3 0 0.7   0.1 0.3 0 0.6 

8) Se lanza una moneda legal y las probabilidades de salir cara o sello son iguales a
1
. . Halle la matriz de transición de la situación antes descrita, ¿será una matriz
2

doblemente estocástica? Halle la siguiente probabilidad p 4  xn4  1/ xn  1

 S si sale sello

Xn  
C si sale cara
  1 2
0 3 3
 
9) Se tiene la siguiente matriz de transición: Pij   2
0
1
3 3
 
 1 2 0 
3 3 
 ¿Será doblemente estocástica? Halle su vector de estado estacionario y
calcule p3  xn3  1/ xn  2 
1
 Respuesta:  0  1   2 
3

10) Hay tres categorías de filtro del impuesto sobre la rente en Estados Unidos: los
que nunca evaden impuestos, los que en ocasiones lo hacen, y los que siempre lo
hacen. Un examen de declaraciones de impuestos auditadas de un año al
siguiente muestra que los que no evadieron impuestos el año pasado , 95%
continuara en la misma categoría este año; 4% se moverá a la categoría “a
veces”, y el resto se moverá a la categoría siempre. Para los que a veces evaden
impuestos, 6% se moverá a “nunca”, 90% permanecerá igual, y 4%se moverá a
“siempre”. Por lo que se refiere a los evasores de “siempre”, los porcentajes
respectivos son 0, 10 y 90%.
a) Represente la situación como una cadena de Markov y escriba cada una de sus
probabilidades de transición como: p  xn1  j / xn  i 
b) A la larga ¿Cuáles serían los porcentajes de las categorías de evasión de
impuestos “nunca”, “a veces” y “siempre”?.

 Respuestas: multiplique por 100% los valores obtenidos.

  nunca , a veces , siempre    0.441175 , 0.367646 , 0.191176

11) Una agencia de renta de automóviles tiene oficinas en Caracas, Valencia, Mérida
y Maracaibo. La agencia permite rentas en una y dos direcciones de modo que
los automóviles rentados en un lugar pueden terminar en otro. las estadísticas
muestran que al final de cada semana 70% de todas las rentas son en dos
direcciones. En cuanto a las rentas en una sola dirección: Desde Caracas, 20%
van a Valencia, 60% a Mérida y el resto va a Maracaibo; desde Valencia 40%
va a Maracaibo y 60% a Mérida; de Mérida 50% va a Maracaibo y el resto a
Valencia; y desde Maracaibo, 80% va a Mérida, 10% a Valencia, y 10% a
Caracas.
a) Represente la situación como una cadena de Markov.
 b) Calcule: p  xn 2  3 / xn  4 
 2

12) Una partícula se mueve sobre un círculo, pasando por los puntos que se han
marcado 0, 1, 2, 3, 4 (siguiendo el orden en el sentido del movimiento de las
manecillas del reloj). La partícula parte del punto 0. En cada paso tiene un
probabilidad “ q ” de moverse un punto en el sentido del movimiento de las

manecillas del reloj (0 sigue a 4) y 1  q  de moverse un punto en sentido

contrario al movimiento de las manecillas del reloj.

a) Denotemos como X n  n  0  su localización sobre el circulo hallar su

matriz de transición
b) Calcule: la matriz de transición en el 2ª paso y p33
2

 Respuesta: 2q 1  q 

13) El ascensor de un edificio con sótano y dos pisos realiza viajes de uno a otro
piso. El piso en que finaliza el viaje n-esimo del ascensor sigue una cadena de
Markov.se sabe que la mitad de los viajes que parten del sótano se dirigen a cada
uno de los otros dos pisos, mientras que si un viaje comienza en el 1ª piso , solo
el 25% finaliza en el segundo. Por último, si un trayecto comienza en el segundo
piso, siempre finaliza en el sótano. Calcular:
a) Represente la situación como una cadena de Markov y escriba cada una de
sus probabilidades de transición como: p  xn1  j / xn  i 
b) Elabore el diagrama de transición.
c) ¿Cuál es la probabilidad de que a largo plazo, el ascensor se encuentre en
cada uno de los tres pisos?
d) Calcule los tiempos de recurrencia.

8 4 5 17 17 17
 Respuesta:  i   , ,  ; 11  ; 22  ; 33 
 17 17 17  8 4 5

 El primer tiempo de recurrencia expresa que se requieren mínimo tres

viajes antes de regresar al sótano.

 Exprese todo en fracciones

14) Camino aleatorio (ruina del jugador)
 Sea el proceso estocástico X   X n /  n  0  definido como:

 p si j  i  1

p  xn  j / xn 1  i    q si j  i Halle su matriz de transición con el
0 en otro caso


espacio de estados S  E0 ,..., E10  y calcule: p47  2

15) Cadena de Ehrenfest (intercambio de bolas en dos urnas A y B)

 Sea el proceso estocástico X   X n /  n  0  definido como:

 N  i
 si j  i  1
 N
 i
pij   si j  i  1 Halle su matriz de transición con el espacio de
 N
 0 en otro caso



estados S  E0 ,..., E3 y calcule: p23  “Ojo” esta cadena tiene una
2

condición especial P01  1; PN , N 1  1

16) En un proceso de Bernoulli demuestre lo siguiente:

 m  1! p k q mk 1
a) P  Sm 1  k  
k ! m  k  1!

b) P  X n1  x   pP  X n  x  1  qP  X n  x  1
  Variables conjuntas: consideres las siguientes
funciones de distribuciones conjuntas:

  
 sen( x) sen( y ) si 0  x  ; 0 y
a) F  x, y    2 2

 0 de cualquier otra forma

  
 Hallar f  x, y  ; calcular: P  0  x  ; 0 y 
 3 3

 c
 4  x 2 9  y 2 si    x    ;    y   
b) f  x, y      

 0 de cualquier otra forma

 Hallar el valor de c para que sea una función de densidad conjunta

validad

 x
 A si 0  x  1 ; 1  y  2
c) f  x, y    y
0 de cualquier otra forma


 Hallar el valor de A para que sea una función de densidad conjunta

validad

 xy si 0  x  1 ; 0  y  1

  2  x  y si 1  x  2 ; 0  y  1

d) f  x, y   
2  y  x si 0  x  1 ; 1  y  2
 2  y 2  x si 1  x  2 ; 1  y  2
  
 0 de cualquier otra forma

 
 Demuestre:   f  x, y  dydx  1
 