Cadenas de Markov

Cadenas de Markov
Jos Antonio Camarena Ibarrola
Definiciones elementales
El proceso discreto
es denominado
cadena de Markov si se cumple
es la probabilidad de que en el tiempo k, el
proceso est en el estado j dado que en el tiempo
k-1 estaba en el estado i
Si la distribucin de probabilidad de transicin
entre estados no cambia en el tiempo, la cadena
de Markov es homognea, para este tipo de
cadenas de Markov
Definiciones elementales
Para cadenas de Markov homogeneas
La condicin 2 dice que los estados son

mutuamente exclusivos y colectvamente
exhaustivos
Regla de la Cadena de Markov

De la definiciones anteriores
Lo cual implica que si se conoce la distribucin de

probabilidades de estados iniciales se puede conocer
Matriz de transicin entre estados

Es comn representar la distribucin de
transicin entre estados como una matriz:
Es una matriz estocstica puesto que para

cada rengln i, se cumple que
La probabilidad de transicin de n
pasos
Para dos pasos (n=2)

Si m=0
Las ecuaciones Chapman-Kolmogorov

Se trata de una generalizacin del resultado obtenido
anteriormente
Demostracin
Matriz de transicin de n pasos
Diagramas de transicin
Suponga que al arrojar una moneda, el
resultado dependiera del lanzamiento anterior
Clases de estados
Alcanzable. Un estado j es alcanzable desde algn
estado i sii
Observe que la Matriz
nos brinda informacin de
alcanzabilidad entre estados
Dos estados se comunican si son alcanzables
mtuamente
El concepto de comunicacin divide al espacio de
estados en clases
Dos estados que se comunican pertenecen a la misma
clase
Todos los estados de una misma clase se comunican
entre s
Decimos que una clase es cerrada si ninguno de los
estados que la conforman puede se alcanzado por
ningn estado fuera de la clase
Cadenas de Markov irreductibles

Son cadenas de Markov en las cuales todos los
estados se comunican
Eso implica que los estados conforman una
nica clase
Probabilidad de primera pasada

Sea
la probabilidad condicional de que dado
que le proceso se encuentra actualmente en el
estado i, la primera vez que entre al estado j
ocurra en exactamente n transiciones
(Probabilidad de primera pasada del estado i al j
en n transiciones)
Probabilidad de primera pasada del estado i al j
Es tambin la probabilidad de que alguna vez
llegue al estado j dado que est en el estado i
Estados recurrentes y transitorios

Mtodo recursivo para determinar
es la probabilidad de que eventualmente

regrese al estado i
Cualquier estado i para el que
se conoce
como estado recurrente
Cualquier estado para el que
se conoce
como estado transitorio
Cadenas sencillas
Un estado j es transitorio (o recurrente) si hay
una probabilidad diferente de cero de que el
proceso no regrese al estado j dado que est en
el estado j
Un estado j es recurrente (o persistente) si con
probabilidad 1, el proceso eventualmente
regresar al estado j dado que est en el estado j
Un conjunto de estados recurrentes forman una
cadena sencilla si cada uno de los estados del
conjunto se comunica con cada uno de los dems
estados del conjunto
Estados peridicos
Un estado recurrente j es llamado estado
peridico si existe un entero d (d>1) tal que
es cero para todo n excepto para d, 2d, 3d ,
d es el periodo
Si d=1 el estado es aperidico
Cadenas ergdicas
Un estado recurrente es recurrente positivo si el
nmero esperado de transiciones para que
regrese a el es finito
Un estado recurrente es recurrente nulo si el
nmero esperado de transiciones para que
regrese a el es infinito
Si un estado es recurrente positivo y aperidico,
entonces se denomina estado ergdico
Una cadena consistente de estados ergdicos se
llama cadena ergdica
Estado absorbente
Un estado para el cual
Tambin se llaman estados trampa
Ejemplo 1
Los estados 1,2 y 3 son recurrentes

El estado 4 es transitorio
No hay estados peridicos
Hay una cadena sencilla {1,2,3}
Ejemplo 2
Los estados 1, 2 y 3 son ahora transitorios
El estado 4 es absorbente (o trampa)
Ejemplo 3
Tiene una cadena sencilla {1,2,3}
Los tres estados son peridicos con periodo 3
Obteniendo la probabilidad de transicin de n pasos
Nota
Para la matriz de este ejemplo y para un gran
nmero de cadenas de Markov, encontramos
que al multiplicar a la matriz por si misma
muchas veces la matriz tiende a tener valores
fijos
Mas importante que eso es el hecho de que
todos los miembros de una misma columna
convergen hacia un mismo valor
Distribucin de estados iniciales

La probabilidad de que en el tiempo t=0 el
proceso se encuentre en el estado i es
Si la cadena de Markov tiene N estados
Probabilidad de estado lmite

La probabilidad de que en el instante n el
proceso se encuentre en el estado j es
Para cierta clase de cadenas de Markov, a

medida que
,
no depende de i, lo
cual significa que
tiende a una
constante
Cuando dicho lmite existe, definimos
Probabilidad de estado lmite
Sabemos que
Y si los estados lmite existen y no dependen
del estado inicial entonces
Obteniendo las probabilidades de

estados lmite
Definiendo el vector de probabilidades de
estados lmite como
El cual es un sistema de ecuaciones lineales a

resolver
Condiciones para la existencia de

estados lmites
En cualquier cadena de Markov aperidica e
irreductible, existen y son independientes del
estado inicial
Las probabilidades de los estados lmites se
deben interpretar como la probabilidad de
que a largo plazo el proceso estar en dicho
estado
Ejemplo
Como hay mas ecuaciones que incgitas usamos solo

De la primera ecuacin
Substituyendo en la segunda
Calcular
Como son eventos mutuamente excluyentes:
Alternativamente
Matrices doblemente estocsticas

No solo los renglones sino tambien las
columnas suman 1
Para este tipo de cadenas de Markov

Demostracin
Substituyendo
Ejemplo
Tiempo esperado de estancia en un

estado
Sea
el nmero de unidades de tiempo que un
proceso permanecera en el estado i antes de
abandonarlo
Observe que se us la regla de la cadena de Markov
Anlisis transitorio de Cadenas de

Markov de tiempo discreto
Recordemos que la probabilidad de transicin en n pasos est dada por:
Se cumple entonces, para una cadena de Markov de N estados
La transformada Z de
Aplicando transformada Z a ambos miembros tenemos:

En forma matricial:

Obtenemos
Mediante la inversa de G(z) obteniendo dos componentes,

uno constante y un trmino transitorio
Donde T(z) es la transformada Z de T(n)

El trmino constante tiene la caracterstica de que todos los renglones son idnticos
Y sus elementos son las probabilidades de estados lmite
Ejemplo
Obtener
para una cadena de Markov con la siguiente Matriz de transicin entre estados
Ejemplo
Ejemplo
La matrz asociada con (1-z) contiene las probabilidades de estados lmites

Observe tambien que cada rengln de las otras matrices suma cero
Cuando n=0 obtenemos la matriz identidad
Cuando n=1 obtenemos P
El tiempo de la primera transicin de i a j es:
Previamente definimos la probabilidad de la primera transicin como:
Tambin recordar que podemos determinar recursvamente
La relacin entre la probabilidad de transicin en n pasos y la probabilidad de

primera transicin es
Como
Podemos despejar
,esta expresin se puede convertir en:
para conlcuir:
El tiempo medio de primera transicin del estado i al j se determina mediante
Como el tiempo que el proceso dura en cada estado es 1, esta ecuacin dice
que el tiempo promedio es el tiempo que dura en el estado i mas el tiempo medio
de primera transicin del estado k al j dado que el estado que sigue del i es el k
De manera similar, el tiempo de recurrencia del estado i es:
Ejemplo
Determinar el tiempo medio de primera transicin del estado 1 al 3 para
una cadena de Markov con la siguiente matriz de probabilidades de transicin
Necesitamos otra ecuacin
De donde:
Ejemplo
Determinar

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov

Jos Antonio Camarena Ibarrola

La condicin 2 dice que los estados son

Regla de la Cadena de Markov

Lo cual implica que si se conoce la distribucin de

Matriz de transicin entre estados

Es una matriz estocstica puesto que para

Para dos pasos (n=2)

Las ecuaciones Chapman-Kolmogorov

Matriz de transicin de n pasos

Cadenas de Markov irreductibles

Probabilidad de primera pasada

Estados recurrentes y transitorios

es la probabilidad de que eventualmente

Los estados 1,2 y 3 son recurrentes

Obteniendo la probabilidad de transicin de n pasos

Distribucin de estados iniciales

Si la cadena de Markov tiene N estados

Probabilidad de estado lmite

Para cierta clase de cadenas de Markov, a

Probabilidad de estado lmite

Obteniendo las probabilidades de

El cual es un sistema de ecuaciones lineales a

Condiciones para la existencia de

Como hay mas ecuaciones que incgitas usamos solo

Como son eventos mutuamente excluyentes:

Matrices doblemente estocsticas

Para este tipo de cadenas de Markov

Tiempo esperado de estancia en un

Observe que se us la regla de la cadena de Markov

Anlisis transitorio de Cadenas de

Se cumple entonces, para una cadena de Markov de N estados

Aplicando transformada Z a ambos miembros tenemos:

Anlisis transitorio de Cadenas de

Anlisis transitorio de Cadenas de

Mediante la inversa de G(z) obteniendo dos componentes,

Donde T(z) es la transformada Z de T(n)

La matrz asociada con (1-z) contiene las probabilidades de estados lmites

El tiempo de la primera transicin de i a j es:

Previamente definimos la probabilidad de la primera transicin como:

Tambin recordar que podemos determinar recursvamente

La relacin entre la probabilidad de transicin en n pasos y la probabilidad de

,esta expresin se puede convertir en:

El tiempo medio de primera transicin del estado i al j se determina mediante

De manera similar, el tiempo de recurrencia del estado i es:

Necesitamos otra ecuacin

También podría gustarte