Cadenas de Markov

TITULO MAMALON PARA
LA EXPO
NOMBRES MAMALONES DE LOS INTEGRANTES DEL EQUIPO:
CESAR PORTILLA SERRANO
…
IRIS CORAL
CAROLINA PAYAN (LA OJOS BONITOS)
INTRODUCCIÓN
• La técnica llamada cadenas de Markov, fue desarrollada por el matemático Ruso Andrei A.
Markov en 1906.
• Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra
un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo
tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de los
eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov
de las series de eventos independientes, como tirar una moneda al aire o un dado.
LAS APLICACIONES MÁS RECIENTES
INCLUYEN
• El análisis de los movimientos de los precios de los artículos de consumo

• El mantenimiento de maquinaria de alta precisión
• El comportamiento de animales de laboratorio
• La selección de productos de los consumidores
• La longitud de las filas en los aeropuertos y los supermercados
• Variedad y tamaño de los inventarios y administración de plantas industriales.
MATRIZ DE TRANSICIÓN.
• Es una matriz cuadrada con elementos no negativos tales que la suma de los
elementos de cada renglón es uno.
MATRIZ ESTOCÁSTICA
• Es una matriz cuadrada en la que cada una de sus filas es un vector de probabilidad.
• Vector de estocástico o vector de probabilidad: Es aquel que cumple con la condición de
que todas sus componentes son no negativas y la sumatoria de ellas es igual a la unidad.
PROCESO ESTOCÁSTICO
• En la teoría de la probabilidad, un proceso estocástico es un concepto matemático que

sirve para representar magnitudes aleatorias que varían con el tiempo o para caracterizar
una sucesión de variables aleatorias (estocásticas) que evolucionan en función de otra
variable, generalmente el tiempo.
PROBABILIDAD DE TRANSICIÓN ESTACIONARIAS DE UN SOLO
PASO.
• A cada posible transición del estado E Æ i al estado EÆ j , se asocia una

probabilidad pi j , denominada probabilidad de transición de un paso. Si ninguna
Æ
transición puede ocurrir del estado i al estado j , pi j 0. Por otra parte, si el
sistema al encontrarse en el estado i puede pasar sólo al estado j en la siguiente
Æ
transición, pi j 1. Se dice que las probabilidades de transición de un paso son
estacionarias.
• Así, tener probabilidades de transición estacionarias implican que las
probabilidades de transición no cambian con el tiempo.
PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOS
• La existencia de probabilidades de transición de un paso estacionarias también implica que,

para cada i , j y n(n Æ 0, 1, 2, . . .), P{XtÅn Æ j jXt Æ i } Æ P{Xn Æ j jX0 Æ i } para t Æ 0, 1, 2, . . .
. Estas probabilidades condicionales se llaman probabilidades de transición de n pasos.
• El término probabilidad de estado estacionario significa que la probabilidad de encontrar el
proceso en un cierto estado, por ejemplo j , después un número grande de transiciones
tiende al valor ¼j y es independiente de la distribución de probabilidad inicial definida para
los estados. El vector ¼ es llamado distribución de estado estacionario o distribución de
equilibrio de la cadena de Markov.
EJEMPLO:
Una empresa esta considerando utilizar Cadenas de Markov para analizar los cambios en las
preferencias de los usuarios por tres marcas distintas de un determinado producto. El
estudio ha arrojado la siguiente estimación de la matriz de probabilidades de cambiarse de
una marca a otra cada mes:
• https://www.gestiondeoperaciones.net/cadenas-de-markov/cadenas-de-markov-ejercicios-resueltos/
CLASIFICACIÓN DE LOS ESTADOS EN UNA CADENA DE
MARKOV
• Después de muchas transiciones, las probabilidades de transición del n-ésimo paso

tienden a estabilizarse.
• Antes de realizar estos cálculos es necesario estudiar cómo se clasifican los estados de una
cadena de Markov.
PASOS PARA LA CLASIFICACIÓN DE LOS ESTADOS
• Un estado j es accesible desde el estado i si hay forma de pasar del estado i al estado j en n
pasos, esto es si pi j È 0 para algún valor de n ¸ 0. En el ejemplo 4.1 debido a que pi j È 0 para
toda i y j , cada estado es accesible desde cualquier otro estado. De la figura 4.1 el estado 3 es
accesible desde el estado 2 (vía trayectoria 2!1!3). Los estados 1, 2 y 3 no son accesibles
desde los estados 4, 5 y 6.
• 2. Dos estados i y j se comunican si j es accesible desde i e i es accesible desde j . En el
ejemplo 4.1 todos los estados se comunican. Para la matriz de probabilidad de transición P
representada por la figura 4.1, los estados 1, 2 y 3 se comunican; de igual manera los estados
5 y 6 se comunican.
• 3. Un conjunto de estados es cerrado, si ningún estado fuera de este conjunto es accesible
desde otro estado. De la matriz de transición P de la figura 4.1, los estados 1, 2 y 3 forman un
conjunto cerrado. Observar que una vez que una transacción entra a un conjunto cerrado,
nunca se puede salir de él. Un estado absorbente es un conjunto cerrado con un único estado.
• 4. Se dice que dos estados que se comunican pertenecen a la misma clase. Una clase puede
consistir en un sólo estado de comunicación. En el ejemplo de la figura 4.1 se tienen tres
clases: {1,2,3}, {4} y {5,6}. Una Cadena de Markov donde todos sus estados son accesibles
entre sí y por lo tanto se comunican se dice que es irreducible, es decir que existe una única
clase de estados. En cambio si al menos existen dos clases de estados la cadena no es
irreducible.
• 5. Un estado i es un estado absorbente si y sólo si pi i Æ 1. Siempre que se entre a un estado
absorbente, nunca se saldrá de él.
• 6. Un estado es recurrente si después de haber entrado a este estado, el proceso
definitivamente regresará a ese estado. El estado i es recurrente si fi i Æ P1 nÆ1 f (n) i i Æ 1,
siendo fi i la probabilidad deque comenzando en el estado i , el proceso vuelva a entrar
alguna vez en él. Un estado recurrente i se dice que es recurrente positivo si comenzando
en i , el tiempo esperado (¹i i ) hasta que la cadena vuelva al estado i es finito. Por el
contrario, si el tiempo esperado (¹i i ) hasta que la cadena vuelva al estado i es infinito, se
dice que es recurrente nulo.
• 7. Un estado i es un estado transitorio si después de haber salido de ese estado, el proceso
nunca regresa a él. Por consiguiente, el estado i es transitorio si existe un estado j que es
alcanzable desde el estado i , pero el estado i no es alcanzable desde el estado j . De igual
forma un estado es transitorio si fi i Æ P1 nÆ1 f (n) i i 1.Después de un número grande de
pasos, la probabilidad de estar en cualquier estado transitorio i es cero. Esto se puede
comprobar al calcular las probabilidades de transición a n pasos con el el software IOpeTec.
• 8. Un estado i es periódico con periodo de t (t È 1), si es posible un retorno solamente en t ,
2t , 3t , . . ., pasos. Esto significa que si p(n) i iÈ 0 y n satisface la sucesión t , 2t , 3t , . . .,
entonces el estado es periódico con periodo igual a t , de lo contrario el estado i es no
periódico o también se le denomina aperiódico. De igual manera si p(n) i i È 0 para valores
consecutivos de n, el estado es aperiódico.
ESTADOS ABSORBENTES
• Siempre que un cadena de Markov tenga estados absorbentes, no se podrán calcular las
probabilidades de estado estable, ya que cada una de las unidades finalmente terminará en
algunos de los estados absorbentes.
• Cuando se tienen estados absorbentes, lo que interesa es conocer las probabilidades de que
una unidad de un estado no absorbente pase a los estados absorbentes.
• Para calcular estas probabilidades se requiere la determinación y uso de lo que se conoce
como una matriz fundamental Q. Esta matriz se encuentra por medio del siguiente
procedimiento:
• 1. Eliminar los renglones correspondientes a los estados absorbentes.
• 2. Dividir la matriz restante en estados absorbentes y no absorbentes.
Denominar G a la parte de la matriz de estados absorbentes y a la parte de
estados no absorbentes H.
• 3. Calcular Q Æ (IH)¡1, donde: I es la matriz identidad y el exponente ¡1 se refiere
a la inversa de la matriz.
• 4. Calcular las probabilidades que alcanzará cada uno de los estados
absorbentes, realizando la multiplicación de las matrices R ÆQ ¤G.
EJEMPLO
• Supongamos el caso de la ruina del jugador. Este juega a un juego que tiene probabilidad
1/2 de ganar un dólar y probabilidad 1/2 de perderlo. Parara cuando se quede sin dinero o
cuando alcance 4 dólares.
• https://www.unirioja.es/cu/franpere/ModyOptfiles/Tema6.pdf
CADENA CICLICA
USO DE SOFTWARE
• El software IOpeTec, permite resolver los procedimientos presentados en este capítulo, en

donde el número de estados de la cadena de Markov se captura en una caja de texto dentro
de la hoja de cálculo y presionando el botón de comando Preparar captura de probabilidades
para capturar en un rango de celdas las probabilidades de cada estado y las probabilidades
iniciales.
• Mediante el botón de comando Clasificación de estados, permite obtener si un estado es
recurrente o es transitorio, asi mismo si el estado es periodico o es aperiódico.
• Por medio del botón de comando Solución de la cadena de Markov, permite obtener los
tiempos promedios de primer paso para todos los estados de i a j y las probabilidades de
estado estacionario para todos los estados de la matriz de transición.
• Mediante el botón de comando Simular la cadena de Markov, permite ver gráficamente
las transiciones de un estado a otro en cada paso y se obtienen los tiempos promedios de
primer paso simulado para todos los estados de i a j y las probabilidades de estado
estacionario para todos los estados de la matriz de transición.
• Este módulo permite calcular las probabilidades de transición a n pasos, presionando primero
el botón de comando Valores iniciales y presionando después el botón de control de número
se calculan las probabilidades de transición paso a paso, en el que se observa que a medida
de que van aumentando los pasos, las probabilidades de transición se van estabilizando.
• Este módulo permite simular las transiciones paso a paso, presionando primero el botón de
comando Valores iniciales y presionando después el botón de control de número.

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cadenas de Markov

Cargado por

Copyright:

Formatos disponibles

TITULO MAMALON PARA

• El análisis de los movimientos de los precios de los artículos de consumo

• En la teoría de la probabilidad, un proceso estocástico es un concepto matemático que

• A cada posible transición del estado E Æ i al estado EÆ j , se asocia una

• La existencia de probabilidades de transición de un paso estacionarias también implica que,

• Después de muchas transiciones, las probabilidades de transición del n-ésimo paso

• El software IOpeTec, permite resolver los procedimientos presentados en este capítulo, en

También podría gustarte