Cadenas o Procesos de Markov

Alejandra Marcela Coronado López

N5A

Instituto tecnológico de Hermosillo

Ingeniería industrial
Profesor: Alberto Arenas
Materia: Investigación de operaciones II

Sonora, México 14 de Noviembre de 2023

 Introducción a las Cadenas o Procesos de Markov

Un proceso estocástico conocido como cadena de Markov se define como una

secuencia de eventos en la cual la probabilidad de que un evento suceda está condicionada
por el evento inmediatamente anterior. Estas cadenas tienen la característica de que
retienen la información del último evento, lo que influye en las posibilidades de eventos
futuros. Esta relación con el evento precedente distingue a las cadenas de Markov de las
secuencias de eventos independientes, como lanzar una moneda o un dado. En ámbitos
empresariales, las cadenas de Markov se han empleado para analizar reglas de compra, la
gestión de deudores lentos, la planificación de recursos humanos y la evaluación del
reemplazo de equipamiento.
La metodología de Markov, llamanda así en honor a un matemático ruso que la
desarrolló en 1907, facilita la determinación de la probabilidad de que un sistema se
encuentre en un estado específico en un momento dado. Más crucial aún, permite calcular
promedios a largo plazo y las probabilidades de estados estables para cada situación. Con
esta información, es posible anticipar la evolución del sistema a lo largo del tiempo. La
tarea más desafiante radica en identificar cuándo aplicar este enfoque, siendo la
característica clave la capacidad de retener información de un evento a otro.

Problema ejemplo
Supongamos que el clima de una ciudad puede clasificarse en tres estados:
"soleado" (S), "nublado" (N) y "lluvioso" (L). La transición entre estos estados sigue ciertas
probabilidades que dependen del estado actual. Aquí hay una matriz de transición
simplificada:

| S N L
-------------------
S 0.7 0.2 0.1
N 0.3 0.4 0.3
L 0.2 0.3 0.5

Esta matriz indica las probabilidades de transición entre los estados. Por ejemplo,
si el día está soleado (S), hay un 70% de probabilidad de que el próximo día también sea
soleado, un 20% de que esté nublado y un 10% de que llueva.
Ahora, si queremos prever el clima futuro, podríamos empezar con un estado
inicial, como "soleado", y usar estas probabilidades para predecir el clima en los días
siguientes.
 Probabilidad de transición estacionaria de n pasos

Probabilidad de transición estacionaria de n pasos. Es solo las probabilidad

condicional de que, si se comienza en el estado i, el proceso vaya al estado k
después de m pasos y después al estado j en n- m pasos.

Ejemplo

Supongamos que estás jugando con un dado justo y que los estados de la cadena de
Markov representan la suma de los dos dados lanzados. En este caso, los estados van desde
2 (cuando ambos dados muestran un 1) hasta 12 (cuando ambos dados muestran un 6).
En cada paso, lanzas dos dados y sumas los resultados. La matriz de transición
indica las probabilidades de pasar de una suma a otra en un solo paso.
La probabilidad de transición estacionaria a través de N pasos implica calcular la
matriz de transición elevada a la potencia N y observar cómo cambian las probabilidades
a medida que aumenta N. Si alcanzamos un estado donde las probabilidades ya no cambian
significativamente, hemos alcanzado la probabilidad de transición estacionaria

Estado estable.
En una cadena de Markov en tiempo continuo (e irreducible en tiempo discreto), el
vector de probabilidades estacionario siempre existe y es independiente de la distribución
inicial (estado estacionario).
Se refiere a una situación en la que las probabilidades de estar en diferentes estados
ya no cambian con el tiempo. En otras palabras, después de un número suficientemente
grande de pasos, la distribución de probabilidad sobre los estados de la cadena se estabiliza
y se vuelve constante.
Para entender mejor este concepto, consideremos una cadena de Markov con un
conjunto finito de estados. La matriz de transición describe las probabilidades de transición
entre estos estados en cada paso del tiempo. Después de un número considerable de pasos,
si la distribución de probabilidad sobre los estados ya no cambia, se dice que la cadena ha
alcanzado un "estado estable" o "distribución estacionaria".
 Ejemplo
Consideremos un ejemplo más sencillo de una cadena de Markov con dos estados:
"Cielo Despejado" (D) y "Cielo Nublado" (N). Supongamos que la matriz de transición es
la siguiente:

|D N
------------------
D | 0.8 0.2
N | 0.4 0.6

Aquí, el primer estado representa un día con cielo despejado, y el segundo estado
representa un día con cielo nublado.
Ahora, supongamos que queremos encontrar la distribución estacionaria después
de varios pasos. Comenzamos con una distribución de probabilidad inicial π0, que podría
representar nuestras creencias sobre el clima en el día actual: π0=[0.5,0.5]

Luego, multiplicamos este vector por la matriz de transición para obtener la

distribución en el siguiente paso:

π1=π0×P

π1 = [0.5,0.5] × [ 0.8 0.2 ] = [0.6,0.4]

[0.4 0.6]

Repetimos este proceso para obtener π2,π3,… después de varios pasos. Después de
un número suficiente de pasos, si la cadena alcanza un estado estable, la distribución de
probabilidad dejará de cambiar significativamente. Podríamos llegar a algo como:

π estable=[0.625,0.375]
Esto significa que, a largo plazo, la probabilidad de tener un día con cielo despejado
sería del 62.5%, y la probabilidad de tener un día con cielo nublado sería del 37.5%. Esto
representa la distribución estacionaria de la cadena de Markov.

Cadena absorvente

Para que un sistema se considere una cadena absorbente, es necesario que cumpla
con dos condiciones fundamentales. En primer lugar, debe contar con al menos un estado
absorbente en su estructura, y, en segundo lugar, debe tener la capacidad de alcanzar dicho
estado. Un estado absorbente se caracteriza por ser un punto de no retorno, donde una vez
que el sistema ha ingresado a este estado, ya no puede salir.
La identificación de un estado absorbente en una cadena se realiza de manera
evidente al examinar la matriz de transición asociada. En esta matriz, un estado absorbente
se distingue por tener una probabilidad de transición hacia sí mismo igual a uno (1), lo que
indica la certeza de permanecer en ese estado, y una probabilidad de transición igual a cero
(0) hacia todos los demás estados. Este comportamiento refleja la propiedad de
irreversibilidad del estado absorbente, donde una vez que el sistema ha ingresado a este
estado, su evolución futura se encuentra completamente determinada, sin posibilidad de
transitar a otros estados.

Ejemplo.

Supongamos el caso de la ruina del jugador. Este juega a un juego que tiene ´
probabilidad 1/2 de ganar un dólar y probabilidad 1/2 de perderlo. Parará cuando se quede
sin dinero o cuando alcance 4 dólares. La matriz de transición es:

Desde cualquiera de los estados 1, 2 y 3 es posible alcanzar en un n´umero finito

de pasos los estados absorbentes 0 y 4. Por tanto, la cadena es absorbente. Los estados 1, 2
y 3 son transitorios.

Cadena cíclica

Una cadena de Markov absorbente también puede ser una cadena cíclica, donde los
estados no absorbentes forman un ciclo. En una cadena cíclica, la probabilidad de que la
cadena se quede en el ciclo depende de la longitud del ciclo y de la probabilidad de
transición entre los estados del ciclo. Si la probabilidad de transición entre los estados del
ciclo es alta, la cadena tiende a permanecer en el ciclo. Si la probabilidad de transición es
baja, la cadena tiende a salir del ciclo.
 Ejemplo

Consideremos un ejemplo aún más simple de una cadena de Markov cíclica con
dos estados: A y B. La matriz de transición para esta cadena podría ser:

P = [ 01]
[10 ]

En esta matriz, cada estado tiene una probabilidad de 1 de pasar al otro estado en
el siguiente paso. Aquí está cómo evoluciona la cadena:

p
1. Comenzamos en el estado A: A → B

p
2. Luego, estamos en el estado B: B → A

El ciclo se repite indefinidamente, ya que cada estado tiene una probabilidad de 1

de pasar al otro estado. Este ejemplo representa una cadena de Markov cíclica
extremadamente simple con un ciclo de longitud 2.

Algunos de los softwares más comunes y útiles para las cadenas de markov:
1. El software más utilizado en aplicaciones médicas es producido por TreeAge, ya
que ofrece muchas ventajas para el usuario. Pero, el coste del software TreeAge es
relativamente alto. Por lo tanto, en este artículo se presentan dos alternativas de
software: Sto Tree y el paquete, gratuito, "markovchain" implementado en R.
2. NumPy y SciPy son bibliotecas de Python que proporcionan funciones y
herramientas para manipulación de matrices y cálculos científicos, incluyendo el
álgebra lineal necesaria para trabajar con cadenas de Markov.
3. es un lenguaje de programación y un entorno de software ampliamente utilizado en
estadísticas y análisis de datos. El paquete markovchain en R es específico para
trabajar con cadenas de Markov.
4. MATLAB es un entorno de programación numérica ampliamente utilizado. Su
toolbox de Estadísticas y Machine Learning incluye funciones para trabajar con
cadenas de Markov.
5. Octave es un software de código abierto similar a MATLAB. También cuenta con
herramientas para realizar cálculos y análisis asociados a cadenas de Markov.
6. StochasticTools es una biblioteca de Java desarrollada para modelar y simular
sistemas estocásticos, incluyendo cadenas de Markov.
 Lista de referencias

Cadenas de Markov. (s. f.).

https://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_

Markov.htm

Guerard_guillaume. (2022, 3 diciembre). Régimen permanente: sistemas complejos e IA.

Sistemas complejos e IA. https://complex-systems-ai.com/es/proceso-de-

markov/estado-estable/

Libretexts. (2022, 2 noviembre). 10.4: Cadenas absorbentes de Markov. LibreTexts

Español.

https://espanol.libretexts.org/Matematicas/Matematicas_Aplicadas/Matematicas_

Finitas_Aplicadas_(Sekhon_y_Bloom)/10%3A_Cadenas_de_Markov/10.04%3A

_Cadenas_absorbentes_de_Markov

Studocu. (s. f.). Capitulo 4 - Investigacion de Operaciones II - Instituto Tecnologico de

CD INVESTIGACIÓN DE - Studocu. https://www.studocu.com/es-

mx/document/instituto-tecnologico-de-ciudad-juarez/investigacion-de-

operaciones-ii/capitulo-4-investigacion-de-operaciones-ii/51726179