Fmarkov
Fmarkov
Fmarkov
2. Soit (Xn )n≥0 une chaîne de Markov (ν, P ) à valeurs dans E un ensemble dénombrable.
Étudier si les suites suivantes sont des chaînes de Markov et préciser le cas échéant leurs
matrices de transition :
(a) Ym = Xnm , où (nm )m≥0 ⊂ N est une sous-suite croissante non-bornée ;
(b) Zn = Xk+n , où k ≥ 1 entier ;
(c) Wn = Xkn où k ≥ 2 entier.
3. Même question pour la suite Vn = (Xn , Xn+1 ).
1
3. On suppose que (Xn )n≥0 est une chaîne de Markov sur E = {1, 2, 3} de matrice de transition
0 1−α α
P := 1 − β 0 β .
1/3 1/3 1/3
2
2. Vérier (par récurrence) que, pour toute loi initiale ν :
( )
β β
Pν (Xn = 0) = + (1 − α − β) ν(0) −
n
.
α+β α+β
3. Si (α, β) ̸= (1, 1), montrer que {Xn : n ≥ 0} converge en loi vers une variable aléatoire de
loi m. Que vaut m ? On supposera pour la suite de l'exercice que (α, β) ̸= (1, 1).
4. (Mesure stationnaire) Prouver que, pour tout n ∈ N, Pm (Xn ∈ A) = m(A).
Écrire cette propriété à l'aide de la matrice P .
5. Calculer Covm (Xn , Xn+1 ) := Em (Xn Xn+1 ) − Em (Xn )Em (Xn+1 ).
Les variables aléatoires {Xn : n ≥ 0} sont-elles indépendantes ?
6. Calculer le potentiel de la chaîne. Classier les états de la chaîne.
nα
7. On note Sn := X1 + . . . + Xn . Montrer que Em (Sn ) = et que Varm (Sn ) ≤ C n, où C
α+β
est une constante.
8. (Loi faible des grands nombres)
Sn α
En déduire que lim = en probabilité sous Pm , sous P0 et sous P1 .
n→∞ n α+β
3
Exercice 11 Chaînes de Markov et martingales
Soit (Xn )n≥0 une chaîne de Markov à valeurs dans E au plus dénombrable de loi initiale ν et de
matrice de transition P . Soit Fn = σ(X0 , . . . , Xn ). Une fonction f : E → R est dite harmonique
(ou invariante) si
∑ ∑
p(x, y)|f (y)| < ∞ et P (x, f ) := p(x, y)f (y) = f (x), ∀x ∈ E.
y∈E y∈E
∑
1. Soit f harmonique telle que y∈E |f (y)|ν(y) < ∞. Montrer que (f (Xn ))n≥0 est une Fn -
martingale.
2. Supposons que E est ni et qu'il y a deux états absorbants a et b : p(a, a) = p(b, b) = 1.
Soit σx := inf{n ≥ 0 : Xn = x} et T := σa ∧ σb .
(a) Montrer que : P(∀n ≥ 0, Xn = c | X0 = c) = 1, si c = a ou b.
(b) On note P (x, A) = P (x, 1A ). Supposons que, pour tout x ∈ E , P (x, {a, b}) > 0. On
note
ξ := inf{P (x, {a, b}) : x ∈ E \ {a, b}} > 0
et
An := {Xi ̸= a, Xi ̸= b, pour tout 0 ≤ i ≤ n}.
Montrer que :
Px (An ) ≤ (1 − ξ)n .
En déduire que, pour tout x ∈ E , Px (T < ∞) = 1.
3. On suppose que, pour tout x ∈ E , Px (T < ∞) = 1 et soit f harmonique, bornée et telle
que f (a) ̸= f (b). Calculer
Px (XT = a) et Px (XT = b).
4. Déterminer les états récurrents et transitoires si on considère le modèle avec taux de mutation
enN )n≥0 dont la matrice de transition est
(u, v) ∈]0, 1[2 , c'est-à-dire la chaîne (X
( )( (
N x x ))y ( x ( x ))N −y
pe(x, y) = (1 − u) + v 1 − (u + (1 − v) 1 − .
y N N N N
4
Exercice 13 Encore un modèle de génétique
Une population cellulaire comprend N cellules qui peuvent être de deux types : A ou a. On passe
d'une génération à la suivante en dédoublant chaque cellule mère et en choisissant au hasard N
cellules parmi les 2N . Les choix successifs sont supposés indépendants. On note Xn le nombre de
cellules de type A de la n-ième génération.
1. Montrer que (Xn )n≥0 est une chaîne de Markov dont la probabilité de transition vaut :
(2x)(2(N −x))
y N −y
p(x, y) := (2N ) .
N
2. Montrer que 0 et N sont des états absorbants. Si on note σy := inf{n ≥ 0 : Xn = y}, prouver
que :
Px (σN < σ0 ) = x/N et Px (σ0 < σN ) = 1 − x/N.
5
1. Déterminer quels sont les états transitoires et les états récurrents.
2. Calculer les probabilités d'absorption dans les classes de récurrence.
3. Déterminer les mesures invariantes de la chaîne.
6
2. Calculer Ex (eitX1 ).
3. En déduire la fonction caractéristique de X1 , lorsque X0 suit une loi de Poisson de paramètre
θ. En déduire que la loi de Poisson de paramètre λ/p est une mesure stationnaire pour (Xn ).
4. Montrer que (Xn ) est une chaîne irréductible, récurrente et positive.
1∑
n−1
5. Calculer lim Xi .
n→∞ n
i=0
7
2. Soit σy := inf{n ≥ 0 : Xn = y} et T := σa ∧σb . Pour a ≤ x ≤ b montrer que Px (T < ∞) = 1.
Exprimer g(x) := Px (XT = b) en fonction des γx .
3. Exprimer {σ0 = ∞} en fonction des événements {σz < σ0 } et calculer P1 (σz ≤ σ0 ). En
déduire la valeur de P1 (σ0 = ∞. et une condition de récurrence de la chaîne en fonction des
γx .
4. Montrer que toute mesure m satisfaisant
m(x)p(x, y) = m(y)p(y, x), x, y ∈ N
est de la forme :
m(x) := αζx ,
où on a posé
p0 . . . px−1
ζ0 = 1, ζx = .
q1 . . . q x
Montrer que la mesure dénie par la formule précédente est stationnaire.
5. Sous quelles conditions existe-t-il une probabilité stationnaire ? L'exprimer alors en fonction
des ζx .
6. On suppose px = p pour tout x ∈ N et qx = q , pour tout x ≥ 1. Étudier la récurrence de
la chaîne suivant les diérentes valeurs de p, q . Sous quelles hypothèses sur p et q existe-t-il
une probabilité stationnaire ?
Exercice 23 Entomologie
Une puce saute chaque seconde au hasard d'un sommet d'un triangle à un autre, indépendamment
et uniformément. Une tique, quant à elle, choisit deux fois plus souvent de sauter dans le sens
direct que dans le sens indirect. Quelles sont les mesures réversibles (resp. invariantes) des deux
dynamiques ? Dans les deux cas, estimer lorsque n est grand la probabilité que l'animal se retrouve
à son sommet de départ au bout de n sauts.
8
Exercice 26 Niveaux et excursions d'une marche aléatoire simple
Soit (εn )n≥1 une suite de variables
∑ aléatoires indépendantes de loi uniforme sur {−1, +1}. On pose
S0 = 0 et pour n ≥ 1 : Sn := nk=1 εk . Pour a ∈ N, on note σa := inf{n ≥ 0, Sn = a} le temps
d'atteinte de a par la chaîne (Sn )n≥0 .
1. Montrer que pour tout a ∈ N, σa est un temps d'arrêt ni presque sûrement.
2. Montrer que (σa+1 − σa )a∈N est une suite de variables i.i.d.
On pose τ00 := 0 et par récurrence, on dénit τ0n+1 := inf{n > τ0n , Sn = 0} le n + 1-ième temps
de retour en zéro de la chaîne (Sn )n≥0 .
3. Montrer que la loi de ∆n0 := τ0n+1 − τ0n ne dépend pas de n.
4. Montrer que les excursions (Sτ0k , . . . , Sτ k+1 )k∈N sont i.i.d.
0