Terminale · Mathématiques

Chaînes de Markov à deux ou trois états

Interpréter le coefficient (i, j) de Pⁿ, calculer la distribution d'une chaîne de Markov à deux ou trois états après n transitions et déterminer une distribution invariante.

Aperçu gratuit
Illustration de la fiche « Chaînes de Markov à deux ou trois états »

Les points essentiels

  • Une chaîne de Markov à deux ou trois états se modélise par un graphe orienté pondéré : chaque arête porte une probabilité de transition.
  • La matrice de transition P est stochastique : chaque coefficient est une probabilité et la somme de chaque ligne vaut 1.

Les mots à connaître

Chaîne de Markov
Processus aléatoire qui décrit l'évolution d'un système entre plusieurs états : la probabilité de passer à un état donné ne dépend que de l'état de départ, pas des états traversés auparavant.
Matrice de transition P
Matrice carrée dont le coefficient (i, j) est la probabilité de passer de l'état i à l'état j en une transition. Chaque coefficient est une probabilité et la somme de chaque ligne vaut 1.

Un exemple pour comprendre

Une chaîne de Markov possède deux états A et B. Sa matrice de transition est P = [[0,8 ; 0,2] ; [0,3 ; 0,7]] : la ligne 1 correspond à l'état A, la ligne 2 à l'état B. La distribution initiale est π₀ = (1 ; 0). Calcule la distribution après deux transitions, puis une distribution invariante.

Étape 1. Je calcule π₁ = π₀ P. La première coordonnée vaut 1 × 0,8 + 0 × 0,3 = 0,8. La seconde vaut 1 × 0,2 + 0 × 0,7 = 0,2. Donc π₁ = (0,8 ; 0,2). Étape 2. Je calcule π₂ = π₁ P. La première coordonnée vaut 0,8 × 0,8 + 0,2 × 0,3 = 0,64 + 0,06 = 0,70. La seconde vaut 0,8 × 0,2 + 0,2 × 0,7 = 0,16 + 0,14 = 0,30. Donc π₂ = (0,70 ; 0,30). Étape 3. Je cherche une distribution invariante π = (x ; 1 − x). La condition π P = π donne sur la première coordonnée 0,8x + 0,3(1 − x) = x. Je développe : 0,5x + 0,3 = x, donc 0,5x = 0,3 et x = 0,6. La distribution invariante est π = (0,6 ; 0,4). Vérification : (0,6 × 0,8 + 0,4 × 0,3 ; 0,6 × 0,2 + 0,4 × 0,7) = (0,48 + 0,12 ; 0,12 + 0,28) = (0,6 ; 0,4).

Première page de l’Essentiel : Chaînes de Markov à deux ou trois états
Ketty