2012 13.TD - Td6.correction - Entro
2012 13.TD - Td6.correction - Entro
2012 13.TD - Td6.correction - Entro
2012
TD N°6 : Entropie d’un source, entropie conditionnelle et information mutuelle
1- Trois lampes colorées sont utilisées sont utilisées dans un système de signalisation.
a- Combien de symboles pourraient être transmis par cette source sachant qu’un lampe est soit éteinte, soit
allumée.
b- En déduire l’entropie permise par la taille de cet alphabet
c- En réalité, seulement trois symboles équiprobables sont utilisés. Calculer l’entropie réelle de la source et en
déduire sa redondance.
Solution :
a- Puisque ce système possède 3 lampes qui peuvent être soit éteintes soit allumées il y a combinaisons
possibles. 8 symboles différents peuvent donc être émis.
b- L’entropie de cette source est maximale lorsque ces symboles sont équiprobables :
( )
c- Si seulement 3 symboles sont utilisés, et ils sont équiprobables, la quantité moyenne d’information qu’ils peuvent
apporter sera de :
( )
Et ainsi la redondance pour cette source :
( )
( ) ∑ ( )
( ) ( ) ( ) ( ) ( )
( )
( )
Information & Entropie PL2
2012
3- Cet exercice permet essentiellement d’apprécier l’ordre de grandeur de l’entropie de diverses sources qui
correspondent à 3 possibilités différentes pour un être humain d’acquérir l’information.
a- Lecture : en supposant que l’être humain peut lire en 10 mots appartenant à un vocabulaire de
1024 mots équiprobables. Calculer l’entropie d’un seconde de lecture.
b- Conversation téléphonique : une conversation téléphonique est échantillonnée à une fréquence de
avec une quantification non uniforme des signaux appelée sur 256 niveaux. Calculer l’entropie
acquise en écoutant cette conversation pendant 1 seconde
c- Télévision : Une image de télévision en noir et blanc possède une résolution verticale de 625 lignes et une
ème
résolution horizontale de 500 points, et est émise toutes les 1/24 de seconde. On suppose que l’œil peut
distinguer 10 degrés de luminosité différents. Calculer l’entropie acquise en regardant une seconde de
télévision.
Solution :
a- On assimile cette activité à la réception de 10 fois par seconde d’un symbole choisi parmi 1024 possibles et
indépendants : l’entropie reçue est alors de
( ) ( ) ( ) ( )
b- Si on assimile à la réception à une fréquence de choisis parmi 256 valeurs possibles et
indépendants, l’entropie reçue est alors de
( ) ( ) ( ) ( )
c- On assimile la réception correspondant à des images chacune constituée de prenant 10 valeurs
ème
possibles chaque 1/24 de seconde : l’entropie reçue est alors de
( ) ( ) ( ) ( )
4- Une source binaire produit des symboles 0 et 1 avec des probabilités 2/5 et 3/5. La durée d’émission d’un 0 est de
1 ms et celle d’un 1 est de 2 ms. Calculer
a- L’entropie de cette source
b- Le débit moyen
c- Le taux d’émission.
Solution :
a- L’entropie de cette d’une source binaire vaut en générale :
∑ ( ) ( ) ( ) ( )
( ) ( )
Solution :
a- L’information transmisse par le canal correspond à l’information mutuelle (information commune entre l’entrée
et la sortie). Nous allons calculer les probabilités des symboles reçus avec le théorème de Bayes :
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( )
( )
( )
( )
b- Nous pouvons alors calculer l’entropie apportée par les symboles reçus :
( ) ∑ ( ) ( ) ( )
c- Entropie apportée par chaque symbole reçu (avec le symbole émis connu):
( ) ∑ ( ) ( ) pour un k fixe.
( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( )
Maintenant chaque entropie doit être pondérée avec la probabilité d’émission de chaque symbole :
( ) ( ) ( ) ( ) ( ) ( ) ( )
( )
( )
Information & Entropie PL2
2012
6- Dans un laboratoire se trouve une cage avec 100 souris présentant deux caractères : sexe (mâle ou femelle) et
couleur (blanche ou noire) : 80 sont mâles, 60 sont blanches et 50 sont mâles et blanches
a- Compléter le tableau suivant avec les effectifs et donner les vecteurs ( ) et ( ) avec les probabilités
marginales de la variable sexe et la variable couleur
Effectif
Mâle (M) Femelle (F) Total
Blanche (B)
50 10 60
Noir (N)
30 10 40
Total
80 20 100
Probabilités marginales
( ) ( )
( ) ( )
b- Donner les valeurs de probabilité des événements conjoints : sont les intersections de chaque
critère par exemple (blanche male = 0.5)
( )
0.5
( )
0.1
( )
0.3
( )
0.1
c- Rappeler le Théorème de Bayes pour un couple des variables aléatoires ( ) et donner la matrice ( ) des
probabilités conditionnelles ( ) et ( ) de la variable couleur pour le cas de la souris mâle.
( )
Théorème de bayes : ( )
( )
( ) ( )
( ) ( )
( ) ( )
Information & Entropie PL2
2012
d- Une assistante doit prendre 6 souris au hasard. Calculer la probabilité d’extraire 6 souris blanches dans 6
extractions indépendantes (avec remise de la souris dans la cage)
7- Dans les jeux de rôle, on utilise des dés à plusieurs faces. Si les dés sont parfaitement équilibrés les faces sont
toutes équiprobables. S’il y a des défauts, les faces auront des probabilités distinctes dans les tirages et pourront
conditionner le résultat du tirage.
a- Donner la notion d’information mutuelle de deux variables aléatoires
Une fois observée la face X, la valeur de Y est déterminée avec certitude ainsi le terme
d’entropie conditionnelle (réalisation de la face X sachant Y) devient ( )
( ) ( ) ( )
( ) ( ) ( )
( )
( )
8- Dans un sachet « prêt à l’emploi » acheté dans la section jardinière d’un supermarché, on trouve 100 graines
présentant deux caractères : couleur (rouge ou jaune) et type (bégonia ou dahlia) : 80 graines sont rouges, 60
sont bégonias et 50 sont bégonias rouges
a- Compléter le tableau suivant avec les pourcentages pour chaque type de graine et donner les vecteurs ( ) et
( ) avec les probabilités marginales de la variable couleur et la variable type :
Probabilités marginales
( ) ( )
( ) ( )
b- Donner les valeurs de probabilité des événements conjoints, ou les deux caractères s’expriment à la fois :
( )
0.5
( )
0.1
( )
0.3
( )
0.1
( )
Théorème de bayes : ( ) ( )
d- On prend 10 graines au hasard. Calculer la probabilité d’extraire 10 dahlias dans 4 extractions indépendantes
(avec remise des graines dans le sachet). Utiliser l’élément des probabilités marginales qui réfère aux dahlias.
( ) ( )