Theorie de lnforma
Devoir # 1
11octobre 2006
A rendre avant le 23 octobre
SIC-SICOM
Maria-Joao Rendas
1. Soit X une variablee
fonction
X est de
inferieure ou egale a lentropie de X en justifiant les pas suivants:
(a)
H(X, g(X)) = H(X) + H(g(X)|X)
(b)
= H(X)
(c)
H(X, g(X)) = H(g(X)) + H(X|g(X))
(d)
H(g(X))
Et donc H(g(X)) H(X).
2. (a) Soit Y = X 5 , ou X est une variable aleatoire qui prend des valeurs entieres
positives et negatives. Quelle est la relation entre H(X) et H(Y ) ?
(b) Et si Y = X 2 ?
(c) Et si Y = tan X?
3. (a) Considerez quune piece equilibree est lancee. Quelle est linformation
mutuelle entre la face en haut et celle qui est en bas ?
(b) Un de equilibre est lance. Quelle est linformation mutuelle entre la face
en haut et celle en bas ?
(c) Quelle est linformation mutuelle entre la face en haut et celle qui est
tournee vers le joueur ?
4. Supposez quon dispose de n pieces qui peuvent ou pas comprendre une piece
fausse. La piece fausse peut etre plus lourde ou plus legere que les vraies. On
dispose dune balance pour peser les pieces.
(a) Comptez le nombre detats dans lesquels lensemble de n pieces peut etre,
et le nombre de possibles resultats des k pesages. En les comparant, determinez
une borne superieure au nombre n de pieces parmis lesquelles une suite de
k pesages permettent de determiner quelle est la piece fausse (si elle existe)
et si elle elle plus plegere ou plus lourde que les autres.
1
5. Une piece est lancee jusqua loccurence dune face. Soit X le nombre de lance-
ments.
(a) Determinez lentropie H(X) en bits. Lexpression suivante peut etre utile
:
X r X r
rn = , nrn = .
n=1
1 r n=1
1 r)2
Determinez une sequence de questions binaires (reponses oui/non) de la
forme X S ?, ou S est un ensemble, Comparez H(X) avec le nombre
moyen de questions necessaires pour determiner X.
(b) Soit Y le nombre de lancements jusqua loccurence dune deuxieme face.
Par exemple, Y = 5 si la deuxieme face est obtenue au cinquieme lance-
ment. Argumentez que H(Y ) = H(X1 + X2 ) < H(X1 , X2 ) = 2H(X),
et interpretez cette relation.
6. Un tournoi consiste dans une sequence de trois combats et termine aussitot un
des joueurs gagne deux combats. Soit X la variable aleatoire qui represente le
resultat dun tournoi entre les joueurs A et B, par exemple AA, ou BAB. Soit
Y le nombre de combats effectues. Y peut prendre les valeurs 2 et 3.
(a) Sous lhypothese que les joueurs A et B sont equilibres et que les combats
sont independants, calculez H(X), H(Y ), et H(X|Y ).
(b) Soit Z lequipe gagnante. Determinez H(X|Z). Comparez avec H(X).
Determinez H(Z|X).
(c) Determinez I(Y ; Z).
