SUP’COM
INDP2
Estimation
Travaux dirigés no. 1 : calcul de performances, moindres carrés
1 Calcul de performances
Dans la pratique, on dispose d’un ensemble de N observations (x1 , . . . , xN ) pour estimer la variance σ 2 et la moyenne
statistique m de la variable aléatoire X, associée au phénomène physique étudié. On propose comme estimateur
N N
4 1 X 4 1 X
m̂ = xn σ̂ 2 = (xn − m̂)2 . (1)
N n=1 N n=1
Calculer le biais et la variance de ces deux estimateurs.
2 Pour s’échauffer !
On veut expliquer la hauteur y (en mètres) d’une variété d’arbres (eucalyptus) en fonction de sa circonférence x (en cen-
timètres) à 1m30 du sol. On a relevé sur N arbres les valeurs de (x, y) pour obtenir le nuage de points représenté dans la
figure 1. On retient le modèle suivant : √
y = θ0 + θ1 x + θ2 x + B, (2)
où θ0 , θ1 et θ2 sont des réels.
1. Quelle est la variable explicative, la variable à expliquer ?
2. S’agit-il d’un modèle linéaire par rapport à la variable explicative ?
3. S’agit-il d’un modèle linéaire par rapport aux paramètres ?
4. Justifier le recours à ce modèle au vu du nuage de points.
5. Montrer que sous forme vectorielle, le modèle s’écrit :
y = Hθ + B, (3)
en précisant les définitions de H, θ, B et leurs dimensions.
Figure 1: Nuage de points (circonférence,hauteur).
1
3 Régression simple linéaire
On considère le cas de la régression simple linéaire entre la variable explicative X et la variable à expliquer Y :
Ŷ = θ0 + θ1 X, (4)
où θ0 et θ1 sont les paramètres de la régression linéaire On utilise un échantillon de N couples (xn , yn ).
1. Donner les expressions des moyennes empiriques x̄ et ȳ de X et Y calculées à partir de l’échantillon.
2. En déduire les coordonnées du point centre de gravité G.
3. Donner l’expression de la variance empirique var(X) de X calculée à partir de l’échantillon.
4. Donner l’expression de la covariance empirique cov(X, Y ) entre X et Y calculée à partir de l’échantillon.
5. Ecrire l’expression de l’erreur quadratique.
6. Etablir le système que vérifient les 2 paramètres θ0∗ et θ1∗ qui minimisent l’erreur quadratique moyenne.
7. En déduire que G passe par la droite de régression.
8. Montrer que :
cov(X, Y )
θ1∗ = . (5)
var(X)
4 Regression linéaire
On suppose que les N observations x1 , . . . , xN des positions d’un mobile s’expriment comme suit :
1 2
∀n = 1, . . . , N xn = gt + vtn + s0 + bn (6)
2 n
où les tn sont les instants d’observation et les paramètres inconnus sont g, v, s0 , bn correspond à l’erreur de mesure faite à
l’instant n. Calculer l’estimateur au sens des moindres carrés du vecteur paramètre inconnu.
5 Transformation de paramètres
Soit les N références : ∀ n = 0, . . . N − 1 s(n) = A cos(2πf0 n + φ), où la fréquence f0 est supposée connue et où les deux
paramètres A > 0 et φ sont inconnus. On désire les estimer par la méthode des moindres carrés ordinaires à partir échantillon
de N observations : x(0), . . . , x(N − 1).
1. Ecrire explicitement le critère à minimiser. De quel type de problème s’agit-il ?
2. Proposer un changement de variables bijectif qui linéarise le problème en fonction du nouveau couple de paramètres
que l’on notera (α, β).
3. En déduire ÂM C et φ̂M C .
