Elementos de Teoria Asintotica

Walter Sosa Escudero

([email protected])

Universidad de San Andres

Walter Sosa Escudero Elementos de Teoria Asintotica

El modelo lineal en notacion observacional

yi = x0i β + ui , i = 1, 2, . . . , n

Mi2
 
    Mi Zi
Mi Mi [ Mi Zi ]
xi = , xi x0i = = 
Zi Zi
Zi Mi Zi2

Walter Sosa Escudero Elementos de Teoria Asintotica

 Mi2
 
n
X n
X Mi Zi
xi x0i =   = X 0X
i=1 Zi Mi
i=1 Zi2
n n  
X X Mi y i
xi yi = = X 0Y
Zi yi
i=1 i=1

Entonces, en notacion observacional:

n
!−1 n
!
X X
β̂ = (X 0 X)−1 X 0 Y = xi x0i xi yi
i=1 i=1

Walter Sosa Escudero Elementos de Teoria Asintotica

Propiedades Asintoticas, o de Muestra Grande

Propiedades de muestra finita: propiedades para un tamaño

de muestra fijo (insesgadez, varianza minima, etc.).
Propiedades de muestra grande: propiedades de un estimador
cuando el tamaño de la muestra se hace infinitamente grande.

Porque?: en general son mas faciles de verificar que las de

muestras finitas.
Relevancia: en la practica funcionan correctamente aun
cuando el tamaño de muestra no es infinito.

Walter Sosa Escudero Elementos de Teoria Asintotica

Convergencia de sucesiones aleatorias

Concepto ‘primitivo’: an → a0 , an es una sucesion de

numeros reales.
1
Ejemplo: an = n →0

La idea es extender esta nocion de convergencia cuando

hablamos de una sucesion de variables aleatorias.

Walter Sosa Escudero Elementos de Teoria Asintotica

Convergencia en probabilidad

xn , sucesion de variables aleatorias. xn converge en probabilidad a

una constante a si para todo  > 0

P r [|xn − a| > ] → 0
p
Usaremos la notacion xn → a, o plim xn = a

- ver grafico e intuicion -

La idea se extiende a vectores de variables aleatorias, elemento por

elemento.

Walter Sosa Escudero Elementos de Teoria Asintotica

Resultado importante:
p
Continuidad del plim: Si xn → a, y g(z) es continua en a,
entonces:
p p
xn → a =⇒ g(xn ) → g(a)
Este resutado es muy importante: el plim ‘pasa’ a traves de
funciones continuas.
Las esperanzas no tienen esta propiedad. Se generaliza a vectores.

• ¿Que era la ‘ley de grandes numeros’ ?

Walter Sosa Escudero Elementos de Teoria Asintotica

El resultado central de convergencia en probabilidad es el siguiente:
Ley de Grandes Numeros
Si zn es una sucesion de variables aleatorias independientes e
identicamente distribuidas (iid) tal que E(zi ) = µ < ∞ y
p
V (zi ) = σ 2 < ∞, sea z̄ ≡ (1/n) ni=1 zi entonces z̄n → µ.
P

Consideremos una sucesion de estimadores θ̂n , que se forman

incrementando progresivamente el tamaño de la muestra.
Un estimador θ̂n es consistente para θ0 si:
p
θ̂n → θ0

• Que dice la LGN en terminos de la propiedad de consistencia?

Walter Sosa Escudero Elementos de Teoria Asintotica

Convergencia en distribucion

xn converge en distribucion a una variable aleatoria x sii:

Fn (δ) → F (δ)
d
para (casi) todo δ. Notacion: xn → x.
Estamos asociando la convergencia de una sucesion de variables
aleatorias a la convergencia de sus funciones de distribucion.

• Que el Teorema Central del Limite?

Walter Sosa Escudero Elementos de Teoria Asintotica

El resultado central de convergencia en distribucion es:

Teorema Central de Limite (Lindeberg-Levy)

Sea zi una sucesion de variables aleatorias iid con E(zi ) = µ < ∞
y V (ui ) = σ 2 < ∞. Sea z̄n ≡ n−1 ni=1 zi . Entonces:
P

z̄n − µ d
√ → N (0, 1)
σ/ n

o, equivalentemente,
√ d
n (z̄n − µ) → N (0, σ 2 )

Walter Sosa Escudero Elementos de Teoria Asintotica

Es un resultado MUY importante
Notar que habiendo establecido la consistencia de z̄n , la
distribucion asintotica de z̄n es trivial: porque?
La confusion aparece por la siguiente aproximacion. Si
x ∼ N (µ, σ 2 ), entonces a + bX ∼ N (a + bµ, b2 σ 2 ). Entonces,
estamos tentados a decir que:
√ d
n (z̄n − µ) → N (0, σ 2 ) =⇒ z̄n ∼ N (µ, σ 2 /n)
pero cuando n → ∞ el lado derecho es trivial!!!
z̄n ∼ N (µ, σ 2 /n) es solo una aproximacion.

Walter Sosa Escudero Elementos de Teoria Asintotica

Porque este resultado es tan importante?
Consideremos el problema de evaluar H0 : µ − µ0 = 0 vs
H0 : µ − µ0 6= 0, chequeando si x̄ − µ0 = 0.
Notar que siempre que µ − µ0 = 0, δ(µ − µ0 ) = 0 para todo
δ > 0.
Entonces, para evaluar H0 podriamos mirar δ(x̄ − µ0 ) = 0
Porque? Si elegimos inteligentemente δ, la distribucion de
δ(x̄ − µ0 ) se puede derivar mas facilmente que la de (x̄ − µ0 ).
√
Por ejemplo, δ = n/σ, el TCL provee la distribucion de
interes.

Walter Sosa Escudero Elementos de Teoria Asintotica

Dos conceptos importantes:
Sea θ̂n una sucesion de estimadores. Si
√ d
n(θ̂n − θ0 ) → N (0, σ 2 )

diremos que θ̂n es asintoticamente normal con varianza

asintotica σ 2 /n. Diremos que el estimador es consistente a la
√
tasa n.
√
Sean θ̂n y θ̄n dos estimadores consistentes a la tasa n, con
varianzas asintoticas V1 y V2 . Entonces θ̂n es asintoticamente
eficiente en relacion a θ̄n si V2 − V1 ≥ 0.

Walter Sosa Escudero Elementos de Teoria Asintotica

Resultados utiles

Si X y Y son VA independientes y g(z) es continua, entonces

g(X) y g(Z) son independientes.
V (y) = E(V (y|x)) + V (E(y|x))
d p p
Teorema de Slutzky: Si Yn → Y y Xn → a y Zn → b,
entonces:
d
Xn + Zn Yn → a + bY

Walter Sosa Escudero Elementos de Teoria Asintotica

Cramer-Wald Device: xn una sucesion de vectores K × 1.
d d
xn → x ⇐⇒ c0 xn → c0 x
para todo vector c ∈ <K . Este resultado facilita establecer la
convergencia en distribucion de vectores, reduciendo el
problema a combinaciones lineales arbitrarias.
Continuous mapping theorem: Si g(z) es continua:
d d
xn → a =⇒ g(xn ) → g(a)

Walter Sosa Escudero Elementos de Teoria Asintotica

Distribucion normal multivariada: x un vector de K VA’s,
tiene distribucion normal multivariada con media µ y varianza
Ω si la funcion de densidad conjunta f (x) es:
 
1 1 0 −1
f (x) = exp − (x − µ) Ω (x − µ)
(2π)K/2 |Ω|1/2 2

Denotamos x ∼ N (µ, Ω). Una propiedad importante es la de

linealidad:

x ∼ N (µ, Ω) ⇒ a + b0 x ∼ N (a + b0 µ, b0 Ωb)

para cualquier par de vectores a y b.

Walter Sosa Escudero Elementos de Teoria Asintotica

Aplicacion importante del teorema de Cramer-Wald bajo
normalidad: xn un vector de K VA’s, c ∈ <K :
d d
xn → N (µ, Ω) ⇐⇒ c0 xn → N (c0 µ, c0 Ωc)

Walter Sosa Escudero Elementos de Teoria Asintotica

Resultados asintoticos para el estimador MCO

yi = x0i β0 + ui , i = 1, 2, . . . , n
xi es un vector de K variables explicativas.
Supondremos:
ρ(X) = K.
E(ui |xi ) = 0.
V (ui |xi ) = σ 2 , E(ui uj |xi ) = 0, i 6= j.
(yi , xi ) ∼ iid, con momentos hasta el 4to.
E(xi x0i ) = D, finita y no-singular.

Walter Sosa Escudero Elementos de Teoria Asintotica

Consistencia

Resultado: β̂n es consistente

β̂n = (X 0 X)−1 X 0 Y
= (X 0 X)−1 X 0 (Xβ + u)
= β0 + (X 0 X)−1 X 0 u
 0 −1  0 
XX Xu
= β0 +
n n

 −1
X0X
Si podemos probar que n
no tiende a infinito, ¿que queda por probar
para establecer consistencia?

Walter Sosa Escudero Elementos de Teoria Asintotica

  
X0u
El elemento h del vector n es:
n n
1 X 1X
xhi ui = zi , zi ≡ xhi ui
n n
i=1 i=1

Notar que las zi son variables aleatorias iid con:

E(zi ) = E(xhi ui ) = E(E(xhi ui |xhi )) = E(xhi E(ui |xhi )) = 0

V (zi ) = E(V (zi |xhi )) + V (E(zi |xhi ))
= E(V (zi |xhi ) = E(V (xhi ui |xhi )) = σ 2 E(x2hi ) < ∞

¿Para que hemos hecho esto ultimo?

Walter Sosa Escudero Elementos de Teoria Asintotica

Entonces, por la ley de grandes numeros:
n Pn
1X i=1 xhi ui p
zi = → E(xhi ui ) = 0
n n
i=1
  p
X0u
de modo que: n → 0.

Walter Sosa Escudero Elementos de Teoria Asintotica

  −1
X0X
El elemento (h, j) de n es:
Pn
i=1 xhi xji p
→ E(xhi xji ) = Dhj
n
Entonces:
X 0X p
→D
n
Por continuidad de plim:
−1
X 0X

p
→ D−1
n

Walter Sosa Escudero Elementos de Teoria Asintotica

Resumiendo:
 −1  
X0X X0u
β̂n = β0 + n n
p p
→ D−1 →0

p
Entonces, por continuidad: β̂n → β0 .

¿Cual es el supuesto ‘mas importante’ que garantiza la consistencia?

Walter Sosa Escudero Elementos de Teoria Asintotica

Normalidad asintotica

√  
d
Resultado: n β̂n − β0 → N (0, σ 2 D−1 ).

Es un poquito mas delicado. El punto de partida es, nuevamente:

X 0 X −1 X 0 u
  
β̂n = β0 +
n n
√
Multipliquemos ambos lados por n y restemos β0 :

√    X 0 X −1  X 0 u 
n β̂n − β0 = √
n n

Walter Sosa Escudero Elementos de Teoria Asintotica

 √    X 0 X −1  X 0 u 
n β̂n − β0 = √
n n
Ya mostramos que:
−1
X 0X

p
→ D−1
n
 0

X
√u
La idea es buscar la distribucion asintotica de n
.

 0

X
√u
Si probamos que n
es asintoticamente normal, ¿como termina la prueba?

Walter Sosa Escudero Elementos de Teoria Asintotica

Comencemos con:

X 0u √ X 0u
 
√ = n
n n
Es un vector de K VA’s. Por el Cramer-Wold Device, es
equivalente buscar la distribucion de:
√ 0 X 0u
 
nc
n

para todo c ∈ <K . En notacion observacional:

√ 0 X 0u
P 0
√ xi ui √ c xi ui √
  P P
zi
nc = nc0 = n ≡ n
n n n n

donde zi ≡ c0 xi ui . (probar como ejercicio!!)

Walter Sosa Escudero Elementos de Teoria Asintotica

Ahora es facil establecer las siguientes propiedades:
E(zi ) = 0
V (zi ) = σ 2 c0 Dc < ∞
√
Entonces, por el TCL aplicado a nz̄:
 0 
√ 0 X u d
n(z̄ − 0) = c √ → N (0, σ 2 c0 Dc)
n
Entonces, por el teorema de Cramer-Wald:
 0 
Xu d
√ → N (0, σ 2 D)
n

Walter Sosa Escudero Elementos de Teoria Asintotica

Reemplazando:
√    0 −1
X X

X 0

n β̂n − β0 = √u
n n
p d
→ D−1 → N (0, σ 2 D)

Por Teorema de Slutzky y propiedad de linealidad de la distribucion

normal multivariada:
√   p
n β̂n − β0 → N (0, σ 2 D−1 DD−1 ) = N (0, σ 2 D−1 )

Walter Sosa Escudero Elementos de Teoria Asintotica