10 Modelo de regresión lineal

La relación matemática determinística más simple entre dos variables x e y,

es una relación lineal y = 0 + 1 x. El conjunto de pares (x; y) que veri…can
esta relación, determinan una recta con pendiente 1 que corta al eje y en
0:
En esta sección vamos a estudiar una relación lineal no determinística
entre dos variables.

Ejemplo 10.1 Consideremos los siguientes datos que muestran la densidad

óptica de cierta substancia (y) a diferentes niveles de concentración (x):
x 80 120 160 200 240 280 320 360 400 440 480 520
y .08 .12 .18 .21 .28 .28 .38 .40 .42 .50 .52 .60

Si gra…camos estos valores

vemos que los puntos parecen estar bastante próximos a una recta, y podemos
aceptar que la relación entre las variables es “aproximadamente lineal”.
El modelo de regresión lineal simple se expresa como:

Y = 0 + 1x + (28)

donde 0 y 1 son parámetros …jos y es un término aleatorio, con

2
E( ) = 0 ; var( ) = : (29)

y estos son independientes para cada repetición del experimento.

Esto signi…ca que para cada valor de la variable independiente x, la va-
riable dependiente Y; es una variable aleatoria, tal que:
2
E(Y ) = 0 + 1x ; var(Y ) = :

Conocer la ecuación (28) y 2 ; nos permitiría predecir, con un error de

predicción que depende de 2 , el valor que puede tomar la variable Y , para de-
terminado valor de x. Como en el ejemplo planteado, se tiene un conjunto de
observaciones (x1 ; y1 ); (x2 ; y2 ); :::; (xn ; yn ), que parecen adaptarse al modelo
lineal y en base a esos valores se deben estimar los parámetros desconoci-
dos 0 , 1 y 2 : En el ejemplo xi son las concentraciones, yi las densidades
ópticas, y n = 12:

94
 Para estimar los parámetros 0 y 1 usaremos el método de mínimos
cuadrados. Sean
ri = yi ybi = yi b + b xi (30)
0 1

(los residuos). Entonces el método consiste en hallar b0 ; b1 tales que

X
n X
n
2
Srr = ri2 = yi b 0 + b 1 xi = min :
i=1 i=1

Calculando las derivadas respecto de b0 y de b1 , e igualando ambas a

cero, se obtiene un sistema de dos ecuaciones, al resolver el mismo se llega a
la siguiente solución.
Sean x e y las medias de las xi y las yi ; y sean
X
n
2
X
n
Sxx = (xi x) ; Syy = (yi y)2 ;
i=1 i=1

y
X
n X
n
Sxy = (xi x) (yi y) = xi yi nx y:
i=1 i=1
Entonces la solución es
b1 = Sxy ; b0 = y xb1 :
Sxx
La recta obtenida se llama recta de regresión estimada de y en x: En
nuestro ejemplo,
Sxx = 228800 , Syy = 0:30189 , Sxy = 261:4
y
b = 0:0119 ; b1 = 0:0011 :
0

de modo que la recta de regresión estimada será:

yb = 0:0119 + 0:0011x

La desviación se estima con sr de…nido como

Srr X n
2
s2r = ; con Srr = ri2 = Syy Sxx b1 :
n 2 i=1

95
En nuestro ejemplo, sr = 0:0180:

El coe…ciente de determinación y el coe…ciente de correlación

Una medida de la variablidad total de las observaciones yi es la expresión
que ya vimos Syy ; en nuestro ejemplo Syy = 0:30189
La suma de cuadrados de los residuos: Srr puede considerarse como una
medida de la variación de las yi que no es explicada por el modelo.
Entonces es conveniente de…nir un número que represente la proporción
de la variabilidad total de las yi que si es explicada por el modelo, este número
es el coe…ciente de determinación:
Srr
r2 = 1
Syy
es una medida de la bondad del ajuste del modelo.
En nuestro ejemplo r2 = 1 0:01075 = 0:98925, esto signi…ca el modelo
de regresión lineal simple explica el 98:9% de la variabilidad total de las
observaciones yi

El número
Sxy
R= p
Sxx Syy
se llama coe…ciente de correlación entre x e y. Está entre -1 y 1; si jRj = 1;
los puntos están exactamente sobre una recta, cuya pendiente tiene el signo
de R: También es una medida de la bondad de un ajuste lineal. En nuestro
ejemplo, R = 0:9946:

En un modelo de regresión lineal simple, el coe…ciente de determinación

es el cuadrado del coe…ciente de corelación.

10.1 Intervalos de con…anza para los parámetros

Se puede probar que los estimadores b0 y b1 son insesgados, esto quiere decir
que:
E(b0 ) = 0 ; E(b1 ) = 1
y también puede probarse que:
1 x2 2
var(b0 ) = 2
+ ; var(b1 ) = ;
n Sxx Sxx

96
 Entonces bajo las suposiciones del modelo (29) podemos decir que b0 y
b son estimadores insesgados de los parámetros
1 0 y 1 y que tienen las
varianzas calculadas.
Pero si podemos suponer que los i tienen distribución normal, es decir
que el modelo ahora sería:
Yi = 0 + 1 xi + i

donde
2
i s N(0; ) e independientes (31)
Entonces, también las variables aleatorias Yi tienen distribución normal,
y los estadísticos:
b b
T0 = q0 0
y T1 = 1
p 1
sr 1
+ x2 sr = Sxx
n Sxx

tiene distribución de Student con n 2 grados de libertad. Estos estadísiti-

cos nos sirven para construir intervalos de con…anza para 0 y 1 respecti-
vamente, con el mismo procedimiento que ya usamos anteriormente.
A partir de T0 ; planteamos
b
P( t =2 q0 0
t =2 ) =1
1 x2
sr n
+ Sxx

donde t =2 se busca en la tabla de Student para n 2 grados de libertad, y

…nalmente se llega al intervalo
0 s s 1
2 2
@b0 t =2 sr 1 + x ; b0 + t =2 sr 1 + x A
n Sxx n Sxx

A partir de T1 , planteamos
b1
P( t =2 p 1 t =2 ) =1
sr = Sxx
donde también t =2 se busca en la tabla de Student para n 2 grados de
libertad, y …nalmente se llega al intervalo
p p
b1 t =2 sr = Sxx ; b1 + t =2 sr = Sxx

97
 Para los datos del ejemplo, si elegimos
q 1 q para 10 grados de
= 0:95,
libertad t0:025 = 2:228 , dt(b0 ) = sr n + Sxx = 0:0180 12
1 x 2 1 3002
+ 228800 = 0:0124
y el intervalo para 0

( 0:0119 0:0276; 0:0119 0:0276) = ( 0:0395; 0:0157)

p p
de la misma manera dt(b1 ) = sr = Sxx = 0:0180= 228800 = 0:000038 y el
intervalo para 1

(0:0011 0:0000847; 0:0011 + 0:0000847) = (0:00101; 0:00118)

10.1.1 Algunos comentarios sobre la estimación de los parámetros

q
2
La longitud del intervalo para 0 es 2t =2 sr n1 + Sxxx ; de modo que
si x es relativamente grande, la estimación de 0 será poco precisa.
Generalmente la estimación de 0 no es tan importante como la de 1 :
p
La longitud del intervalo para 1 es 2t =2 sr = Sxx ; de modo que la
precisión de la estimación para 1 , puede mejorarse eligiendo los valores
de las xi más dispersas para que Sxx sea más grande.

10.2 Tests para los parámetros

Cuando las variables aleatorias Yi son independientes y con distribución nor-
mal, se pueden testear algunas hipótesis sobre los parámetros, se procede
como ya hemos visto. Si se desea comparar 1 con algún valor …jo b; el
estadístico de prueba será:
b b
T = 1p
sr = Sxx
que cuando el verdadero valor de 1 es b, tendrá distribución de Student con
n 2 grados de libertad, y los diferentes tests que se pueden hacer se resumen
como:

98
 Hipótesis nula: H0 : 1 =b
p
Valor de estadístico de prueba: t = b1 b Sxx =sr
Hipótesis alternativa Región de rechazo para un nivel
HA : 1 > b t>t
HA : 1 < b t< t
HA : 1 6= b t > t =2 o t < t =2
grados de libertad: n 2
Para el ejemplo (10.1), se está interesado en saber si la pendiente es mayor
de 0.001. En ese caso el problema se plantea como:

H0 : 1 = 0:001 > 0:001HA : 1

p
el valor del estadístico de prueba es t = (0:0011 0:001) 228800=0:0180 =
2:657; si observamos la tabla de Student para 10 grados de libertad, vemos
que el valor-p <0.025, lo que signi…ca que podemos a…rmar que la pendiente
es mayor que 0.01 con un nivel de signi…cación = 0:025

10.3 Intervalos de con…anza para valores medios de la

respuesta
Continuando con el ejemplo (10.1), consideremos una concentración dada,
por ejemplo x0 = 260; y sea Y0 la respuesta correspondiente. Si se cumple el
modelo (29), la respuesta media correspondiente a x0 es

EY0 = 0 + 1 x0 :

Si se quiere estimar EY0 = 0 + 1 x0 ; parece lógico estimarla con el “valor

ajustado”
yb0 = b0 + b1 x0 :
Si deseamos construir un intervalo de con…anza para EY0 deberemos encon-
trar el estadístico adecuado, es facil ver que

y0 = E(b0 + b1 x0 ) =
Eb 0 + 1 x0

también puede demostrarse que

!
1 (x0 x)2
y0 = var(b0 + b1 x0 ) =
varb 2
+
n Sxx

99
y también se puede probar que, cuando las Yi tienen distribución normal,
el estadístico
yb0 ( + 1 x0 )
T = q 0 2
sr n1 + (x0Sxxx)
tiene distribución de Student con n 2 grados de libertad. Entonces, sigu-
iendo el mismo procedimiento de siempre, obtenemos el siguiente intervalo
de con…anza de nivel 1 ; para EY0 ; es decir la media de la respuesta Y
para un valor dado x0
0 s s 1
2 2
@yb0 t =2 sr 1 + (x0 x) ; yb0 + t =2 sr 1 + (x0 x) A (32)
n Sxx n Sxx

En nuestro ejemplo,
r
1 (260 300)2
yb0 = 0:2741; + = 0:30054; t0:025 = 2:228
12 228800
y el intervalo de 95% de con…anza para EY0 resulta

(0:2620; 0:2861)

esto signi…ca que tenemos un 95% de con…anza de que este intervalo con-
tenega el valor verdadero (desconocido) de EY0 ; que es el valor medio de las
respuestas correspondientes a la concentración x0 : Pero ¡ojo!: esto no quiere
decir que si se registra la respuesta “y”para x0 ; ésta tenga probabilidad 0:95
de caer en el intervalo.
Si observamos la forma del intervalo (32), vemos que la longitud es:
s
1 (x0 x)2
L = 2t =2 sr +
n Sxx

esta longitud es mínima cuando x0 es igual a x, y aumenta cuando x0 se aleja

de x . En la siguiente …gura se gra…ca la recta de regresión estimada, y dos
lineas curvas que representan los límites de los intervalos de con…anza para
la media de Y , dados los posibles valores de x. Se puede ver como varía la
longitud de los intervalos de con…anza.

100
 Importante: Generalmente, el modelo (29) es una aproximación, válida
en el mejor de los casos dentro del rango de las “x”usadas en el experimento,
no tenemos información para hacer ninguna inferencia fuera de ese rango de
valores, por lo que no es nada con…able “extrapolar”, o sea, aplicar este
procedimiento para x0 fuera del rango de las “x”observadas.

10.4 Intervalos de predicción para valores de la va-

riable respuesta
Consideremos ahora la siguiente situación, queremos predecir el valor que
puede tomar la respuesta, cuando la concentración es x0 = 260. Sabemos
que y0 = 0 + 1 x0 + , y parece lógico predecir ese valor con el valor sobre
la recta estimada, o “valor ajustado”

yb0 = b0 + b1 x0

este es el mismo valor que usamos para estimar la EY0 . Pero si pretendemos
construir un intervalo de predicción, las cosas cambian un poco. El error
de predicción es la diferencia entre el valor que puede tomar una variable
aleatoria Y0 y el valor ajustado yb0 ; podemos ver que el valor esperado del
error de predicción es:
E (Y0 yb0 ) = 0

101
y la varianza del error de predicción es:

2 1 (x0 x)2
var(Y0 yb0 ) = var(Y0 ) + var(b
y0 ) = 1+ +
n Sxx

de modo que para construir un intervalo de predicción para Y0 , usaremos el

estadístico
Y0 yb0
T = q 2
sr 1 + n1 + (x0Sxxx)
que también tiene distribución de Student con n-2 grados de libertad. Y el
intervalo de predicción para y0 es:
0 s s 1
2 2
@yb0 t =2 sr 1 + 1 + (x0 x) ; yb0 + t =2 sr 1 + 1 + (x0 x) A (33)
n Sxx n Sxx

En nuestro ejemplo:
r
1 (260 300)2
yb0 = 0:2741; 1+ + = 1:04419; t0:025 = 2:228
12 228800
y el intervalo de predicción es:

(0:2322; 0:3160)

esto signi…ca que tenemos un 95% de con…anza de que ese intervalo contenga
a la posible respuesta y0 correspondiente a una concentración x0 = 260.
Vemos que la longitud de este intervalo de predicción para y0 es mayor que
la del intervalo de con…anza para EY0 que construimos antes ( para el mismo
x0 = 260 ). Esto es lógico porque para predecir el valor que tome la variable
aleatoria tengo más incerteza que para estimar su media. En general vemos
que la longitud de (33) es
s
1 (x0 x)2
L = 2t =2 sr 1 + +
n Sxx

vale lo mismo que dijimos para los intervalos de con…anza, la longitud es

mínima cuando x0 es igual a x.

102
 En el grá…co vemos las curvas que delimitan los intervalos de con…anza y
los intervalos de predicción, ambos de nivel 0:95
Como ya dijimos al construir intervalos de con…anza para EY0 ; este pro-
cedimento nunca puede “extrapolarse”. No tiene sentido predecir el valor de
Y correspondiente a una x fuera del rango de valores con que se estimó la
recta.

10.5 Uso de los residuos para validar el modelo

Recordemos que los residuos son la diferencia entre el valor observado y el
valor ajustado, ri = yi ybi . Una práctica muy util para validar el modelo de
regresión lineal es gra…car estos residuos vs los valores de las xi : Si el modelo
fuera correcto, estos residuos no deberían tener ninguna relación con las xi ,
ya que los residuos son lo que queda de las yi después de haber sustraido toda
la dependencia respecto de las xi : Cuando en el grá…co de residuos aparece
alguna forma que muestra una relación entre los ri y las xi ; indica que el
modelo no ha sido el más apropiado, y se debe intentar ajustar un modelo
no lineal o aplicar alguna transformación a los datos, que linealice la relación
entre las xi y las yi :
El siguiente es el grá…co de residuos para el ejemplo analizado, en este
caso no aparece ninguna forma particular, que indique una dependencia entre

103
los ri y las xi

,03

,02

,01
Residuos

0,00

- ,01

- ,02

- ,03
0 100 200 300 400 500 600

C o n c e n tr a c ió n

Consideremos ahora otro ejemplo, al gra…car como siempre los valores

(xi ; yi ) se puede pensar que una recta ajusta razonablemete bien estos datos,
como se ve en la siguiente …gura:

600

500

400
y

300

200
5,0 5,2 5,4 5,6 5,8 6,0 6,2 6,4 6,6

104
 sin embargo, si ajustamos un modelo de regresión lineal y luego gra…camos
los residuos, obtenemos:

20

10
Residuos

-10
5,0 5,2 5,4 5,6 5,8 6,0 6,2 6,4 6,6

donde se ve que los residuos no se distribuyen aleatoriamente, sino que siguen

un patrón. Esta forma está indicando que la recta no brinda el mejor ajuste,
en este caso se puede intentar aplicar alguna transformación a los datos, y
ajustar una recta a los datos transformados, y ver nuevamente la grá…ca de
residuos.

105
 Práctica 8

1. Suponga que, en cierto proceso químico, el tiempo de reacción Y (en

horas) está relacionado con la temperatura x (o F ) de la cámara en la
que tiene lugar la reacción, según el modelo de regresión lineal Y =
5:00 0:01x + donde i s N(0; 0:0752 ) (estamos considerando que esa
no es una estimación sino la verdadera recta de regresión)

(a) ¿Cuál es el cambio esperado en tiempo de reacción para un au-

mento de 1o F en temperatura? ¿Y para un aumento de 10o F ?
(b) ¿Cuál es la distribución del tiempo de reacción para una temper-
atura de 250o F ?
(c) ¿Cuál es la probabilidad de que el tiempo de reacción esté entre
2:4 y 2:5 horas?
(d) Suponga que se hacen 5 experimentos independientes con tempe-
ratura de reacción de 250o F . ¿Cuál es la probabilidad de que los
5 tiempos de reacción estén entre 2:4 y 2:5 horas?

2. Los siguientes valores provienen de un estudio sobre calidad del aire en

una ciudad; son las lecturas sobre el volumen de tránsito (en número de
automóviles por hora) y la concentración de monóxido de carbono, en
un punto de muestreo. SXX = 134283:33; SY Y = 38:2373; SXY =
2232:33
Vol 100 110 125 150 175 190 200 225
CO 8.8 9.0 9.5 10.0 10.5 10.5 10.5 10.6

Vol 250 275 300 325 350 375 400

CO 11.0 12.1 12.1 12.5 13.0 13.2 14.5

(a) Gra…que los puntos, ¿parece razonable el modelo de regresión li-

neal?
(b) Estime la ecuación de la recta y utilícela para dar una estimación
puntual de la concentración de monóxido de carbono, correspon-
diente a un volumen de tránsito de 180 automóviles por hora y
calcule el residuo correspondiente.

106
 (c) Estime la desviación estándar de observaciones alrededor de la
recta verdadera.
(d) ¿Qué porcentaje de la variación muestral en concentración de
monóxido de carbono puede atribuirse al modelo?

3. En un experimento para estudiar una técnica reactiva de pulverización,

se registraron los siguientes valores de rapidez de depósito (y) en función
del voltaje (x). SXX = 208000; SY Y = 132:012; SXY = 5216

x 400 600 800 800 1000

y 44:0 39:9 35:0 33:8 29:1

(a) Gra…que los puntos para ver si se pueden ajustar por un modelo
de regresión lineal
(b) Enuncie las hipótesis del modelo y estime los parámetros 0 y 1

(c) Construya una intervalo de con…anza para la pendiente ¿Es nece-

saria alguna hipótesis adicional al modelo planteado en (a)?

4. Los siguientes datos experimentales corresponden a la presión de gas

extraído (x en micrones) y el tiempo de extracción (y en minutos):
SXX = 176852:5; SY Y = 8:276; SXY = 1202:7
x 40 130 155 160 260 275 325 370 420 480
y 2.5 3.0 3.1 3.3 3.7 4.1 4.3 4.8 5.0 5.4

(a) Enuncie las hipótesis de un modelo lineal y estime la recta de

regresión:
(b) ¿Qué porcentaje de la variación muestral en los tiempos de ex-
tracción puede atribuirse al modelo de regresión?
(c) Suponga que los investigadores creían, antes del experimento que
la pendiente debía ser igual a 0:006. ¿Contradicen los datos a esta
a…rmación? Acote el p-valor.

5. Se realizó un experimento con el …n de estudiar el efecto de una nueva

droga en bajar la frecuencia cardiaca. La variable independiente es la
dosis (mg) de la droga y la dependiente es la diferencia de la frecuencia
cardiaca antes y después de la administración del medicamento (lati-
dos/min). Se puede suponer que para cada dosis, la distribución de la

107
 reducción de la frecuencia cardíaca es normal y la varianza es la misma
para cualquier dosis. Los siguientes datos son los valores observados en
13 ratas de laboratorio:SXX = 11:375; SY Y = 201:0769; SXY = 45

dosis 0.50 0.75 1.00 1.25 1.50 1.75 2.00

reduc 10 9 13 12 14 12 15

dosis 2.25 2.50 2.75 3.00 3.25 3.50

reduc 18 17 21 18 20 21

(a) Plantee el modelo correspondiente y estime los parámetros.

(b) ¿Puede a…rmarse que un cambio de 1 mg en la dosis produce un
cambio mayor que 3:5 en la frecuencia cardíaca? Acote el p-valor

6. Los siguientes datos provienen de un estudio realizado para hallar la

relación entre la presión aplicada (en kg=mm2 ) y el tiempo de fractura
(en hs) para cierto tipo de acero.

presión 2.5 5 10 15 17.5 20 25 30 35 40

tiempo 63 38 55 61 62 37 38 45 46 19

(a) Gra…que los puntos. Enuncie un modelo lineal y estime la recta

de regresión.
(b) ¿Qué porcentaje en la variación de los tiempos de ruptura puede
atribuirse a la relación lineal con la presión aplicada?
(c) ¿Puede a…rmarse que la pendiente es distinta de 1? Acote el
p-valor.

7. Para los datos del ejercicio 4

(a) Dar intervalos de con…anza, en los casos en que sea posible, de

nivel 0.90 para el tiempo medio de extracción correspondiente a
las presiones 20, 60, 200 y 540. Compare las longitudes de los
intervalos.
(b) Dar intervalos de predicción, cuando sea posible, para los tiempos
de extracción correspondientes a las mismas presiones. Compare
las longitudes de los intervalos y de cada uno de ellos con los
intervalos de con…anza anteriores.

108
8. Para los datos del ejercicio 5

(a) Estimar mediante un intervalo del 95%, la media de la disminución

de la frecuencia cardíaca para animales a los que se administra una
dosis de 2 mg; ¿y si se adminitra una dosis de 4 mg?
(b) Construya un intervalo del mismo nivel para predecir cuál será la
disminución en la freciuencia cardíaca en un animal al que se le
administra una dosis de 2 mg.

9. Considere los datos del ejercicio 6, si se va a hacer una nueva prueba

con una presión de 18 kg=mm2 ,

(a) Estime el tiempo medio de ruptura del acero mediante un intervalo

de con…anza
(b) Construya un intervalo para predecir el tiempo de ruptura de un
muestra de acero a la que se aplica esa presión.

109