Download Report

El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Formulación matricial del modelo lineal general
Estimadores MCO, propiedades e inferencia usando matrices
Mariana Marchionni
[email protected]
Mariana Marchionni
Formulación matricial del modelo lineal general
1 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Temario de la clase
1
2
3
4
El modelo en notacion matricial
Estimadores MCO y propiedades algebraicas
Supuestos clásicos y propiedades estadísticas
Inferencia
Mariana Marchionni
Formulación matricial del modelo lineal general
2 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
El modelo lineal con
K
variables
Vimos el modelo
Y
i = β1 + β2 X2i + β3 X3i + · · · + βK XKi + ui , i = 1, ...n
Como vale para i = 1, ..., n, entonces podemos escribir:
Y1
Y2
= β1 + β2 X21 + β3 X31 + · · · + βK XK 1 + u1
= β1 + β2 X22 + β3 X32 + · · · + βK XK 2 + u2
..
.
n = β1 + β2 X2n + β3 X3n + · · · + βK XKn + un
Y
Sistema de n ecuaciones lineales. ¾Lineales en qué?
Todo sistema lineal puede ser expresado en matrices
Mariana Marchionni
Formulación matricial del modelo lineal general
3 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Formulación matricial del modelo
Notar que el modelo puede escribirse como:

Y1


 Y2  
 

 ..  = 
 .  
n
Y
Y
=
1
1
..
.
K1
X22
X32
XK 2
..
.. . .
..
.
.
.
.
1 X2n X3n · · · XKn
X21
···
···
X31
X
X
 
β1
  β2  
 
 
 ·  ..  + 
  .  
βK
 
β
+
u1

u2


.. 
. 
un
u
¾Qué dimensiones tiene cada matriz/vector?
Mariana Marchionni
Formulación matricial del modelo lineal general
4 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
La matriz y los vectores

Y
1
1
..
.

K1


X22
X32
XK 2


X = 
..
.. . .
.. 

.
.
.
. 
1 X2n X3n · · · XKn






Y1
β1
u1
 Y2 
 β2 
 u2 






= . 
u =  . 
β = . 
 .. 
 .. 
 .. 
Yn
βK
un
Las dimensiones:
X
X21
es (n × K ),
Mariana Marchionni
X31
Y
y
u
···
···
X
son (n × 1), y β es (K × 1).
Formulación matricial del modelo lineal general
5 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Entonces, el modelo
Y
i = β1 + β2 X2i + β3 X3i + · · · + βK XKi + ui , i = 1, ...n
Puede escribirse como
Y
= Xβ +u
Este es el modelo lineal general (K variables) expresado en
notación matricial
Ventaja: nos permitirá trabajar expresiones sin el uso de
sumatorias
Desventaja: trabajar con álgebra matricial
Mariana Marchionni
Formulación matricial del modelo lineal general
6 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Digresión: deniciones y resultados de álgebra matricial
1
2
3
4
5
Rango de una matriz.
Número máximo de las y/o columnas linealmente
independientes (li): ρ(X )
Máximo nro. de columnas li = máximo nro. de las li
Matriz no singular:
Una matriz cuadrada A(K ×K ) es no singular, sii |A| 6= 0
⇒ existe una única matriz no singular A−1 , a la que llamamos
inversa de A, tal que AA−1 = A−1 A = IK
ρ(A) = K =⇒ |A| 6= 0
Sea una matriz A(K ×K ) . Entonces:
ρ(A) < K =⇒ |A| = 0
Sea una matriz X(n×K ) con ρ(X ) = K (rango columna
completo). Se cumple que ρ(X ) = ρ(X 0 X ) = K
Mariana Marchionni
Formulación matricial del modelo lineal general
7 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾Qué es
X 0X
Supongamos

X =
1
1
1
en nuestro modelo?
n
=3 y
K
= 2:
X21
3
X22  ⇒ X 0 X =
X21 + X22 + X23
X23

Generalizando para cualquier

X 0X



=


n
∑ X2
∑ X3
i
i
.
.
.
∑ XKi
n
X21 + X22 + X23
2 +X2 +X2
X21
22
23
y K:
∑ X2i
∑ X22i
∑ X2i X3i
.
.
.
∑ X2i XKi
Mariana Marchionni
∑ X3i
∑ X2i X3i
∑ X32i
.
.
.
∑ X3i XKi
···
···
···
..
.
···
∑ XKi
∑ X2i XKi
∑ X3i XKi
.
.
.
2
∑ XKi







Formulación matricial del modelo lineal general
8 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾Qué es
X 0X
Supongamos

X =
1
1
1
en nuestro modelo?
n
=3 y
K
= 2:
X21
3
X22  ⇒ X 0 X =
X21 + X22 + X23
X23

Generalizando para cualquier

X 0X



=


n
∑ X2
∑ X3
i
i
.
.
.
∑ XKi
n
X21 + X22 + X23
2 +X2 +X2
X21
22
23
y K:
∑ X2i
∑ X22i
∑ X2i X3i
.
.
.
∑ X2i XKi
Mariana Marchionni
∑ X3i
∑ X2i X3i
∑ X32i
.
.
.
∑ X3i XKi
···
···
···
..
.
···
∑ XKi
∑ X2i XKi
∑ X3i XKi
.
.
.
2
∑ XKi







Formulación matricial del modelo lineal general
8 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾Qué se requiere para que ρ(X ) = K ?

1

1

.
.
.
X =

1
X21 X31 · · · X
X22 X32 · · · X
.
.
.
X2
.
.
.
n
..
X3
n
.
···
K
1

K
2




X
.
.
.
Kn
Vimos que ρ(X ) = ρ(X 0 X ) (resultado 5)
ρ(X ) = K ⇒ ρ(X 0 X ) = K ⇒ ∃ (X 0 X )−1
Esto es muy importante, ya veremos...
Mariana Marchionni
Formulación matricial del modelo lineal general
9 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾Qué se requiere para que ρ(X ) = K ?

1

1

.
.
.
X =

1
X21 X31 · · · X
X22 X32 · · · X
.
.
.
X2
.
.
.
n
..
X3
n
.
···
K
1

K
2




X
.
.
.
Kn
Vimos que ρ(X ) = ρ(X 0 X ) (resultado 5)
ρ(X ) = K ⇒ ρ(X 0 X ) = K ⇒ ∃ (X 0 X )−1
Esto es muy importante, ya veremos...
Mariana Marchionni
Formulación matricial del modelo lineal general
9 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Digresión: derivando con matrices
Resultado 1: sean a y b dos vectores (K × 1), entonces:
∂ (b 0 a)
∂b = a
Resultado 2: sea A una matriz simétrica (K × K ) y b un
vector (K × 1), entonces:
∂ (b 0 Ab )
∂b
Mariana Marchionni
= 2Ab
Formulación matricial del modelo lineal general 10 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Chequeamos resultado 1:
Supongamos
K
Notar que
⇒
∂ (b 0 a)
∂b
= 2: a =
0
b a
a1
a2
∂ (b 0 a )
∂b
=a
b1
b2
es un escalar!
y b=
= b1 a1 + b2 a2
es un escalar derivado por un vector. ¾Y eso?
Derivar por un vector (K × 1) es derivar por cada uno de los K
elementos del vector. Luego, las K derivadas se apilan en un
nuevo vector (vector de derivadas).
Derivamos:
∂ (b 0 a )
=
∂b
"
es el vector de derivadas!
∂ (b 0 a)
∂ b1
∂ (b 0 a)
∂ b2
Mariana Marchionni
#
=
a1
a2
=a
Formulación matricial del modelo lineal general 11 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Chequeamos resultado 2:
Supongamos otra vez
K
∂ (b 0 Ab )
∂b
= 2: b =
= 2Ab
b1
b2
y A=
A11 A12
A12 A22
Notar que b0 Ab = b12 A11 + b22 A22 + 2b1 b2 A12 es una función
cuadrática en b (y es un escalar)
Entonces, ¾qué es
Derivamos:
∂ (b0 Ab)
=
∂b
"
∂ (b 0 Ab )
∂b ?
∂ (b 0 Ab )
∂ b1
∂ (b 0 Ab )
∂ b2
#
=
Mariana Marchionni
2b1 A11 + 2b2 A12
2b2 A22 + 2b1 A12
= 2Ab
Formulación matricial del modelo lineal general 12 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
MCO en matrices
La formulación matricial del modelo lineal general: Y = X β + u
Sea βˆ el vector que apila los estimadores del vector de
parámetros
 ˆ
β1
 βˆ2

βˆ =  .
 ..
βˆK
Deniciones
1 Vector de estimaciones de
Ŷ
2
Y
≡ X βˆ





(n × 1):
Vector de residuos o errores de estimación (n × 1):
e
≡ Y − Ŷ = Y − X βˆ
Mariana Marchionni
Formulación matricial del modelo lineal general 13 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Recordemos la función de pérdida del método de MCO:

SRC
n 2 ≡ ∑ ei =
i =1
e1
e2
···
e1



 e2 

. 
n
 .. 
e
n
e
Es decir, la suma de residuos cuadráticos se puede reescribir
como:
SRC
≡
0
e e
Recordando que e ≡ Y − X βˆ es fácil ver que SRC es una
función de βˆ :
SRC
(βˆ ) ≡ (Y − X βˆ )0 (Y − X βˆ )
Mariana Marchionni
Formulación matricial del modelo lineal general 14 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
El problema de MCO:
Min SRC (βˆ ) ≡ e 0 e = (Y − X βˆ )0 (Y − X βˆ )
βˆ
Notar que la función a minimizar es escalar (1 × 1)
Hay que derivar un escalar respecto del vector βˆ
Las CPO igualan el vector de derivadas al vector cero:
∂ SRC (βˆ )
=0
∂ βˆ
Sistema de
K
ecuaciones con
Mariana Marchionni
K
incógnitas
Formulación matricial del modelo lineal general 15 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Obtención de los estimadores MCO
0
e e
=
Y
− Ŷ
0 Y
− Ŷ =
Y
− X βˆ
0 Y
− X βˆ
= Y 0 Y − Y 0 X βˆ − βˆ0 X 0 Y + βˆ0 X 0 X βˆ
= Y 0 Y − 2βˆ0 X 0 Y + βˆ0 X 0 X βˆ
El último paso requiere notar que los términos 2do y 3ro son
escalares iguales
Ahora hay que derivar respecto del vector βˆ
0
Notar que el 2do término es de la forma b a (recordar
resultado 1)
Notar que el 3er término es de la forma
b0 Ab
(recordar
resultado 2)
Mariana Marchionni
Formulación matricial del modelo lineal general 16 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
La función a minimizar:
0
e e
= Y 0 Y − 2βˆ0 X 0 Y + βˆ0 X 0 X βˆ
Las CPO:
∂ e 0e
= 0 − 2X 0 Y + 2X 0 X βˆ = 0 ⇒ X 0 X βˆ = X 0 Y
ˆ
∂β
Si existe (X 0 X )−1 , entonces:
βˆ = (X 0 X )−1 X 0 Y
βˆ es el vector de estimadores MCO
Mariana Marchionni
Formulación matricial del modelo lineal general 17 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾De qué depende que exista (X 0 X )−1 ?
Vimos antes que si X es (n × K ) con ρ(X ) = K (rango
columna completo), entonces ρ (X ) = ρ (X 0 X ) = K
Entonces:
−1
ρ X 0 X = K ⇒ |X 0 X | 6= 0 ⇒ ∃ X 0 X
El supuesto de no multicolinealidad perfecta justamente dice
que ρ (X ) = K
La ausencia de multicolinealidad perfecta es necesaria para que
exista el vector de estimadores MCO
Mariana Marchionni
Formulación matricial del modelo lineal general 18 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Propiedades algebraicas en notación matricial
Propiedad 1: los estimadores de MCO son lineales, es decir tienen
la forma
βˆ = AY
donde A es una matriz (K × n) con elementos
aleatorios).
no estocásticos
(no
Prueba:
Los estimadores MCO son βˆ = (X 0 X )−1 X 0 Y
Si llamamos A a la matriz (X 0 X )−1 X 0 (de dimensión K × n), βˆ
queda escrito en la forma lineal
Mariana Marchionni
Formulación matricial del modelo lineal general 19 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Propiedad 2: X 0 e = 0
Puede obtenerse a partir de la CPO: X 0 X βˆ = X 0 Y
Implica 2 resultados que ya vimos antes:
n
∑ ei = 0
1
i
=1
n
∑ Xki ei = 0 k = 2, ...K
2
i
=1
¾Intuición?
Mariana Marchionni
Formulación matricial del modelo lineal general 20 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Propiedad 3: similar a la propiedad anterior:
0
Ŷ e
=0
Propiedad 4: el punto (X̄ , Ȳ ) pertenece al hiperplano estimado por
MCO:
Ȳ
Mariana Marchionni
= X̄ βˆ
Formulación matricial del modelo lineal general 21 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Bondad del ajuste usando notación matricial
La descomposición de la suma de cuadrados es
N
∑ (Yi − Ȳ )2 =
N
∑ (Ŷi − Ȳ )2 +
N
∑ ei2
i =1
0
2
Y Y − n Ȳ
| {z }
=
i =1
0
2
Ŷ Ŷ − n Ȳ
| {z }
+
i =1
0
e e
|{z}
STC
=
SEC
+
SRC
Entonces, la bondad del ajuste puede escribirse como:
R
2
0
=
Ŷ Ŷ
0
Y Y
Ver
R
2
0
− nȲ 2
e e
=
1
−
0
2
− nȲ 2
Y Y − n Ȳ
ajustado
Mariana Marchionni
Formulación matricial del modelo lineal general 22 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Supuestos clásicos en notación matricial
Modelo lineal:
Y
= Xβ +u
Supuestos clásicos:
1 E (u ) = 0
2 V (u ) = σ 2 I
3 X es una matriz (n × K ) no estocástica (no aleatoria) con
ρ(X ) = K (rango columna completo)
n
Mariana Marchionni
Formulación matricial del modelo lineal general 23 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Esperanza de
u
Recordemos que u es un vector aleatorio
E (u ) es el vector de las esperanzas



u = 


( )
 E (u2 ) 

u2



..  =⇒ E (u ) =  .. 


. 
.
E (un )
un
u1


E u1
El supuesto 1 establece que el vector de esperanzas es igual al
vector nulo, es decir:
( i ) = 0 para i = 1, ...n
E u
Mariana Marchionni
Formulación matricial del modelo lineal general 24 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Matriz de varianzas y covarianzas de
u
La matriz de varianzas y covarianzas de un vector aleatorio
se dene como:
u
( ) = E [(u − E (u ))(u − E (u ))0 ]
V u

[ ]
 Cov [u2 , u1 ]

= 
..

.
Cov [un , u1 ]
V u1

[ , n]

Cov [u2 , un ]


..
.
..
.

.
.
.
Cov [un , u2 ]
···
V [un ]
[ , ] ···
V [u2 ]
···
Cov u1 u2
Cov u1 u
Notar que V [u ] es una matriz n × n y simétrica
¾Qué signica entonces suponer que V (u ) = σ 2 In ?
Notar: V (u ) = E (uu 0 )
Mariana Marchionni
Formulación matricial del modelo lineal general 25 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Propiedades estadísticas de los estimadores MCO
βˆ es un vector que contiene
variables aleatorias
¾Qué propiedades conocían en el caso de MCO con 2
variables? ¾De qué dependían?
Vamos a demostrar esas mismas propiedades usando notación
matricial
Mariana Marchionni
K
Formulación matricial del modelo lineal general 26 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Insesgadez de βˆ
βˆ
E
=
=
=
=
(X 0 X )−1 X 0 Y
(X 0 X )−1 X 0 (X β + u )
(X 0 X )−1 X 0 X β + (X 0 X )−1 X 0 u
β + (X 0 X )−1 X 0 u
(∗)
[βˆ] = β + (X 0 X )−1 X 0 E [u ]
= β
Mariana Marchionni
Formulación matricial del modelo lineal general 27 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Varianza de βˆ
Mostraremos que
V
V
(βˆ ) = σ 2 (X 0 X )−1
[βˆ] =
=
=
=
=
=
=
=
[(βˆ − E (βˆ )) (βˆ − E (βˆ ))0 ]
0
ˆ
ˆ
E [(β − β ) (β − β ) ]
0
−
1
0
0
−1 X 0 u )0 ]
E [(X X )
X u ((X X )
0
−1 X 0 uu 0 X (X 0 X )−1 ]
E [(X X )
0
−
1
(X X ) X 0 E [uu 0 ] X (X 0 X )−1
(X 0 X )−1 X 0 σ 2 In X (X 0 X )−1
σ 2 (X 0 X )−1 X 0 X (X 0 X )−1
σ 2 (X 0 X )−1
E
Es importante saber qué supuestos fueron utilizados para
obtener esta expresión.
Mariana Marchionni
Formulación matricial del modelo lineal general 28 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
¾Qué dimensión tiene
V
[βˆ1 ]
 Cov [βˆ1 , βˆ2 ]
ˆ = 
V [β ]

..

.
ˆ
ˆ
Cov [β1 , βK ]

V
(βˆ ) = σ 2 (X 0 X )−1 ?
[βˆ1 , βˆ2 ]
ˆ
V [β2 ]

[βˆ1 , βˆK ]
ˆ ˆ 
Cov [β2 , βK ] 

..
..
..

.
.
.
ˆ ˆ
ˆ
Cov [β2 , βK ]
···
V [βK ]
···
···
Cov
Cov
Notar:
V [βˆ ] = σ 2 A , k = 1, ...K ,
es el elemento en la la k y columna k de la matriz
cada elemento de la diagonal es
A
donde
kk
(X 0 X )−1
k
kk
cada elemento fuera de la diagonal es
Cov [βˆ , βˆ ] = σ 2 A , j 6= k , donde A
j y columna k de la matriz (X 0 X )−1
j
k
jk
Mariana Marchionni
jk
es el elemento en la la
Formulación matricial del modelo lineal general 29 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
V (βˆ) en la práctica
V
(βˆ ) depende de σ 2 , un valor desconocido.
En su lugar usaremos un estimador insesgado:
S
2
n
0
= n−1K Σ ei2 = ne−eK
i =1
Luego, el estimador de la matriz de varianzas y covarianzas es:
V̂
(βˆ ) = S 2 (X 0 X )−1
Mariana Marchionni
Formulación matricial del modelo lineal general 30 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Teorema de Gauss-Markov
Bajo todos los supuestos clásicos, el estimador de MCO es el más
eciente de todos los estimadores lineales e insesgados (MELI).
Además: sea c un vector de K constantes arbitrarias, c 0 βˆ es el
mejor estimador lineal e insesgado de c 0 β .
Es decir, la combinación lineal de los estimadores MCO es MELI
para estimar la combinación lineal de los parámetros.
Al aplicar el TGM para comparar un estimador con βˆ ,
recuerden los requisitos:
1
Modelo lineal
2
Se deben cumplir los supuestos clásicos (cond. nec. y suf.)
3
El estimador a comparar debe ser lineal e insesgado para
Mariana Marchionni
β
Formulación matricial del modelo lineal general 31 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Ver demostración del TGM en apéndice
Mariana Marchionni
Formulación matricial del modelo lineal general 32 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Inferencia en el modelo lineal general
Supuesto adicional: normalidad
u
∼ N (0, σ 2 In )
Resultado: βˆ tiene distribución normal multivariada
βˆ ∼ N (β , σ 2 (X 0 X )−1 )
¾Por qué?
Mariana Marchionni
Formulación matricial del modelo lineal general 33 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Test de hipótesis simples
En forma general, consideremos una prueba con la siguiente
hipótesis nula:
H0 : c 0 β − r = 0
c
es algún vector de
K
constantes y
H0 :
r
es algún escalar. Es decir:
K
j
Σ cj βj − r = 0
=1
c y r , podemos considerar distintos casos
H0 :
β =0
Signicatividad individual: H0 :
β =r
Valores particulares: H0 :
β =β
Igualdad de dos coecientes: H0 :
Dependiendo de
particulares para
1
2
3
4
j
j
j
h
Otros: sumas y diferencias de coecientes, etc.
Mariana Marchionni
Formulación matricial del modelo lineal general 34 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Dado que βˆ ∼ N β , V (βˆ ) , entonces:
c
0β
ˆ−r
∼N
( 0 βˆ − r ), V (c 0 βˆ − r )
E c
Calculemos la esperanza y la varianza de esta combinación
lineal:
E
V
h
c
h
c
0β
ˆ−r
i
=
0β
ˆ−r
i
=
c
V
h
c
0β
ˆ
0β
i
−r
= c 0 V [βˆ ]c
Luego:
c
0β
ˆ−r
∼N
c
0β
Mariana Marchionni
− r , σ 2 c 0 (X 0 X )−1 c
Formulación matricial del modelo lineal general 35 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Bajo la
H0
:
c
0β
− r el estadístico de prueba es:
c 0 βˆ−r ∼ N (0, 1)
V [c 0 βˆ−r ]
q
Por lo tanto, se pueden utilizar los criterios usuales: valores
críticos y/o p-valor.
En la práctica, se usa S 2 en lugar de σ 2 , entonces:
V̂
h
c
0β
ˆ−r
i
h i
= c 0 V̂ βˆ c = S 2 c 0 (X 0 X )−1 c
Luego,
c 0 βˆ−r ∼ T
n−K
V̂ [c 0 βˆ−r ]
q
Mariana Marchionni
Formulación matricial del modelo lineal general 36 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Signicatividad global (Test F)
En el modelo de
K
variables,
i = β1 + β2 X2i + ... + βK XKi + ui
Y
Consideremos las siguientes hipótesis:
H0
H1
: β2 = 0 ∧ β3 = 0 ∧ ... ∧ βK = 0
: β2 =
6 0 ∨ β3 6= 0 ∨ ... ∨ βK 6= 0
Para este caso, el estadístico es:
F
SCE /(K −1) ∼ F
= SRC
(K −1,n−K )
/(n−K )
¾Qué valores esperarían para
Mariana Marchionni
F
si la
H0
fuese verdadera?
Formulación matricial del modelo lineal general 37 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Signicatividad de un grupo de variables
En el modelo de
K
variables,
i = β1 + β2 X2i + ... + βK XKi + ui
Y
Consideremos las siguientes hipótesis:
: β2 = 0 ∧ β3 = 0
H1 :
β2 =
6 0 ∨ β3 6= 0
H0
¾Cuál es la diferencia con el caso anterior?
Pensemos que estamos contrastando dos modelos:
1 Modelo irrestricto : contiene a las K variables explicativas.
2 Modelo restricto : considera como verdadera a la H0 .
Mariana Marchionni
Formulación matricial del modelo lineal general 38 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Si la
1
2
contiene q restricciones de signicativad, llamemos:
SRC a la SRC del modelo con K variables.
SRC a la SRC del modelo que excluye las q variables
consideradas en la H0 .
H0
I
R
El estadístico de prueba para contrastar
F
Si la
H0
H0
es:
−SRC )/q
= (SRC
SRC /(n−K ) ∼ F(q,n−K )
R
I
I
fuese verdadera, ¾qué valores esperarían para F ?
Mariana Marchionni
Formulación matricial del modelo lineal general 39 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Ejemplo: materias aprobadas y horas de estudio
Muestra: 1961 estudiantes de la carrera Contador Público de la
UBA encuestados en 1994.
Referencia: Sosa Escudero, Giovagnoli y Porto (2007) The Eects
of Individual Characteristics on the Distribution of College
Performances .
Mariana Marchionni
Formulación matricial del modelo lineal general 40 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Estimación MCO
Mariana Marchionni
Formulación matricial del modelo lineal general 41 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Ni la edad ni el género son individualmente signicativas para
explicar a la performance académica (valor-p mayores a 0.10).
Un año adicional en educación de los padres aumenta un 2 %
la cantidad promedio de materias aprobadas, ceteris paribus.
Dado todo lo demás constante, la relación entre el total de
materias aprobadas y las horas de estudio es no lineal (la
variable horas2 es estadísticamente signicativa al 1 %).
¾Cómo evaluarian la hipótesis de que las horas de estudio no
afectan a el total de materias aprobadas?.
Mariana Marchionni
Formulación matricial del modelo lineal general 42 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Si escribimos el modelo de la siguiente manera:
i=
ltotmat
β1 + β2 horasi + β3 horasi2 + β4 edadi + · · ·
· · · + β5 hombrei + β6 educmpi + ui
Podemos utilizar el test de signicatividad para un grupo de
variables:
H0 :
β2 = 0 ∧ β3 = 0
H1 :
β2 6= 0 ∨ β3 6= 0
En Stata:
Mariana Marchionni
Formulación matricial del modelo lineal general 43 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Apéndice: demostración del teorema de Gauss-Markov
(TGM)
El enunciado del teorema formalmente
si βˆ es el vector de estimadores MCO del vector de parámetros β y
β˜ es cualquier otro vector de estimadores lineales e insesgados de
β , entonces bajo los supuestos clásicos V (β˜ ) − V (βˆ ) es una matriz
semidenida positiva
Mariana Marchionni
Formulación matricial del modelo lineal general 44 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Denición: matriz semidenida positiva
Sea H una matriz K × K y sea c cualquier vector de
Se dice que H es semidenida positiva si y sólo si:
0
c Hc
K
constantes.
≥ 0 ∀c ∈ RK
Resultado: varianza de una combinación lineal
Sea βˆ el vector de K estimadores MCO (variables aleatorias) y sea
c cualquier vector de K constantes
[ 0 βˆ ] = c 0 V [βˆ ]c ∀c ∈ RK
V c
Mariana Marchionni
Formulación matricial del modelo lineal general 45 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Denición: matriz semidenida positiva
Sea H una matriz K × K y sea c cualquier vector de
Se dice que H es semidenida positiva si y sólo si:
0
c Hc
K
constantes.
≥ 0 ∀c ∈ RK
Resultado: varianza de una combinación lineal
Sea βˆ el vector de K estimadores MCO (variables aleatorias) y sea
c cualquier vector de K constantes
[ 0 βˆ ] = c 0 V [βˆ ]c ∀c ∈ RK
V c
Mariana Marchionni
Formulación matricial del modelo lineal general 45 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Supongamos el modelo lineal, donde u cumple con todos los
supuestos clásicos.
Consideremos a un estimador β˜ que cumpla con:
1
2
Lineal: existe
Insesgado:
A no estcoástica de n × K
E (β˜ ) = β
tal que
β˜ = AY .
En este contexto, el requisito de linealidad hace que:
E
(β˜ ) = AX β
¾Qué requisito debe cumplir
también sea insesgado?
Mariana Marchionni
A
para que β˜ además de lineal
Formulación matricial del modelo lineal general 46 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Falta demostrar que
Denamos a
V
(β˜ ) − V (βˆ ) es semidenida positiva.
γ̂ = β˜ − βˆ
o trivialmente:
β˜ = βˆ + γ̂
Noten que:
V
(β˜ ) = V (βˆ ) + V (γ̂) + 2COV (βˆ , γ̂)
Importante: si mostramos que
teorema (¾por que?).
Mariana Marchionni
COV
(βˆ , γ̂) = 0 probaremos el
Formulación matricial del modelo lineal general 47 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Computemos la covarianza:
h
i
0
ˆ
ˆ
E (β − E (β ))(γ̂ − E (γ̂))
h
i
0
ˆ
=
E (β − β )γ̂
ˆ
COV (β , γ̂)
=
[¾por qué?]
Noten que:
0 )−1 X 0 Y
γ̂ =
AY − (X0 X −
1X 0 Y
= A − (X X )
= A − (X 0 X )−1 X 0 (X β + u )
0
−1 X 0 u
=
A − (X X )
Mariana Marchionni
Formulación matricial del modelo lineal general 48 / 49
El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
Recordando que βˆ − β = (X 0 X )X 0 u , la covarianza queda:
COV
(βˆ , γ̂) =
E
h
i
(βˆ − β )γ̂ 0
0 −1 0 0
0
−1 0 0
=
E (X X )
0 −1X 0uu 0(A 0− (X X )0 X−1) =
E (X X )
X uu (A − X (X X )
)
0
0
−
1
0
0
0
−
1
=
(X X ) X E (uu ) A − X (X X )
= σ 2 (X 0 X )−1 X 0 A0 − (X 0 X )−1 X 0 X (X 0 X )−1
=
0
Por lo tanto, V (β˜ ) − V (βˆ ) = V (γ̂), que por denición es
semidenida positiva.
Mariana Marchionni
Formulación matricial del modelo lineal general 49 / 49