Demostraciones, Algebra Lineal - MINIMOS CUADRADOS
Demostraciones, Algebra Lineal - MINIMOS CUADRADOS
Demostraciones, Algebra Lineal - MINIMOS CUADRADOS
𝑦 = 𝑋 ∗𝛽∗ + 𝑣
Demostración:
̂1 ∗ + 𝛽
𝑛𝛽 ̂2 ∗ ∑ 𝑋2𝑖 + 𝛽
̂3 ∗ ∑ 𝑋3𝑖 + ⋯ + 𝛽
̂𝑘 ∗ ∑ 𝑋𝑘𝑖 = ∑ 𝑦𝑖
̂1 ∗ ∑ 𝑋2𝑖 + 𝛽
𝛽 ̂2 ∗ ∑ 𝑋2𝑖
2 ̂3 ∗ ∑ 𝑋2𝑖 𝑋3𝑖 + … + 𝛽
+𝛽 ̂𝑘 ∗ ∑ 𝑋2𝑖 𝑋𝑘𝑖 = ∑ 𝑋2𝑖 𝑦𝑖
̂1 ∗ ∑ 𝑋3𝑖 + 𝛽
𝛽 ̂2 ∗ ∑ 𝑋3𝑖 𝑋2𝑖 + 𝛽
̂3 ∗ ∑ 𝑋3𝑖
2 ̂𝑘 ∗ ∑ 𝑋3𝑖 𝑋𝑘𝑖 = ∑ 𝑋3𝑖 𝑦𝑖
+…+ 𝛽
………………………………………………………….
̂1 ∗ ∑ 𝑋𝑘𝑖 + 𝛽
𝛽 ̂2 ∗ ∑ 𝑋𝑘𝑖 𝑋2𝑖 + 𝛽
̂3 ∗ ∑ 𝑋𝑘𝑖 𝑋3𝑖 + … + 𝛽
̂𝑘 ∗ ∑ 𝑘𝑋𝑖2 = ∑ 𝑋𝑘𝑖 𝑦𝑖
(𝑋 ′ 𝑋) × 𝛽̂ ∗ = 𝑋′ × 𝑦
𝛽
𝑦 = [𝑋1 𝑋2 ] [ 1 ] + 𝓔
𝛽2
1. PASO Se regresiona 𝑦 sobre 𝑋𝐵 y se calcula residuos
Ɛ̂𝑌 − 𝐴 = 𝑦 − 𝑋2 𝛽̂2
= 𝑦 − 𝑋2 (𝑋´2 𝑋2 )−1 𝑋´2 𝑦
2
(𝑥´𝑦) (𝑥´𝑦) 𝛽2 𝑥´𝑦
𝑟𝑥,𝑦 = . = = 𝑅2
(𝑥´𝑥) (𝑦´𝑦) 𝑦´𝑦
𝛽2 = (𝑥´𝑥)
Luego condiciones
𝑀𝑋2 𝑒𝑠 𝑜𝑟𝑡𝑜𝑔𝑜𝑛𝑎𝑙 𝑎 𝑋2 , 𝐼𝑑𝑒𝑚𝑝𝑜𝑡𝑒𝑛𝑡𝑒 𝑦 𝑠𝑖𝑚𝑒𝑡𝑟𝑖𝑐𝑎. 𝐴𝑑𝑒𝑚𝑎𝑠, 𝐼 − 𝑀𝑋2
𝑅𝑒𝑝𝑎𝑠𝑜 𝑋2 𝛽2 = 𝐼; 𝑀. 𝑋 = 0
= 𝑀𝑋2 𝑋1 𝛽1 + 𝑀𝑋2 𝑋
𝐴𝑦 = 𝐴𝑋𝛽̂ + 𝐴𝑒
Particionamos a la matriz 𝑋 en su primetra columna (columna de unos, 𝑖) y el resto de
sus variables explicativas en una matriz llamada 𝑋2, quedando:
𝛽̂
𝐴𝑦 = 𝐴[𝑖 𝑋2 ] [ 1 ] + 𝐴𝑒
𝛽̂2
̂𝟐 es un vector k-1 x 1 de estimadores de las pendientes del modelo. Dado que
Donde 𝜷
𝑨𝒆 = 𝒆 (pues el promedio de 𝒆 es igual a cero) y como 𝑨𝒊 = 𝟎, resulta:
̂𝟐 + 𝒄
𝑨𝒚 = 𝑨𝑿𝟐 𝜷 (4.30)
En ambos casos, el efecto de la adición de una variable se analiza en forma similar que
el
R-cuadrado ajustado, pues involucra el efecto de esta variable sobre la SCR y también
considerando el castigo por esta adición, que en estos casos se observa en la última
expresión de lado derecho. Se trata de encontrar la especificación que minimice estos
criterios lo cual es especialmente útil en modelos rezagos distribuidos, en donde una
variable explicativa aparece como múltiples rezagos temporales en la regresión y se
debe seleccionar cuantos rezagos incluir en el modelo.
DEMOSTRACIÓN DE LA DESCOMPOSICION DE LA SUMA DE
CUADRADOS
1
A= I-i(i´i)−1i´=I-𝑛 = ii´
Es idempotente:
I − i(i´i)−1 i´(I − i(i´i)−1 i´)
Multiplicamos usando la distributiva
I − i(i´i)−1 i´ − i(i´i)−1 i´+ i(i´i)−1 i´i(i´i)−1 i´
denotemos a i´i con la letra a entonces tenemos
= I − i(i´i)−1 i´ − i(i´i)−1 i´+ i(i´i)−1 a(a)−1 i´
Sabemos que una matriz por su inversa es la identidad
= I − i(i´i)−1 i´ − i(i´i)−1 i´+ i(i´i)−1 Ii´
= I − i(i´i)−1 i´