Link: OLE-Object-Data Standardní lineární regresní model Standardní (také klasický) lineární regresní (jednorovnicový) model je charakterizován těmito předpoklady o vlastnostech modelových veličin : 1. Centrovanost náhodných složek E e = 0 2. Diagonalita kovarianční matice náhodných složek : Cov ( e,e´ ) = s^2. I[T ] 2a) homoskedasticita ( diagonální matice se stopou Ts^2.) 2b) neautokorelovanost náhodných složek E ( e[t] . e [s] ) = d [ts]. s^2 3. Nekorelovanost náhodných složek s nezávisle proměnnými E( X´e) = 0 . 4. Plná hodnost matice vysvětlujících proměnných h ( X ) = k. Odhadová funkce obyčejné (prosté) metody nejmenších čtverců MNČ (OLS) v klasickém lineárním regresním modelu poskytuje odhad [OLS]b* regresních koeficientu b ve tvaru [OLS]b* = ( X´X )^-1 X´ y Věta 1 ( Gauss-Markovova ) . Odhad regresních koeficientů [OLS]b* pořízený obyčejnou ( prostou ) metodou nejmenších čtverců je nejlepším nestranným lineárním odhadem vektoru parametrů b Důkaz: rozdělíme na několik částí A. odhad [OLS]b* je nestranný ( pro libovolnou velikost vzorku T ) . ověření nestrannosti : E( b*) = E ( X´X)^-1 X´y = E ( X´X)^-1 X´(X b + e) = E (X´X)^-1 X´X b + E (X´X)^-1 X´e = = ( X´X )^-1 X´X E b + ( X´X )^-1 X´ E e = E b + E e = b y . Důsledek 1 : Nestranná odhadová funkce je vždy asymptoticky nestranná. Platí-li totiž E( ^(T) b*) = b pro každé konečné T, platí tentýž vztah i pro T (r) YEN. B. odhad b*[OLS] je konzistentní , tj. platí : plim b* = b T(r)YEN Vlastnost platí i pro případ, že matice X je stochastická matice. ověření konzistence : lze vyvodit z následujícího tvrzení : Tvrzení 1 : Jestliže odhadová funkce je asymptoticky nestranná a kovarianční matice této odhadové funkce konverguje při T (r) YEN k nulové matici, pak je tato odhadová funkce konzistentní. Důkaz vlastnosti B: a) asymptotická nestrannost OLS-odhadové funkce vyplývá z důsledku 1. b) konvergenci kovarianční matice OLS-odhadové funkce (její tvar viz dále ad D) k nulové matici ukážeme následovně : Dále ukážeme, že Cov (b*) = s[e]^2 ( X´X)^-1 . Definujme matici a její prvek označíme jako . Pro tento prvek platí [ ], přičemž tato rovnost platí pro všechna T. Všechny prvky této matice jsou tedy (v absolutní hodnotě) shora omezeny hodnotou x^2 = max x^2[ij] . Tedy, pro všechna T má matice P konečně velké prvky a je nesingulární. Zřejmě dále platí ( neboť platí ) a navíc matice má konečně velké prvky ( ) pro všechna . Platí tedy plim Cov ([OLS]b*) = plim s[e]^2 ( X´X)^-1 = s[e]^2 plim P^--1 / T = 0[K] , kde T(r)YEN T(r)YEN T(r)YEN 0[K ] je symetrická matice složená ze samých nul. C. odhad b* [OLS] je lineární ( vzhledem k vysvětlované proměnné y ), neboť je definován jako lineární forma pozorování závisle proměnné y : ověření linearity : lze psát b* = (X´X)^-1 X´y = C´y, kde matice C´ = (X´X)^-1 X´ představuje koeficienty lineární formy, jejíž proměnné tvoří složky vektoru y . Poznamenejme, že vždy platí C´X = (X´X)^-1 X´X = I[k] , kde I[k] je jednotková matice řádu k. D. kovarianční matice příslušná odhadové funkci b* = (X´X)^-1 X´y má následující tvar : . ( nestrannost b*) ověření : Cov (b*) = E { [ b*- E(b*)] [ b*- E(b*) ]' } = ...... = E { [ b*- b] [ b*- b] ` } = ( dosazení za y ) E{[(X´X)^-1X´y - b] [(X´X)^-1X´y - b]'} = E{[ (X´X)^-1X´(Xb+ e) - b].[ (X´X)^-1X´(Xb + e)- b]' } (X´X)^-1 X´X = I[T ] ( vyrušení b ) = E { b + (X´X)^-1X´e - b ].[ b + (X´X)^-1X´e - b ]' = E [ (X´X)^-1X´e ].[ (X´X)^-1X´e ] ' = (transpozice) (vytknutí nestoch..členů před E) Ee.e' = s[e]^2I[T ]= E [ (X´X)^-1 X` e e' X. (X´X)^-1 ] = ........... = (X´X)^-1 X` Ee.e' X.(X´X)^-1 = .......... = (vytknutí skaláru s[e]^2 ) (X´X)^-1 X´X = I[T ](X´X)^-1 X`s[e]^2 I[T] X.(X´X)^-1 = ........^ = s[e]^2 (X´X)^-1 X`X. (X´X)^-1 = s[e]^2 ( X´X)^-1 y . Odtud plyne důsledek : D1 směrodatné odchylky odhadnutých regresních parametrů s[b*] získáme jako [ ] , kde je j-tý diagonální prvek inverzní momentové matice je směrodatná odchylka náhodných složek (stejná u všech ). E. odhad b* je nejlepší ve smyslu minimální kovarianční matice Cov ( b*) , neboť pro kovarianční matici kterékoliv jiné (lineární) odhadové funkce b** platí : , kde je nějaká symetrická pozitivně semidefinitní matice řádu k (rozměrů k x k). ověření : Bez újmy na obecnosti můžeme matici D´ jiné lineární odhadové funkce vyjádřit ve tvaru Poznámka : Vzhledem k požadavku na nestrannost b** musí s ohledem na platnost vztahu D´X = (X´X)^-1 X´X + G´X = I[K] , vždy platit G´X = 0. ověření vydatnosti: [ matice D, X jsou nestochastické ] z čehož přímo plyne D´X = I[K ] Pro libovolnou jinou (lineární, nestrannou) odhadovou funkci tedy musí platit Cov( ) = E { [- E ]. [- E ]' } = E { [ D´y - b ] . [D´y - b ] ' } = = E { [ ( (X´X)^-1X´ + G´ ) y - b ] . { [ ( (X´X)^-1X´ + G´ ) y - b ] ' } = = E{ [ (X´X)^-1X´+G´) (Xb + e ) - b] . [ (X´X)^-1X´+ G´) (Xb + e) - b] ´ } = = E { [ (X´X)^-1X´Xb + (X´X)^-1X´e + G´e - b] . [ (X´X)^-1X´Xb + (X´X)^-1X´e + G´e - b] ´ } [ protože G´X = 0 ] [ protože G´X = 0 ] = E { [ b + (X´X)^-1X´e + G´e- b ] . [ b + (X´X)^-1X´e + G´e - b ] ´ } = = E { [ (X´X)^-1X´e + G´e] . [ (X´X)^-1X´e + G´e ] ´ } = = E { (X´X)^-1X´ee´ X(X´X)^-1 + G´ee´ G + (X´X)^-1X´ ee´ G + G´ee´ X (X´X)^-1 } = = (X´X)^-1X´ Eee´ X (X´X)^-1 + G´Eee´G + (X´X)^-1X´ Eee´ G + G´ Eee´ X (X´X)^-1 ] = [ protože X i G jsou nestochastické matice ] = (X´X)^-1X´s^2I[T] X (X´X)^-1 + G´s^2 I[T] G + (X´X)^-1X´s^2 I[T] G + G´s^2 I[T] X (X´X)^-1 ] = = s^2 (X´X)^-1 + s^2 G´G + s^2 (X´X)^-1X´G + s^2 G´X (X´X)^-1 = [ protože s^2 je skalární hodnota ] = s^2 (X´X)^-1 + s^2G´G = Cov( b*) +s^2 G´G, [ protože G´X = 0 a stejně X´G= 0 ] kde G´G je zřejmě pozitivně semidefinitní matice. y . F. Pro odhad rozptylu reziduí dostaneme : E ( e´e ) = E ( e´M. M e ) = E ( e´ M e ) = E tr ( e´ M e ) = E tr ( M e e´ ) = ( M je idempotentní matice ) (skalár je současně svou stopou) (tr A.B = tr B.A) = tr E ( M e e´ ) = tr ( M E e e´ ) = tr ( M s[e]^2 I[T] ) = s[e]^2 tr ( M ) = s[e]^2 (T- k) (záměna stopy a střední hodnoty) (M je nestochastická) (s^2 je skalární hodnota) protože tr ( M ) = tr ( I[T] - X (X´X)^-1 X´ ) = tr ( I[T] - X´X (X´X) ^-1 ) = tr ( I[T] - I [K]) = T- k . ( definice M ) ( platí tr A.B = tr B.A ) (stopa jednotkové matice je rovna její dimenzi) G. Z tvrzení F plyne, že nestranným odhadem rozptylu náhodných složek s[e]^2 T ^ je výraz , neboť zřejmě platí .