Standardní lineární regresní model

Standardní (také klasický) lineární regresní (jednorovnicový) model je charakterizován těmito předpoklady o vlastnostech modelových veličin :

1.	Centrovanost náhodných složek                                                      E  = 0
2.	Diagonalita kovarianční matice náhodných složek :         Cov ( ,´ )  =  2. IT
       2a)  homoskedasticita                               ( diagonální matice se stopou T2.)
       2b)  neautokorelovanost náhodných složek                      E ( t .  s )  =  ts. 2
3.	Nekorelovanost náhodných složek s nezávisle proměnnými    E( X´) = 0 .
4.	Plná hodnost matice vysvětlujících proměnných                         h ( X ) = k. 

Odhadová funkce obyčejné (prosté) metody nejmenších čtverců MNČ (OLS)
 v klasickém lineárním regresním modelu

                  poskytuje odhad  OLS* regresních koeficientù   ve tvaru       

                                                  OLS* = ( X´X )-1 X´ y

Věta 1 ( Gauss-Markovova ) . Odhad regresních koeficientů OLS* pořízený obyčejnou ( prostou ) metodou nejmenších čtverců je nejlepším nestranným lineárním odhadem vektoru parametrů  

Důkaz:  rozdělíme na několik částí 

A.  odhad OLS* je nestranný   ( pro  libovolnou  velikost  vzorku T ) .

ověření nestrannosti : 

E( *) =  E ( X´X)-1 X´y = E  ( X´X)-1 X´(X  + ) = E (X´X)-1 X´X  + E (X´X)-1 X´  =  
           =   ( X´X )-1 X´X E  +  ( X´X )-1 X´ E  = E  + E  =                                 .

Důsledek 1 :  Nestranná odhadová funkce je vždy asymptoticky nestranná.
Platí-li totiž  E( (T) *) =  pro každé konečné T, platí tentýž vztah i pro T  .    

B.  odhad *OLS  je konzistentní ,  tj. platí  :   plim * =  
                                                                                        T        

Vlastnost  platí  i pro případ, že matice X je stochastická matice.

ověření konzistence :  lze vyvodit z následujícího tvrzení :

Tvrzení 1 : Jestliže odhadová funkce je asymptoticky nestranná a kovarianční matice této odhadové funkce konverguje při T   k nulové matici, pak je tato odhadová funkce konzistentní.

Důkaz  vlastnosti B:

a)  asymptotická nestrannost OLS-odhadové funkce vyplývá z důsledku 1.
b)  konvergenci kovarianční matice OLS-odhadové funkce (její tvar viz dále ad D)
     k nulové matici ukážeme následovně :
Dále ukážeme, že Cov (*) = 2 ( X´X)-1 . Definujme matici  a její    prvek označíme jako . Pro tento prvek platí
                   ,  přičemž tato rovnost platí pro všechna T.
Všechny prvky této matice jsou tedy (v absolutní hodnotě) shora omezeny hodnotou  2 = max   2ij . Tedy, pro všechna T má matice P konečně velké prvky a je nesingulární.  Zřejmě dále platí 
                                               ( neboť platí  )
a navíc matice  má konečně velké prvky (  ) pro všechna .  Platí tedy
            plim Cov (OLS*) = plim  2 ( X´X)-1 = 2 plim P–1 / T = 0K  , kde 
              T                             T                                    T

            0K  je symetrická matice složená ze samých nul.

C.  odhad * OLS  je lineární ( vzhledem k vysvětlované proměnné  y ), 

      neboť je definován jako lineární forma pozorování závisle proměnné y  : 
ověření linearity : lze psát  * = (X´X)-1 X´y = C´y,  kde matice C´ = (X´X)-1 X´  
    představuje  koeficienty lineární  formy,  jejíž proměnné tvoří složky vektoru y .

    Poznamenejme, že vždy platí C´X = (X´X)-1 X´X = Ik , kde Ik je jednotková matice řádu k. 

D. kovarianční matice  příslušná odhadové funkci  * = (X´X)-1 X´y  má následující tvar :
                                             .
                                                                                                                    ( nestrannost *)
ověření :  Cov (*) = E { [ *- E(*)] [ *- E(*) ]’ } =  …… = E { [ *- ] [ *- ] ‘ }  =

                                                                        ( dosazení za y )
E{[(X´X)-1X´y - ] [(X´X)-1X´y - ]’} = E{[ (X´X)-1X´(X+ ) - ].[ (X´X)-1X´(X + )- ]’ }

(X´X)-1 X´X = IT                                                                                          ( vyrušení  )
= E {  + (X´X)-1X´ -   ].[  + (X´X)-1X´ -  ]’  =  E  [ (X´X)-1X´ ].[ (X´X)-1X´ ] ’ =

(transpozice)                                          (vytknutí nestoch..členů před E)                                                      E.’ =  2IT
= E [ (X´X)-1 X‘  ’ X. (X´X)-1 ] = ……….. = (X´X)-1 X‘ E.’ X.(X´X)-1  =  ……….  = 

                                                   (vytknutí skaláru 2 )                                           (X´X)-1 X´X = IT
(X´X)-1 X‘2 IT X.(X´X)-1  = ….….  = 2 (X´X)-1 X‘X. (X´X)-1   =  2 ( X´X)-1               .

Odtud plyne důsledek :
D1  směrodatné odchylky  odhadnutých  regresních parametrů  s*  získáme jako
                                                                                                                           , kde 
  je j-tý diagonální prvek inverzní momentové matice  
    je směrodatná odchylka náhodných složek (stejná u všech ).
E. odhad * je nejlepší ve smyslu minimální kovarianční matice Cov ( *) ,  neboť
     pro kovarianční  matici  kterékoliv jiné (lineární) odhadové funkce ** platí :
                                                ,
kde   je nějaká symetrická pozitivně semidefinitní matice řádu  k  (rozměrů k x k).
ověření :    Bez újmy na obecnosti můžeme matici D´ jiné lineární odhadové funkce 
                           vyjádřit ve tvaru                  
Poznámka :    Vzhledem k požadavku na nestrannost  ** musí  s ohledem na 
                      platnost vztahu  D´X = (X´X)-1 X´X + G´X = IK ,   vždy platit G´X = 0. 
ověření vydatnosti:

                                                                                                                [ matice D, X jsou nestochastické ] 
        z čehož přímo  plyne D´X = IK

Pro libovolnou jinou (lineární, nestrannou) odhadovou funkci tedy musí platit 
    Cov(  ) = E { [-  E ]. [- E ]’ } = E {  [ D´y -  ] . [D´y -  ] ’ }  =

                     = E { [ ( (X´X)-1X´ + G´ ) y  -  ] . { [ ( (X´X)-1X´ + G´ ) y -  ] ’ }   =

                     = E{ [ (X´X)-1X´+G´) (X +  ) - ] . [ (X´X)-1X´+ G´) (X + ) - ] ´ }  =

= E { [ (X´X)-1X´X + (X´X)-1X´ + G´ - ] . [ (X´X)-1X´X + (X´X)-1X´ + G´ - ] ´ }
                            [  protože   G´X = 0 ]                                                                         [  protože   G´X = 0 ]

            = E { [  + (X´X)-1X´ + G´-  ] . [  + (X´X)-1X´ + G´ -  ] ´ }  =

                            = E { [ (X´X)-1X´ + G´] . [ (X´X)-1X´ + G´ ] ´ } =

             = E { (X´X)-1X´´ X(X´X)-1 + G´´ G + (X´X)-1X´ ´ G + G´´ X (X´X)-1 }  =

       = (X´X)-1X´ E´ X (X´X)-1 + G´E´G + (X´X)-1X´ E´ G + G´ E´ X (X´X)-1 ]  =
                                                                    [ protože X i G jsou nestochastické matice ]
       = (X´X)-1X´2IT X (X´X)-1 + G´2 IT G + (X´X)-1X´2 IT G + G´2 IT X (X´X)-1 ]  =

                             = 2 (X´X)-1 +  2 G´G + 2 (X´X)-1X´G + 2 G´X (X´X)-1 =
                                                                                [ protože 2 je skalární hodnota ]

                                       = 2 (X´X)-1 + 2G´G                 =   Cov( *) +2 G´G,
                                                    [  protože   G´X = 0  a  stejně  X´G= 0  ]

                              kde  G´G je zřejmě pozitivně semidefinitní matice.                   .

F.  Pro odhad rozptylu reziduí dostaneme :

     E ( e´e )  =  E ( ´M. M  )  =  E ( ´ M  )  =  E tr ( ´ M  )   =  E tr ( M  ´ )  =  
                                            ( M je idempotentní matice )        (skalár je současně svou stopou)             (tr A.B = tr B.A)

                  = tr E ( M  ´ )    =  tr ( M E  ´ )  = tr ( M 2 IT ) = 2 tr ( M ) = 2 (T- k)
                      (záměna stopy a střední hodnoty)       (M je nestochastická)                                      (2 je skalární hodnota)

  protože tr ( M ) = tr ( IT - X (X´X)-1 X´ ) = tr ( IT - X´X (X´X) -1 ) = tr ( IT - I K) = T- k .
                            (   definice M )                     ( platí  tr A.B = tr B.A )            (stopa jednotkové matice je rovna  její dimenzi)
G.   Z tvrzení F plyne, že nestranným odhadem rozptylu náhodných složek  2
                                                                                                                            T
        je výraz    , neboť zřejmě platí           .