Zobecněný lineární regresní model Zobecněný lineární regresní (jednorovnicový) model je charakterizován následujícími vlastnostmi modelových veličin : A) Centrovanost náhodných složek B) Obecnost kovarianční matice náhodných složek: (obecná, 1b) heteroskedasticita nestochastická matice ) 2b) autokorelovanost náhodných složek C) Nekorelovanost náhodných složek s nezávisle proměnnými D) Plná hodnost matice vysvětlujících proměnných Odhadová funkce zobecněné metody nejmenších čtverců (GLS) v zobecněném lineárním regresním modelu (tzv. Aitkenovo zobecnění MNČ/OLS) poskytuje odhad regresních koeficientů ve tvaru a má v zobecněném lineárním regresním modelu následující vlastnosti : 1. odhad je nestranný ( pro libovolnou velikost vzorku ) 2. odhad je lineární (vůči ) neboť je lineární formou pozorování závisle proměnné s maticí koeficientů příslušné lineární formy. Poznamenejme, že vždy platí , kde je jednotková matice řádu . 3. kovarianční matice příslušná odhadové funkci má tvar ÿ. 4. odhad je nejlepší ve smyslu minimální kovarianční matice , neboť pro kovarianční matici kterékoliv jiné (lineární) odhadové funkce platí: kde je nějaká pozitivně semidefinitní matice řádu ( rozměrů ). Ověření Bez újmy na obecnosti můžeme matici libovolné jiné lineární odhadové funkce vyjádřit ve tvaru Poznámka Vzhledem k požadavku na nestrannost musí s ohledem na platnost , vždy platit Pr*o libovolnou jinou (lineární, nestrannou) odhadovou funkci tedy musí platit ………………………………………………………………………………………………… ÿ. kde je zřejmě pozitivně semidefinitní matice. Poznámka 1 Odhadová funkce zobecněné metody nejmenších čtverců ve tvaru v situacích, kdy (což je pravidlem) neznáme přesný tvar kovarianční matice , není přímo použitelná. Proto je ji nutno zpravidla nahradit výrazem kde je nějaký vhodný odhad matice .[1] Poznámka: Všimněme-si, že zobecněná metoda nejmenších čtverců přechází v případě, že kovarianční matici náhodných složek je diagonální se stejnými prvky v obyčejnou metodu nejmenších čtverců: , kde , pak zřejmě platí [2] Poznámka 2 Odhadová funkce obyčejné metody nejmenších čtverců (OLS) má v zobecněném lineárním regresním modelu tyto vlastnosti : 1) odhad je nestranný 2) odhad je lineární 3) odhad není nejlepší Odvození zobecněné metody nejmenších čtverců GLS Uvažujme nejprve lineární regresní model ve tvaru (1) u kterého uvolníme předpoklad B) a nahradíme ho předpokladem B*) Kovarianční matice náhodných složek má obecný tvar : B*) (obecná, nestochastická matice), což znamená B1*) heteroskedasticita B2*) autokorelovanost náhodných složek Znormujeme-li matici "průměrným rozptylem" , můžeme ji vyjádřit ve tvaru kde je skalár a je symetrická pozitivně definitní matice. Matice je normována tak, aby její stopa byla rovna (tj. ) . Průměr diagonálních prvků je pak roven . Formálně zapsáno Pro model přechází ve standardní lineární regresní model. Připomeňme, že libovolnou symetrickou pozitivně definitní matici lze vyjádřit ve tvaru součinu dvou regulárních vzájemně transponovaných matic. Zapišme tedy (2) neboli Přitom zřejmě platí . Vynásobíme-li model 1) touto nesingulární maticí (řádu i hodnosti ), dostaneme (3a) neboli (3) kde píšeme . Určeme kovarianční matici náhodného vektoru transformovaných náhodných složek (4) (Podotkněme, že matice R byla volena právě s cílem dosáhnout diagonální kovarianční matice náhodných složek) Ukážeme, že transformovaný model 3) má vlastnosti standardního lineárního regresního modelu. Náhodné složky jsou totiž a) centrované b) vzájemně nekorelované a homoskedastické c) nekorelované s vysvětlujícími proměnnými (předsunutí před střední hodnotu je možné vzhledem k nestochastičnosti matic ). Nyní ukážeme, jak lze takovou matici R sestrojit: Protože matice je stejně jako symetrická a pozitivně definitní, lze ji vyjádřit takto: (5) - matice je matice, jejíž sloupce tvoří vlastní (charakteristické) vektory matice . Vlastní vektory mohou být zapsány při vhodné normalizaci v ortonormálním tvaru, takže pro sloupce matice lze psát , pro . Proto tedy platí . - matice rozměrů [ ] je diagonální matice s diagonálou tvořenou vlastními (charakteristickými) čísly : Pro matici lze psát (při násobení 5) maticí ’ zprava) : (5a) kde je diagonální matice, na jejíž diagonále jsou nějak (vzestupně či sestupně) seřazeny charakteristické kořeny/čísla matice . Matici definujeme vztahem □ . Je zřejmé, že při této volbě matice R bude platit : (6) Využijeme-li nyní odhadovou funkci obyčejné metody nejmenších čtverců OLS k odhadu parametrů modelu 3), dostaneme : nebo rovnocenně (7) Kovarianční matice příslušná této odhadové funkci má tvar (8) Vzhledem k tomu, že prvky matice zpravidla neznáme, je nutno při praktickém uplatnění odhadové funkce GLS (zobecněné metody nejmenších čtverců) použít nějaký její odhad. Nestranný odhad pro získáme standardním způsobem: (9) Poznámka: Pracujeme-li s centrovanými veličinami , lze rozptyl závisle proměnné vyjádřit jako První člen představuje vysvětlený, druhý člen nevysvětlený (též reziduální) rozptyl. Reziduální rozptyl je představován kvadratickou formou v proměnných s maticí koeficientů . Získat takový odhad není však pro obecný případ (obecná matice ) vůbec snadné, neboť narážíme na nedostatek vstupní modelové informace. Matice má až různých prvků, zatímco modelová informace obsažená v matici sestává pouze z pozorovaných hodnot vysvětlujících proměnných. Při =20 bychom potřebovali odhadnout až 210 různých prvků matice . Z tohoto důvodu se v reálných situacích zpravidla uplatňují jednodušší verze obecné GLS-metody, hlavně - vážená metoda nejmenších čtverců WLS, která operuje s maticí , jež má nenulové prvky (rozptyly) pouze na hlavní diagonále - různé speciální tvary matice , jejíž prvky závisí na (podstatně) menším počtu jiných parametrů, které jsou snáze odvoditelné z dostupných dat. Uvědomme si, že v případě: a) standardního lineárního regresního modelu (metodou OLS) můžeme využít k odhadu jediného parametru matice ( stejně velkého rozptylu náhodných složek ) celkem T reziduálních hodnot . b) zobecněného lineárního regresního modelu postiženého toliko heteroskedasticitou ( metodou WLS ) můžeme použít k odhadu - parametrů matice právě stejný počet reziduálních hodnot . c) zobecněného lineárního regresního modelu v plné jeho obecnosti (metodou GLS) můžeme použít k odhadu parametrů matice právě jen těch reziduálních hodnot . (což zřejmě bez další případné doprovodné informace nestačí). V případě metody WLS se problém řeší zpravidla využitím apriorního předpokladu o velikosti náhodných složek (obvykle se zde uplatní vztah velikosti rezidua vůči velikosti vysvětlované proměnné).[3] V případě metody GLS se zpravidla vysloví (problém zjednodušující) předpoklad o konkrétním tvaru závislosti náhodných složek navzájem (např. předpoklad o jejich vzájemné autokorelovanosti 1. řádu), čímž se výrazně sníží počet neznámých (odhadovaných) parametrů. [4] Odhadová funkce vážené metody nejmenších čtverců (WLS) Vážená metoda nejmenších čtverců je speciálním případem zobecněné metody nejmenších čtverců. Je použitelná v situacích, kdy náhodné složky regresní rovnice nevykazují vzájemnou korelovanost. Poskytuje odhady vykazující příznivé vlastnosti v modelu, který se vyznačuje (pouze) heteroskedasticitou, nikoliv autokorelací náhodných složek. Z obou podmínek vztahujících se k tvaru kovarianční matice náhodných složek platí tedy jen 2a) (čistá) heteroskedasticita (diagonální nestochastická matice) neboli (10) přičemž prvky hlavní diagonály matice jsou obecně různé.[5] Pro váženou metodu nejmenších čtverců platí v modelu zatíženém pouze heteroskedasticitou všechny vlastnosti zobecněné metody nejmenších čtverců. Odhadová funkce však bude mít jednodušší tvar, protože prvky diagonály inverzní matice značené mají tvar (11) , pro Matice je tedy také diagonální. Nyní zapíšeme tvar WLS-odhadové funkce ve „strukturním“ tvaru Stejně jako v případě GLS, k praktickému nasazení odhadové metody WLS je zapotřebí uplatnit nějakým způsobem odhadnutý tvar kovarianční matice . Budeme tedy pracovat s odhadovou funkcí tvaru (12) . , Váhy v případě vážené metody nejmenších čtverců WLS bychom ovšem mohli stanovit i zcela subjektivně tak, že bychom užili odhadovou funkci 12) s maticí s prvky (13) Abychom získali příslušnou odhadovou funkci, stačí nyní všechny pozorované hodnoty ve vektoru a v matici dělit (po řádcích) odmocninami vah neboli (14) , Poznámka 1: Měli bychom rozlišovat metodu WLS ze dvou hledisek. Jednak jde o matematický (technický postup, které podle příslušní´ho algoritmu (12) umožňuje provedení výpočtu regresních koeficientů zobecněného lineárního modelu zatíženého jen heteroskedasticitou. Poznámka 2: Avšak statistické vlastnosti metody WLS ( konkrétně vydatnost ) silně závisí na volbě vah. Čím blíže jsou váhy blíže skutečným hodnotám směrodatných odchylek náhodných složek, tím bud odhad vydatnější. To na druhé straně znamená, že pokud bychom vzali váhy nepatřičné (např. bychom pozorování ve (14) směrodatnými odchylkami násobili ( nikoliv dělili), mohli bychom dostat odhady parametrů ještě méně vydatné než při nasazení metody OLS. Pomocná tvrzení: Tvrzení 1. Převedení symetrické matice na diagonální Nechť je symetrická matice. Potom existuje nesingulární matice taková, že je diagonální matrice, tj. matici lze vyjádřit jako součin , kde je nesingulární matice a je diagonální matice. Postup a důkaz tvrzení: Uvažujme první diagonální prvek matice A. Je-li nenulový, užijeme ho jako pivotálního prvku a anulujeme všechny ostatní prvky prvního řádku a stejně tak i prvky prvního sloupce. Postup je ekvivalentní postupnému násobení matice A zprava a zleva elementárními maticemi; přitom matice, kterými se násobí zprava j jsou transponované matice k těm, kterými se násobí zleva, protože A symetrická. Výsledná matice je také symetrická. Stejně tak se postupuje s druhým diagonálním prvkem, první řádek a první sloupec upravené matice se v této další fázi nezmění. V postupu se pokračuje, dokud se při některém kroku nenarazí na nulový diagonální prvek. Jestliže jsou v příslušném řádku a sloupci samé nulové prvky, přejdeme k dalšímu diagonálnímu prvku a postupujeme shodně jako dříve. Jestliže řádek nebo sloupec s nulovým prvkem na diagonále obsahuje nenulové prvky, pak můžeme dosáhnout toho, že na diagonále bude nenulový prvek a pak se pokračuje jako dříve. I tento obrat je symetrickou operací, kterou lze vyjádřit jako násobení elementárními maticemi. Na závěr důkazu položíme B rovno součinu elementárních matic, kterými jsme násobili matici A zleva a . □ . ________________________________ [1] Získat odhad kovarianční matice použitelné pro GLS estimátor je ovšem daleko problematičtější než odhad jediného prvku- rozptylu o OLS, kde lze snadno užít výrazy. Uvědomme si, že k odhadu obecně máme jen pozorovaných hodnot. Těch bude zpravidla méně než neznámých parametrů – prvků matice . [2] Z odvozování je patrné, že by totéž platilo i pro kovarianční matici obou těchto estimátorů. [3] Způsoby řešení tohoto problému budou podrobněji vyloženy v oddíle Heteroskedasticita [4] Způsoby řešení tohoto problému budou podrobněji vyloženy v oddíle Autokorelace. [5] Diagonální prvky matice (rozptyly) se značí buď nebo jen ( tj. bez druhé mocniny)