Zobecněný lineární regresní model Zobecněný lineární regresní (jednorovnicový) model je charakterizován následujícími vlastnostmi modelových veličin : A) Centrovanost náhodných složek B) Obecnost kovarianční matice náhodných složek: (obecná, 1b) heteroskedasticita nestochastická matice ) 2b) autokorelovanost náhodných složek C) Nekorelovanost náhodných složek s nezávisle proměnnými D) Plná hodnost matice vysvětlujících proměnných Odhadová funkce zobecněné metody nejmenších čtverců (GLS) v zobecněném lineárním regresním modelu (tzv. Aitkenovo zobecnění MNČ/OLS) poskytuje odhad regresních koeficientů ve tvaru a má v zobecněném lineárním regresním modelu následující vlastnosti : 1. odhad je nestranný ( pro libovolnou velikost vzorku ) 2. odhad je lineární (vůči ) neboť je lineární formou pozorování závisle proměnné s maticí koeficientů příslušné lineární formy. Poznamenejme, že vždy platí , kde je jednotková matice řádu . 3. kovarianční matice příslušná odhadové funkci má tvar y. 4. odhad je nejlepší ve smyslu minimální kovarianční matice , neboť pro kovarianční matici kterékoliv jiné (lineární) odhadové funkce platí: kde je nějaká pozitivně semidefinitní matice řádu ( rozměrů ). Ověření Bez újmy na obecnosti můžeme matici libovolné jiné lineární odhadové funkce vyjádřit ve tvaru Poznámka Vzhledem k požadavku na nestrannost musí s ohledem na platnost , vždy platit Pr*o libovolnou jinou (lineární, nestrannou) odhadovou funkci tedy musí platit ………………………………………………………………………………………………… y. kde je zřejmě pozitivně semidefinitní matice. Poznámka 1 Odhadová funkce zobecněné metody nejmenších čtverců ve tvaru v situacích, kdy (což je pravidlem) neznáme přesný tvar kovarianční matice , není přímo použitelná. Proto je ji nutno zpravidla nahradit výrazem kde je nějaký vhodný odhad matice .[1] Poznámka: Všimněme-si, že zobecněná metoda nejmenších čtverců přechází v případě, že kovarianční matici náhodných složek je diagonální se stejnými prvky v obyčejnou metodu nejmenších čtverců: , kde , pak zřejmě platí [2] Poznámka 2 Odhadová funkce obyčejné metody nejmenších čtverců (OLS) má v zobecněném lineárním regresním modelu tyto vlastnosti : 1) odhad je nestranný 2) odhad je lineární 3) odhad není nejlepší Odvození zobecněné metody nejmenších čtverců GLS Uvažujme nejprve lineární regresní model ve tvaru (1) u kterého uvolníme předpoklad B) a nahradíme ho předpokladem B*) Kovarianční matice náhodných složek má obecný tvar : B*) (obecná, nestochastická matice), což znamená B1*) heteroskedasticita B2*) autokorelovanost náhodných složek Znormujeme-li matici "průměrným rozptylem" , můžeme ji vyjádřit ve tvaru kde je skalár a je symetrická pozitivně definitní matice. Matice je normována tak, aby její stopa byla rovna (tj. ) . Průměr diagonálních prvků je pak roven . Formálně zapsáno Pro model přechází ve standardní lineární regresní model. Připomeňme, že libovolnou symetrickou pozitivně definitní matici lze vyjádřit ve tvaru součinu dvou regulárních vzájemně transponovaných matic. Zapišme tedy (2) neboli Přitom zřejmě platí . Vynásobíme-li model 1) touto nesingulární maticí (řádu i hodnosti ), dostaneme (3a) neboli (3) kde píšeme . Určeme kovarianční matici náhodného vektoru transformovaných náhodných složek (4) (Podotkněme, že matice R byla volena právě s cílem dosáhnout diagonální kovarianční matice náhodných složek) Ukážeme, že transformovaný model 3) má vlastnosti standardního lineárního regresního modelu. Náhodné složky jsou totiž a) centrované b) vzájemně nekorelované a homoskedastické c) nekorelované s vysvětlujícími proměnnými (předsunutí před střední hodnotu je možné vzhledem k nestochastičnosti matic ). Nyní ukážeme, jak lze takovou matici R sestrojit: Protože matice je stejně jako symetrická a pozitivně definitní, lze ji vyjádřit takto: (5) - matice je matice, jejíž sloupce tvoří vlastní (charakteristické) vektory matice . Vlastní vektory mohou být zapsány při vhodné normalizaci v ortonormálním tvaru, takže pro sloupce matice lze psát , pro . Proto tedy platí . - matice rozměrů [] je diagonální matice s diagonálou tvořenou vlastními (charakteristickými) čísly : Pro matici lze psát (při násobení 5) maticí ’ zprava) : (5a) kde je diagonální matice, na jejíž diagonále jsou nějak (vzestupně či sestupně) seřazeny charakteristické kořeny/čísla matice . Matici definujeme vztahem □ . Je zřejmé, že při této volbě matice R bude platit : (6) Využijeme-li nyní odhadovou funkci obyčejné metody nejmenších čtverců OLS k odhadu parametrů modelu 3), dostaneme : nebo rovnocenně (7) Kovarianční matice příslušná této odhadové funkci má tvar (8) Vzhledem k tomu, že prvky matice zpravidla neznáme, je nutno při praktickém uplatnění odhadové funkce GLS (zobecněné metody nejmenších čtverců) použít nějaký její odhad. Nestranný odhad pro získáme standardním způsobem: (9) Poznámka: Pracujeme-li s centrovanými veličinami , lze rozptyl závisle proměnné vyjádřit jako První člen představuje vysvětlený, druhý člen nevysvětlený (též reziduální) rozptyl. Reziduální rozptyl je představován kvadratickou formou v proměnných s maticí koeficientů . Získat takový odhad není však pro obecný případ (obecná matice ) vůbec snadné, neboť narážíme na nedostatek vstupní modelové informace. Matice má až různých prvků, zatímco modelová informace obsažená v matici sestává pouze z pozorovaných hodnot vysvětlujících proměnných. Při =20 bychom potřebovali odhadnout až 210 různých prvků matice . Z tohoto důvodu se v reálných situacích zpravidla uplatňují jednodušší verze obecné GLS-metody, hlavně - vážená metoda nejmenších čtverců WLS, která operuje s maticí , jež má nenulové prvky (rozptyly) pouze na hlavní diagonále - různé speciální tvary matice , jejíž prvky závisí na (podstatně) menším počtu jiných parametrů, které jsou snáze odvoditelné z dostupných dat. Uvědomme si, že v případě: a) standardního lineárního regresního modelu (metodou OLS) můžeme využít k odhadu jediného parametru matice ( stejně velkého rozptylu náhodných složek ) celkem T reziduálních hodnot . b) zobecněného lineárního regresního modelu postiženého toliko heteroskedasticitou ( metodou WLS ) můžeme použít k odhadu - parametrů matice právě stejný počet reziduálních hodnot . c) zobecněného lineárního regresního modelu v plné jeho obecnosti (metodou GLS) můžeme použít k odhadu parametrů matice právě jen těch reziduálních hodnot . (což zřejmě bez další případné doprovodné informace nestačí). V případě metody WLS se problém řeší zpravidla využitím apriorního předpokladu o velikosti náhodných složek (obvykle se zde uplatní vztah velikosti rezidua vůči velikosti vysvětlované proměnné).[3] V případě metody GLS se zpravidla vysloví (problém zjednodušující) předpoklad o konkrétním tvaru závislosti náhodných složek navzájem (např. předpoklad o jejich vzájemné autokorelovanosti 1. řádu), čímž se výrazně sníží počet neznámých (odhadovaných) parametrů. [4] Odhadová funkce vážené metody nejmenších čtverců (WLS) Vážená metoda nejmenších čtverců je speciálním případem zobecněné metody nejmenších čtverců. Je použitelná v situacích, kdy náhodné složky regresní rovnice nevykazují vzájemnou korelovanost. Poskytuje odhady vykazující příznivé vlastnosti v modelu, který se vyznačuje (pouze) heteroskedasticitou, nikoliv autokorelací náhodných složek. Z obou podmínek vztahujících se k tvaru kovarianční matice náhodných složek platí tedy jen 2a) (čistá) heteroskedasticita (diagonální nestochastická matice) neboli (10) přičemž prvky hlavní diagonály jsou obecně různé.[5] Pro váženou metodu nejmenších čtverců platí v modelu zatíženém pouze heteroskedasticitou všechny vlastnosti zobecněné metody nejmenších čtverců. Odhadová funkce však bude mít jednodušší tvar, protože prvky diagonály inverzní matice značené mají tvar (11) , pro Matice je tedy také diagonální. Nyní zapíšeme tvar WLS-odhadové funkce ve „strukturním“ tvaru , Stejně jako v případě GLS, k praktickému nasazení odhadové metody WLS je zapotřebí uplatnit nějakým způsobem odhadnutý tvar kovarianční matice . Budeme tedy pracovat s odhadovou funkcí tvaru (12) . , Váhy v případě vážené metody nejmenších čtverců WLS bychom ovšem mohli stanovit i zcela subjektivně tak, že bychom užili odhadovou funkci 12) s maticí s prvky (13) Abychom získali příslušnou odhadovou funkci, stačí nyní všechny pozorované hodnoty ve vektoru a v matici dělit (po řádcích) odmocninami vah neboli , Poznámka: Přirozeně, na vhodnosti volby vah závisí kvalita (jmenovitě vydatnost) pořízených odhadů parametrů. Budou-li váhy co nepřesněji aproximovat směrodatné odchylky náhodných složek, pak budou i odhady vydatné. Pokud bychom však vzali váhy nepatřičné (např. bychom pozorování směrodatnými odchylkami násobili ( nikoliv dělili), mohli bychom dostat odhady parametrů ještě méně vydatné než při nasazení metody OLS. ------------------------------- [1] Získat odhad kovarianční matice použitelné pro GLS estimátor je ovšem daleko problematičtější než odhad jediného prvku- rozptylu o OLS, kde lze snadno užít výrazy. Uvědomme si, že k odhadu obecně máme jen pozorovaných hodnot. Těch bude zpravidla méně než neznámých parametrů – prvků matice . [2] Z odvozování je patrné, že by totéž platilo i pro kovarianční matici obou těchto estimátorů. [3] Způsoby řešení tohoto problému budou podrobněji vyloženy v oddíle Heteroskedasticita [4] Způsoby řešení tohoto problému budou podrobněji vyloženy v oddíle Autokorelace. [5] Diagonální prvky matice (rozptyly) se značí buď nebo jen ( tj. bez druhé mocniny)