Link: OLE-Object-Data Standardní (též klasický) lineární regresní model Specifikace=formulace (jednorovnicového) lineárního regresního modelu (1) resp. , kde je T-členný (sloupcový) vektor pozorování závisle (vysvětlující ) proměnné (regresandu) [*] je [ Txk ] matice pozorování k nezávisle proměnných (regresorů) – matice plánu je k-členný (sloupcový) vektor neznámých regresních koeficientů je T-členný (sloupcový) vektor nepozorovatelných náhodných složek (disturbancí) Ve strukturním vektorově- maticovém vyjádření (1A) Poznámka: Pokud je v rovnici zastoupena úrovňová konstanta , pak k ní příslušný jedničkový vektor bude obsažen prvním sloupci matice , tzn. že bude platit pro všechna Předpokládáme, že počet vysvětlujících proměnných je menší (v krajním případě roven) než počet pozorování, tedy , že platí nerovnost Odhady parametrů nějakou vhodnou odhadovou metodou (např. metodou nejmenších čtverců) (2) např. Definice vyrovnaných hodnot závisle proměnné (3) Definice reziduí (odhadnutých náhodných složek) (4) neboli odtud vyplývá možnost alternativního zápisu závisle proměnné( s odhady parametrů a s reziduy) (5) Některé další vztahy mezi veličinami lineárního regresního modelu Z porovnání (1) a (5) obdržíme vztah mezi a : (6) [1] ( pokud použijeme odhad OLS, pak pravá strana ), z čehož dále plyne (7) (8) neboli platí (9) (10) neboli platí Varovná poznámka: Ze vztahů a nelze usuzovat, že platí , neboť je vždy singulární matice. Nelze proto psát , resp. , protože matice neexistuje. Hodnost matice je protože Na výše uvedené zjištění můžeme pohlížet také z toho hlediska, že k určení reziduí je pomocí matice „vytahována“ stejná informace jako z vektoru závisle proměnné. Matice jakoby „odfiltruje“ „přebytečnou“ informaci (potřebnou pro určení ) nacházející se v , ale nikoliv v . Poznámka: Centrovanost náhodných složek se přenáší na rezidua, která mají rovněž nulovou střední hodnotu, neboť dle (10) nestochastičnost M centrovanost ε Vlastnosti proměnných lineárního regresního modelu 1. Centrovanost náhodných složek neboli pro všechna nebude-li splněno, pak střední hodnota náhodných složek (ani reziduí) nebude nulová a regresní přímka nepovede „středem“ oblasti pozorovaných hodnot, ale nad či pod ní (nepůjde o regresní přímku ve vlastním slova smyslu). Odchylky nebudou „nestranné“ a součet reziduí nebude roven 0. 2. Diagonalita kovarianční matice náhodných složek (diagonální matice se stopou ) což v sobě obsahuje dvě vlastnosti, jimiž jsou 2a) homoskedasticita náhodných složek (rozptyl nezávislý na indexu pozorování) nebude-li splněno, pak budou mít náhodné složky v různých pozorováních různý rozptyl a metoda OLS ztratí svou vydatnost (byť odhady zůstanou nestranné). Nejde však o fatální problém a parametry budou odhadnutelné. Různost rozptylů náhodných složek v různých pozorováních se nazývá heteroskedasticita. Ta je odstranitelná nebo zmírnitelná některými speciálními postupy, např. použitím vážené metody nejmenších čtverců WLS. 2b) nekorelovanost náhodných složek , kde pro a také pro nebude-li splněno, pak budou náhodné složky v různých pozorováních vzájemně korelované a odhady parametrů nebudou vydatné (byť zůstanou nestranné). K zajištění optimálních vlastností bude nutno uplatnit zobecněnou metodu nejmenších čtverců GLS (pokud budou dodatečné informace o modelu) nebo problém zmírnit některou speciální technikou připouštějící autokorelaci náhodných složek. 3. Nekorelovanost náhodných složek s nezávisle proměnnými neboli pro všechna nebude-li splněno, pak to znamená, že informace obsažená v náhodných složkách má něco společného s informací obsaženou v některé vysvětlované proměnné a že „náhodná složky“ má v sobě kousek (nebo kus) systematické informace. To je v rozporu s uvažovaným charakterem náhodné složky. Odhad parametrů nebude možno takto nijak statisticky získat (ani jinou metodou než OLS) 4. Plná hodnost matice vysvětlujících proměnných nebude-li splněno, pak bude mít matice hodnost menší než , což bude znamenat, že některé její sloupce budou lineárně závislé. Jinými slovy: informace obsažená ve sloupcích matice , tedy v jednotlivých vysvětlujících proměnných není nezávislá a vzájemně se prolíná. Z algebraického hlediska to má ten následek, že matice bude singulární (její determinant bude nulový) a nebude k ní existovat (jednoznačně určená inverzní matice). Odhad parametrů (metodou OLS) takto nebude možné určit, resp. při použití pseudoinverze nebude odhad určen jednoznačně. (prostá,obyčejná) Metoda nejmenších čtverců (MNČ, OLS) [ Ordinary least squares method ] Minimalizačním kritériem je zde součet čtverců reziduí (odhadnutých náhodných složek neboli rozdílů mezi pozorovanými a vyrovnanými hodnotami) : neboli v pozorovaných hodnotách Polohu minima (tj. bodu=odhadnutého vektoru parametrů ) , ve kterém je minimalizovaný výraz nejmenší) nalezneme řešením soustavy tzv.normálních rovnic (vektorově). tuto soustavu řešíme úpravami (vydělením 2, přeskupením členů) na tvar , která má řešení pro ve tvaru , ¬ řešení je jednoznačné, neboť vzhledem k předpokladům , existuje (jediná) inverzní matice k matici . Poznámka Vyjádření minimalizace v pozorovaných hodnotách: [ ] Derivací podle (kterékoliv) pevně zvolené složky vektoru parametrů dostaneme pro a odtud neboli , V případě konečných sumací můžeme přeskupovat členy v součtech Příklad: Lineární regrese s jedinou vysvětlující proměnnou (+úrovňovou konstantou) () , kde . Odtud máme hodnota úrovňové konstanty hodnota parametru sklonu regresní přímky Vlastnosti obyčejné (prosté) metody nejmenších čtverců MNČ (OLS) v klasickém lineárním regresním modelu poskytuje odhad regresních koeficientu ve tvaru Věta 1 (Gauss-Markovova) Odhad regresních koeficientů pořízený obyčejnou ( prostou ) metodou nejmenších čtverců je nejlepším nestranným lineárním odhadem vektoru parametrů . Důkaz rozdělíme jej na několik částí. A. odhad [OLS]b* je nestranný ( pro libovolnou velikost vzorku ) . Ověření nestrannosti: [ ] vyjádření y=Xβ+ε y . nestochastičnost X Eε=0 Eβ=β ( β nestochastický vektor ) Důsledek A Nestranná odhadová funkce je vždy asymptoticky nestranná. Platí-li totiž [2] pro každé konečné , platí tentýž vztah i pro . B. odhad je konzistentní, tj. platí Vlastnost platí i pro případ, že matice je stochastická. Ověření konzistence: lze vyvodit z následujícího tvrzení Tvrzení Jestliže je odhadová funkce asymptoticky nestranná a kovarianční matice této odhadové funkce konverguje při k nulové matici, pak je tato odhadová funkce konzistentní. Důkaz a) asymptotická nestrannost OLS-odhadové funkce vyplývá z důsledku A. b) konvergenci kovarianční matice OLS-odhadové funkce (její tvar viz ad D) k nulové matici ukážeme následovně Dále ukážeme, že . Definujme matici a její prvek označíme jako .[3] Pro tento prvek platí , přičemž tato rovnost platí pro všechna konečná . Všechny prvky této matice jsou tedy (v absolutní hodnotě) shora omezeny hodnotou . Tedy, pro všechna má matice konečně velké prvky a je nesingulární. Zřejmě dále platí (neboť platí ) a navíc matice má konečně velké prvky ( ) pro všechna . Platí tedy , kde je (čtvercová) matice řádu k složená ze samých nul. C. odhad je lineární (vzhledem k vysvětlované proměnné ), neboť je definován jako lineární forma pozorování závisle proměnné . Ověření linearity Lze psát , kde matice představuje koeficienty lineární formy, jejíž proměnné tvoří složky vektoru y. Poznamenejme, že vždy platí , kde je jednotková matice řádu k. D. kovarianční matice příslušná odhadové funkci má následující tvar ( nestrannost ^b) Ověření ( dosazení ^b= (X’X)^-1 Xy ) ( dosazení za y=Xβ+ε ) (X´X)^-1 X´X = I[T ] ( vyrušení b ) (transpozice) vytknutí nestoch..členů před E) Ee.e’ = s[e]^2I[T ] (vytknutí skaláru s[e]^2 ) (X´X)^-1 X´X = I[T ] y . Odtud plyne důsledek D1. Směrodatné odchylky odhadnutých regresních parametrů získáme jako [ ], kde je j-tý diagonální prvek inverzní momentové matice je směrodatná odchylka náhodných složek (stejná u všech ). E. odhad je nejlepší ve smyslu “minimální” kovarianční matice , neboť pro kovarianční matici kterékoliv jiné (lineární) odhadové funkce platí : kde je nějaká symetrická pozitivně semidefinitní matice řádu k (rozměrů k x k). Ověření Bez újmy na obecnosti můžeme matici jiné lineární odhadové funkce vyjádřit ve tvaru Poznámka Vzhledem k požadavku na nestrannost musí s ohledem na platnost vztahu , vždy platit . Ověření vydatnosti [ matice D, X jsou nestochastické ] z čehož přímo plyne [ ]Pro libovolnou jinou ( lineární a nestrannou ) odhadovou funkci tedy musí platit [ protože G´X = 0 ] [ protože G´X = 0 ] [ protože (X´X)^-1 X’ X = I ] [ protože (X´X)^-1 X’ X = I ] [ po uplatnění operátoru střední hodnoty a protože X i G jsou nestochastické matice ] [ protože Eε’ε = σ^2 I[T]] [ protože s^2 je skalární hodnota ] [ protože G´X = 0 a stejně X´G= 0 ] kde je zřejmě pozitivně semidefinitní matice[4] a y F. pro odhad rozptylu reziduí dostaneme (M je idempotentní matice) (skalár je současně svou stopou) (tr A.B = tr B.A) (záměna stopy a střední hodnoty) (M je nestochastická) (s^2 je skalární hodnota) protože ( definice M ) ( platí tr A.B = tr B.A ) (stopa jednotkové matice je rovna její dimenzi) G. z tvrzení F plyne, že nestranným odhadem rozptylu náhodných složek s[e]^2 T ^ je výraz , neboť zřejmě platí . Z důsledku D1 je patrné, že odhady směrodatných odchylek odhadnutých regresních parametrů získáme jako [ ], kde je j-tý diagonální prvek inverzní momentové matice je směrodatná odchylka reziduí (stejná pro všechna ) Poznámka: Prostá metoda nejmenších čtverců není jedinou používanou odhadovou metodou v prostředí standardního lineárního regresního modelu. K dalším technikám patří: Metoda maximální věrohodnosti ML (Maximum Likelihood) je založena na maximalizaci sdružené hustoty (tzv.věrohodnostní funkce) rozdělení náhodných složek. Lokalizuje se tedy poloha modusu pro a , v němž tato funkce nabývá maxima. Metoda nejmenších absolutních odchylek LAD (Least Absolute Deviations) je založena na minimalizačním kritériu tvaru Odhady pořízené metodou LAD nelze vyjádřit v explicitním tvaru, ale je nutno použít iterační postup (např. algoritmy R.L.Faira) Zobecněná momentová metoda GMM (Generalized moment method). ------------------------------- [1] Na levé straně (6) máme dvě nepozorovatelné veličiny: β,ε, zatímco na pravé straně jsou jak odhadnuté parametry b, tak rezidua e, obojí určené z pozorovaných proměnných: Je ovšem třeba dodat, že výpočet b ( a následně i e) obecně závisí na užité odhadové metodě.U standardního lineárního modelu regresního i jiné odhadové metody vedou k témuž výrazu, avšak u složitějších modelů tomu ale tak nemusí být. [2] Symbolem nalevo rozumíme střední hodnotu odhadnutého vektoru parametrů β spočteného na základě T pozorování. [3] Účelem je ukázat, že matice má prvky o konečné velikosti. [4] Matice (stejně jako kterákoliv jiná symetrická nenulová matice ) je pozitivně definitní, protože pro ni platí (skalární součin je nulový jen pro identicky nulový vektor).