Multikolinearita Problém multikolinearity se váže k matici vysvětlujících proměnných , jejíž sloupce mohou být někdy (přesně nebo přibližně) lineárně závislé. Tím je zřejmě porušen předpoklad o maximální možné hodnosti k matice v klasickém (ale i zobecněném) lineárním regresním modelu. Pokud existuje pouze jeden lineární vztah mezi vysvětlujícími proměnnými, mluvíme o kolinearitě, pokud takovýchto vztahů existuje více, hovoří se o multikolinearitě. Pojem multikolinearita se nicméně používá často i v prvním jmenovaném případě. Negativní důsledky multikolinearity V důsledku toho, že matice nemá plnou hodnost (nebo její sloupce budou téměř lineárně závislé) bude momentová matice singulární (vzácně) nebo téměř singulární (častěji). V důsledku toho bude mít tato matice determinant nulové nebo velmi malé hodnoty a následně toho matice bude mít značně velké prvky. Pak mají rozptyly parametrů velmi značné hodnoty (a tedy t-statistiky regresních koeficientů signalizují zpravidla nevýznamnost těchto koeficientů). Odhady regresních koeficientů mohou být současně vzájemně silně závislé. Nelze proto rozlišit individuální významnost jednotlivých vysvětlujících proměnných. To nemusí vadit při predikčním využití modelu, zpravidla to však komplikuje analytické uplatnění. Multikolinearita (exaktní=přesná) je téměř vždy důsledkem poruchy ve struktuře modelu a nemůže být napravena vzetím dodatečných pozorování z téhož vzorku (jde-li o hodnoty vzaté z téhož základního souboru). Multikolinearita (přibližná) je častěji důsledkem poruchy ve struktuře modelu a jen zřídkakdy může být napravena vzetím dodatečných pozorování z téhož vzorku (z téhož základního souboru). Přesná multikolinearita vzniká vzácně, a to zpravidla pro neuvědomění si potřeby vyhnout se zařazení skupiny přesně lineárně závislých proměnných do rovnice 1) zařazením nezávisle proměnné, která má stejnou hodnotu ve všech pozorováních ( kromě jedničkového vektoru ). 2) zařazením vysvětlující proměnné, která vzniká zprůměrováním ( nebo jinou lineární kombinací ) některých ostatních nezávisle proměnných. 3) při chybném zařazení všech umělých (např. sezónně definovaných) proměnných (jestliže regrese obsahuje jedničkový vektor, jednu je třeba vždy z rovnice vypustit ). Postupy zmírňující negativní důsledky multikolinearity 1) vynechání problémové proměnné = zjednodušení modelu V principu jde o velmi jednoduchý postup, který může vést k úplné eliminaci problému. Není však vždy zřejmé, kterou proměnnou (proměnné) obětujeme za tímto účelem. Přednost Jednoduchost postupu okamžitě řešícího problém Slabina V případě, že vynecháváme proměnné, které dle ekonomické teorie mají své opodstatnění v regresní rovnici, dopouštíme se prohřešku proti korektní specifikaci modelu (mj. tím porušíme nestrannost některých odhadů parametrů zjednodušeného modelu). 2) transformace některé z vysvětlujících proměnných Transformací (např. přechodem k diferencím nebo k relativním přírůstkům) některých vysvětlujících proměnných obvykle dosáhneme eliminaci nebo zmírnění multikolinearity (pokud lineárně závisle proměnné ponecháme beze změny). Na druhé straně však použití relativních přírůstků může vést k heteroskedasticitě (náhodných složek) a použití diferencí analogicky zase k autokorelaci náhodných složek, takže řešením jednoho neduhu vyvoláme neduh jiný. Nicméně, tento postup lze vcelku vhodně uplatnit, pokud zařazení transformovaných proměnných neodporuje ekonomické teorii. 3) aplikace metody hlavních komponent Jde o postup (známý především z prostředí faktorové analýzy), kterým se množina původních vysvětlujících proměnných transformuje na jinou množinu vysvětlujících proměnných, přičemž individuální přínos každé z těchto transformovaných proměnných (tzv. hlavních komponent – principal component) k vysvětlení závisle proměnné je ve statistickém slova smyslu nezávislý na jiných těchto transformovaných proměnných. Původně korelované vysvětlující proměnné se takto převádějí na nekorelované (dokonce ortonormální) nové vysvětlující proměnné. Obdobně se transformují i parametry modelu. Počet původních a transformovaných proměnných je stejný, transformované proměnné však nemusíme použít všechny. Přednost Přechodem k ortogonálním proměnným (ne nutně ke všem, ale jen k těm, které mají největší vliv na závisle proměnnou) docílíme úplnou eliminaci multikolinearity. Slabina Velmi často nejsou nové proměnné nijak rozumně obsahově interpretovatelné (jde o lineární kombinaci původních proměnných), takže přitažlivost techniky postupu může na druhé straně znamenat snížení obsahové průhlednosti kauzálního vztahu. 4) aplikace hřebenové (ridge) regrese[1] Jde o postup, kterým se uměle zvětší všechny prvky na diagonále matice o stejnou konstantu za účelem dosažení vyšší hodnoty determinantu této matice. Odhady regresních koeficientů přitom získáme jako Přednost Determinant matice lze zvýšit přidáním konstanty o libovolnou hodnotu, takže lze dosáhnout výrazného zvýšení hodnoty determinantu matice a následně také snížení směrodatných odchylek parametrů (tudíž se posílí významnost t-statistik regresních koeficientů) Slabina Jde o umělý postup, který vede k tomu, že získané odhady nejsou nestranné (mají však v jistém rozsahu aditivního zvýšení diagonály menší rozptyly). Existují nicméně jistá vodítka, jak volit konstantu aditivně přidávanou k diagonále matice , aby přednost převýšila slabinu.[2] Obvykle se pro hodnotu konstanty doporučuje tato volba: kde je počet vysvětlujících proměnných rovnice je (metodou OLS) odhadnutý rozptyl náhodných složek je odhad regresních parametrů pořízený estimátorem OLS 5) nasazením Steinovy odhadové funkce[3] založené na principu kritéria minima kvadratické ztrátové funkce ve tvaru neboli , kde je matice normovaných vysvětlujících proměnných (uložených opět po sloupcích), tedy s vlastnostmi a při vypuštění absolutního členu z regresního vztahu. Tato matice má tedy o sloupec méně, než matice . Steinova odhadová funkce neposkytuje nestranné odhady, avšak odhady pomocí ní získané mají zpravidla menší rozptyl a metoda je robustnější oproti OLS při nedodržení předpokladu (přesné) normality náhodných složek. 6) využitím apriorní (mimomodelové) statistické informace Nejčastěji lze uplatnit různé ad hoc postupy podle povahy řešené úlohy, jako např. a) Položením omezení na některé parametry modelu b) Uplatněním „smíšeného“ (mixed) odhadu kombinací průřezových dat a údajů časových řad. Např. v analýze spotřebitelské poptávky se závisle proměnnou spotřeba daného statku jde o využití (nezískatelné z časových řad) informace o příjmové a cenových pružnostech poptávky z průřezových dat. Informaci o příjmové pružnosti z výběrového šetření o příjmech a výdajích lze např. uplatnit k eliminaci vlivu změn příjmu na poptávku a v analýze založené na vzorku časových řad se omezíme toliko na odhad cenových pružností poptávky. Nutným předpokladem ovšem je, aby v obou dílčích úlohách byl koeficient příjmové pružnosti poptávky chápán stejně (u některých druhů zboží se totiž mohou podstatně lišit příjmové pružnosti v krátko- a střednědobém časovém horizontu). Prostředky k diagnostikování multikolinearity A) F-test dílčích koeficientů determinace Pro každou z vysvětlujících proměnných formulujeme regresi, v níž tato proměnná vystupuje jako závisle proměnná a je „vysvětlována“ ostatními k-1 nezávisle proměnnými regresní rovnice. Pro pevně zvolenou tou proměnnou pak testujeme statistickou významnost skupiny ostatních k-1 proměnných obvyklým F-testem, založeným na koeficientu determinace: Je-li většina hodnot statisticky významná, zamítá se hypotéza o ortogonalitě vysvětlujících proměnných, což je však podstatně přísnější podmínka než nepřítomnost významné multikolinearity. B) Postup L. Kleina Rovněž ekonometr Lawrence Klein navrhl jako test únosnosti multikolinearity test spočívající v posouzení velikosti (koeficient determinace závislosti vysvětlované proměnné na všech k vysvětlujících proměnných ) vůči všem dílčím koeficientům determinace . (dílčí koeficient determinace závislosti pevně zvolené vysvětlující proměnné na k-1 „vysvětlujících“ proměnných mimo ). Za vážný problém je zde multikolinearita považována až tehdy, platí-li pro některé nerovnost tzn. pokud pro některou z vysvětlujících proměnných (vzatou jako závisle proměnná) má dílčí koeficient determinace vyšší hodnotu než standardní . C) Farrar – Glauberův test[4] D.Farrar a R. Glauber doporučují nepřímý test multikolinearity založený na velikosti determinantu normované momentové matice , kde prvky získáme jako normované hodnoty původních prvků matice , tzn. , kde , Prvky této momentové matice mají při daném způsobu normování charakter výběrové korelační matice, přičemž lze pomocí - testu testovat, zda se determinant této matice významně liší od jedné. Pro případ multikolinearity platí, že Pro případ ortogonality naopak platí Hodnota mezi 0 a 1 (dosažená v praxi téměř vždy) svědčí o jistém stupni kolinearity; ten však může být docela únosný. Testování nulové hypotézy tvaru se provádí - testem, avšak zamítnutí této nulové hypotézy neznamená, že by byla v daném případě multikolinearita fatálním problémem. Ani v tomto případě tedy test nesměřuje bezprostředně k ověřování multikolinearity, nýbrž k testování opačné situace, tj. stavu, kdy jsou vysvětlující proměnné navzájem ortogonální (tzn. kdy žádná neobsahuje ani kousek informace, kterou obsahují ostatní vysvětlující proměnné). ------------------------------- [1] Hoerl, A.E., Kennard, R.W.: Ridge Regression: Biased Estimation for Non-orthogonal Problems. Technometrics. 12/1970 s.55-67. [2] Hoerl, A.E., Kennard, R.W., Baldwin, K.F.: Ridge Regression. Some Simulation. Commun. Statistics. 4 / 1975 s. 105-123 [3] Stein, C. M.: Inadmissibility of the Usual estimator for the Mean of a Multivariate Normal Distribution. Proc. of the J.Berkeley Symp. on Mathematical Statistics and Probability. 1956 s.197-206. [4] Farrar, D,E., Glauber R.R.: Multicollinearity in Regression Analysis: The Problem Revisited. Review of Economics and Statistics 49/1969 s. 92-107.