MASARYKOVA UNIVERZITA Přírodovědecká fakulta BAKALÁRSKA PRÁCA Jozef Mišík Bayesovské regresní modely Vedúci práce: RNDr. Martin Kolář, Ph.D. Študijný program: Aplikovaná matematika Študijný odbor: Matematika - ekonomie 2010 POĎAKOVANIE Ďakujem vedúcemu bakalárskej práce RNDr. Martinovi Kolářovi, Ph.D. za jeho čas, cenné rady a pripomienky pri vedení mojej bakalárskej práce. PREHLÁSENIE Prehlasujem, že som svoju bakalársku prácu napísal samostatne a výhradne s použitím citovaných prameňov. V Brne, dňa 20.5. 2010 Jozef Mišík Názov práce: Bayesovské regresní modely Autor: Jozef Mišík Ústav matematiky a statistiky Přírodovědecké fakulty MU Vedúci bakalárskej práce: RNDr. Martin Kolář, Ph.D. Abstrakt: Bakalárska práca sa zaoberá opisom základných bayesiánskych metód regresnej analýzy dát a ich porovnaním s klasickým prístupom k regresii. V teoretickej časti textu sú najprv zadefinované pojmy vierohodnostná funkcia, apriórna a aposteriórna hustota pravdepodobnosti, následne sú popísané základné nástroje pre prácu s bayesiánskymi modelmi. Na lineárnom regresnom modeli (LRM) sú rozpracované metódy analýzy dát, vrátane aposteriórnych simulátorov. Z LRM sú ďalej odvodené modely s obmedzenými vysvetľovanými premennými tobit, probit a logit. V praktickej časti práce sú prezentované výsledky analýzy dát pomocou binárnych logit a probit mode- lov. Kľúčové slová: bayesiánsky prístup, lineárny regresný model, Monte Carlo integrácia, Gibbsov vzorkovač, tobit, logit, probit Title: Bayesian regression models Author: Jozef Mišík Department od Mathematics and Statistics, Faculty of Science, MU Supervisor: RNDr. Martin Kolář, Ph.D. Abstract: The bachelor thesis describes a basic methods of Bayesian regression data analysis and compares it to the frequentist approach to a regression. There are at first defined terms such as the likelihood function, the prior and the posterior density in the theoretical part of the text, afterwards the basic instruments for comparing and updating the Bayesian models are illustrated. On the linear regression model (LRM) there are defined the data analysis methods, including the posterior simulators. Models with the limited dependent variables tobit, probit and logit are derived from the LRM. In the practical part of the text there are presented results of analysing the data by the binary logit and probit models. Keywords: Bayesian approach, linear regression model, Monte Carlo integration, Gibbs sampler, tobit, logit, probit Obsah Úvod 2 1 Bayesiánsky prístup 3 1.1 Bayesov vzorec . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Apriórna a aposteriórna hustota, vierohodnostná funkcia . . . 4 1.3 Práca s modelmi . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3.1 Porovnávanie modelov . . . . . . . . . . . . . . . . . . 5 1.3.2 Bayesiánske priemerovanie a vylepšovanie . . . . . . . 7 2 Lineárny regresný model 9 2.1 Predpoklady a odvodenie vierohodnostnej funkcie . . . . . . . 9 2.2 Vlastná a nevlastná apriórna hustota . . . . . . . . . . . . . . 10 2.3 Konjugovaná a podmienene konjugovaná apriórna hustota . . 11 2.4 Monte Carlo integrácia a Gibbsov vzorkovač . . . . . . . . . . 13 3 Modely s obmedzenými vysvetľovanými premennými 16 3.1 Tobit model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.2 Binárny Probit model . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Binárny Logit model . . . . . . . . . . . . . . . . . . . . . . . 19 4 Porovnanie binárnych probit a logit modelov 21 4.1 Spracovanie dát . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.2 Výsledky odhadu . . . . . . . . . . . . . . . . . . . . . . . . . 22 Prílohy 25 Záver 27 Použitá literatúra 28 1 Úvod Ekonometria je vedná disciplína, ktorá dopĺňa ekonomickú teóriu o empirický rozmer. Pri riešení ekonomických problémov využíva matematické a štatistické nástroje. Bayesiánsky prístup k ekonometrii sa formoval v priebehu 20. storočia. Jednoduchosť bayesiánskej ekonometrie spočíva v tom, že je založená na niekoľkých základných pravidlách pravdepodobnosti. Na druhej strane výpočtová náročnosť dlho bránila využitiu bayesiánskych metód v praxi. Situácia sa zmenila až s rozvojom výpočtovej techniky. Cieľom mojej práce je zoznámiť sa s výhodami a nevýhodami bayesiánskeho prístupu v porovnaní s klasickým prístupom. Pozornosť bude upriamená najmä na lineárny regresný model a binárne probit a logit modely, ktoré v závere zostavím pre konkrétne dáta. V prvej kapitole definujem Bayesov vzorec ako ústredný prvok bayesiánskej ekonometrie a odvodím z neho vzťah apriórnej hustoty, aposteriórnej hustoty a vierohodnostnej funkcie. Následne popíšem základné bayesiánske metódy práce s modelmi. V druhej kapitole, ktorá sa venuje lineárnemu regresnému modelu, priblížim niektoré dôležité vlastnosti apriórnej hustoty a možnosti simulácie aposteriórnej hustoty. Tretia kapitola pojednáva o modeloch s obmedzenými vysvetľovanými premennými. Odlíšim viaceré formy obmedzenia dát. Posledná kapitola bude venovaná ukážke praktickej aplikácie binárnych probit a logit modelov na konkrétne dáta o vlastníctve počítačov v amerických domácnostiach pomocou softvéru WinBUGS. 2 Kapitola 1 Bayesiánsky prístup 1.1 Bayesov vzorec Bayesiánska ekonometria je založená na niekoľkých základných pravidlách pravdepodobnosti. Tieto pravidlá sa využívajú pri rôznych ekonometrických úkonoch ako je napr. odhad neznámych parametrov modelu, porovnávanie rôznych modelov alebo získavanie predikcií. Základným pravidlom je Bayesov vzorec, ktorý odvodíme priamo z definície podmienenej pravdepo- dobnosti. Definícia 1.1. Nech (Ω, A, P) je pravdepodobnostný priestor a B ∈ A je jav s nenulovou pravdepodobnosťou. Pre každé A ∈ A definujeme podmienenú pravdepodobnosť vzorcom P(A|B) = P(A ∩ B) P(B) , kde P(A∩B) je združená pravdepodobnosť javov A a B a P(B) je marginálna pravdepodobnosť javu B. Jednoduchou úpravou definičného vzťahu a pridaním vzťahu pre zamenené úlohy javov A a B získame dvojicu vzťahov P(A ∩ B) = P(A|B)P(B), P(B ∩ A) = P(B|A)P(A). Pomocou nich odvodíme Bayesov vzorec pre podmienenú pravdepodobnosť v tvare: P(B|A) = P(A|B)P(B) P(A) . (1.1) 3 1. Bayesiánsky prístup 4 1.2 Apriórna a aposteriórna hustota, vierohodnostná funkcia Apriórna a aposteriórna hustota pravdepodobnosti sú spolu s vierohodnostnou funkciou základnými nástrojmi bayesiánskej ekonometrie. Ich význam, ako aj odlišnosť bayesiánskeho a klasického prístupu, ilustruje jednoduchý príklad s hádzaním mince. Nech y = 1 v prípade, že hodená minca ukazuje hlavu a y = 0 inak. Označme pravdepodobnosť, že padne hlava P(y = 1) = θ a predpokladajme, že je konštantná pre každý pokus. Pre takto zvolený model je θ parameter a hodnota y = (y1, y2, . . . , yn) sú dáta, kde yi je výsledok i-tého hodu. Potom y má Bernoulliho (alternatívne) rozdelenie y ∼ Be(θ). Klasický prístup skúma rozdelenie y pre dané θ, pretože dáta sú považované za výsledok veľkého počtu opakovaní experimentu s n hodmi mincou. Parameter θ je neznáme číslo medzi nulou a jednou, ale neuvažujeme jeho pravdepodobnostné rozdelenie, pretože nie je považovaný za výstup opakovaného experimentu. S využitím bayesiánskeho prístupu môžme θ považovať za spojitú náhodnú veličinu a prideliť jej pravdepodobnostné rozdelenie. Pred tým, než máme k dispozícii dáta, hovoríme o apriórnom rozdelení s hustotou pravdepodobnosti π(θ), kde 0 ≤ θ ≤ 1. Apriórna hustota pravdepodobnosti tvorí ďalší rozdiel medzi klasickou a bayesiánskou ekonometriou a jej prípadná kritika sa často opiera o vnášanie subjektívnych názorov do objektívnej analýzy. Po preskúmaní dát hovoríme už o aposteriórnom rozdelení s hustotou pravdepodobnosti π(θ|y). Pre takto zavedené hustoty môžme upraviť Bayesov vzorec (1.1) nahradením A = θ a B = y. Pre prípad diskrétneho y získame π(θ|y) = p(y|θ)π(θ) p(y) , (1.2) kde p(y) = p(y|θ)π(θ) dθ. V prípade, že y je spojitá náhodná veličina, upravíme rovnicu (1.2) do tvaru π(θ|y) = f(y|θ)π(θ) f(y) , (1.3) kde f(y) = f(y|θ)π(θ) dθ. Tieto úpravy Bayesovho vzorca majú výhodu v tom, že v sebe zahŕňajú tri dôležité funkcie pre bayesiánsku analýzu. Prvou je apriórna hustota π(θ), ktorá predstavuje naše očakávanie rozdelenia θ pred pozorovaním dát y. Druhá, aposteriórna hustota π(θ|y), v sebe spája 1. Bayesiánsky prístup 5 očakávania a informácie získané z pozorovaných dát. Poslednou je podmienená hustota pravdepodobnosti dát f(y|θ), ktorú nazývame vierohodnostná funkcia. Jej integrál podľa θ nie je rovný jednej, preto nie je pravou hustotou náhodnej veličiny θ. Výraz f(y) normalizuje aposteriórne rozdelenie a keďže nie je závislý na θ, môžme vzťah (1.3) upraviť do podoby π(θ|y) ∝ f(y|θ)π(θ), (1.4) ktorú interpretujeme tak, že aposteriórna hustota je proporcionálna súčinu vierohodnostej funkcie a apriórnej hustoty. Ako sme ukázali, apriórne rozdelenie vyjadruje naše očakávania o parametri θ. Parametre apriórneho rozdelenia nazývame hyperparametre. Jednou z obvyklých volieb apriórneho rozdelenia býva napr. beta rozdelenie s apriórnou hustotou π(θ) = Γ(α + β) Γ(α)Γ(β) θα−1 (1 − θ)β−1 , 0 ≤ θ ≤ 1, α, β > 0. V tomto prípade sú α a β hyperparametre. Konjugované apriórne rozdelenie je také, pre ktoré apriórna aj aposteriórna hustota majú rovnakú triedu rozdelení. Prirodzene konjugované apriórne rozdelenie má navyše rovnakú podobu funkčného predpisu ako vierohodnostná funkcia. Táto vlastnosť nám umožňuje apriórnu hustotu interpretovať tak, akoby pochádzala z fiktívneho dátového súboru, ktorý bol generovaný rovnakým procesom ako dáta y. Špeciálnou apriórnou hustotou je neinformatívna apriórna hustota, ktorú volíme v prípade, kedy nevieme alebo nechceme vnášať do modelu apriórne očakávania. Neinformatívna apriórna hustota tvorí prepojenie medzi klasickým a bayesiánskym prístupom. 1.3 Práca s modelmi Okrem odhadu parametrov modelu je pre ekonometrov dôležité aj porovnávanie jednotlivých modelov, prípadne výber toho, ktorý najlepšie popisuje skutočné dáta y. Bayesiánsky prístup využíva pre tieto účely konštrukciu aposteriórneho podielu šancí. 1.3.1 Porovnávanie modelov Predpokladajme, že chceme porovnať dva modely M1 a M2 popisujúce rovnaké dáta y. Oba modely vyjadríme pomocou apriórnej hustoty πi(θi) a vierohodnostnej funkcie fi(y|θi), i = 1, 2. Každému modelu môžeme pripísať jeho apriórnu pravdepodobnosť P(Mi) = pi, ktorá vyjadruje našu dôveru 1. Bayesiánsky prístup 6 k danému modelu bez ohľadu na použité dáta. Pre porovnanie schopnosti modelov čo najlepšie popísať reálne dáta y bude kľúčová aposteriórna pravdepodobnosť modelu P(Mi|y), i = 1, 2. V uvažovanom prípade dvoch modelov platí P(M2|y) = 1−P(M1|y). S využitím Bayesovho vzorca (1.1) môžme odvodiť P(M1|y) = P(M1)f1(y|M1) f(y) = p1 f1(y, θ1|M1) dθ1 f(y) = p1 f1(y|θ1, M1)π1(θ1|M1) dθ1 f(y) , kde f(y) = p1 f1(y|θ1, M1)π1(θ1|M1) dθ1 + p2 f2(y|θ2, M2)π2(θ2|M2) dθ2. Oba sčítance výrazu f(y) obsahujú integrál z vierohodnostnej funkcie s ohľadom na apriórne rozdelenie. Tento integrál sa nazýva marginálna vierohodnosť mi(y) a vyjadruje očakávanú hodnotu vierohodnostnej funkcie vzhľadom k apriórnemu rozdeleniu. Bayesiánsky prístup využíva pre porovnávanie dvoch modelov (aposteriórny) podiel šancí, ktorý je konštruovaný ako podiel aposteriórnych pravdepodobností oboch modelov: R12 = P(M1|y) P(M2|y) = p1 p2 f1(y|θ1, M1)π1(θ1|M1) dθ1 f2(y|θ2, M2)π2(θ2|M2) dθ2 = p1 p2 m1(y) m2(y) . (1.5) Prvý člen na pravej strane rovnice (1.5) obsahuje podiel apriórnych pravdepodobností modelov, preto sa označuje ako apriórny podiel šancí. Podiel marginálnych vierohodností nazývame Bayesov faktor B12. Ak nadobudne aposteriórny podiel šancí vysokú hodnotu, uprednostníme prvý model pred druhým. Ak naopak bude R12 malý, potom druhý model popisuje dáta lepšie. Ak bude R12 približne rovný 1, sú modely rovnako úspešné. Kvôli veľmi vysokým a veľmi nízkym hodnotám R12 ho v praxi často nahrádza log10(R12). Tabuľka 1.1 ukazuje použitie log10(R12) pri posudzovaní dôvery modelu M1 na 5% hladine významnosti. Autorom tejto tabuľky je 1. Bayesiánsky prístup 7 Jeffreys, ktorý ju uverejnil v [4]. V prípade, že nevieme modelom priradiť ich apriórne pravdepodobnosti alebo ich nechceme použiť, porovnávame modely pomocou Bayesovho faktoru. log10(R12) > 2 Úplná dôvera M1 3 2 < log10(R12) < 2 Veľmi silná dôvera M1 1 < log10(R12) < 3 2 Silná dôvera M1 1 2 < log10(R12) < 1 Nižšia dôvera M1 0 < log10(R12) < 1 2 Slabá dôvera M1 Tabuľka 1.1: Použitie podielu šancí 1.3.2 Bayesiánske priemerovanie a vylepšovanie Porovnávanie modelov či už pomocou aposteriórneho podielu šancí alebo iba Bayesovho faktoru umožní rozhodnúť, ktorý z dvojice modelov je lepší, teda ktorý lepšie popisuje dáta y. Najmä v prípade malých rozdielov úspešnosti modelov sa vďaka využitiu bayesiánskeho prístupu ponúka možnosť použiť viacero modelov. Táto technika sa nazýva bayesiánske priemerovanie a používa sa napr. pre stanovenie predikcie, teda pre určenie nami očakávanej hodnoty vysvetľovanej premennej pri daných konkrétnych hodnotách vysvetľujúcich premenných. Uvažujme vo všeobecnosti m modelov popisujúcich rovnaký súbor dát. Potom výslednú predikciu yf môžme získať ako vážený priemer predikcií jednotlivých modelov: f(yf |y) = m i=1 p(Mi|y)fi(yf |y, Mi) = m i=1 p(Mi|y) fi(yf |θi, y, Mi)πi(θi|y, Mi) dθi Ako poslednú techniku práce s regresnými modelmi bayesiánskej ekonometrie popíšeme vylepšovanie (updating) modelov. Nech θ je parameter alebo vektor parametrov a y1 je prvý súbor dát, ktorý získame. Ako sme si ukázali v predchádzajúcej sekcii, aposteriórna hustota je proporcionálna súčinu vierohodnostej funkcie a apriórnej hustoty. Pre náš prvý súbor dát píšeme π(θ|y1) ∝ f(y1|θ)π(θ). Ďalej predpokladajme, že sa nám dodatočne podarí získať druhý súbor dát. Naším cieľom je vypočítať aposteriórnu hustotu pravdepodobnosti nového 1. Bayesiánsky prístup 8 modelu s dvomi súbormi dát π(θ|y1, y2). S využitím vzťahov (1.3) a (1.4) odvodíme π(θ|y1, y2) ∝ f(y1, y2|θ)π(θ) = f(y2|y1, θ)f(y1|θ)π(θ) = f(y2|y1, θ)π(θ|y1). (1.6) Rovnica (1.6) má znovu tvar súčinu vierohodnostnej funkcie a hustoty θ, ale v tomto prípade ide o aposteriórnu hustotu z prvého súboru dát, ktorá vstupuje v úlohe apriórnej hustoty pre druhé dáta. Keby sme teraz získali tretiu sériu dát y3, potom by aposteriórna hustota π(θ|y1, y2) plnila funkciu apriórnej hustoty pre výpočet π(θ|y1, y2, y3). Tento proces ukazuje, že apriórnu hustotu môžme vždy chápať ako hustotu odvodenú na základe predchádzajúcich dát. Navyše, ak sú súbory dát nezávislé, potom sa vo vzťahu (1.6) zjednoduší vierohodnostná funkcia f(y2|y1, θ) do podoby f(y2|θ). Kapitola 2 Lineárny regresný model 2.1 Predpoklady a odvodenie vierohodnostnej funkcie Lineárny regresný model patrí pre svoju relatívnu jednoduchosť a široké možnosti použitia k obľúbeným ekonometrickým modelom. Definícia 2.1. Nech yi, i = 1, . . . , n, sú pozorovania závislej premennej, ktorú sa pokúšame vysvetliť alebo predikovať. Ďalej nech x′ i = (xi1, xi2, . . ., xiK) je K zložkový vektor vysvetľujúcich premenných. Potom vzťah x′ i a yi môžeme vyjadriť pomocou lineárneho regresného modelu yi = β1xi1 + β2xi2 + · · · + βKxiK + εi = x′ iβ + εi, kde β = (β1, . . ., βK)′ je vektor neznámych regresných koeficientov a εi je náhodná zložka. S využitím zápisu pomocou vektorov a matíc získame kompaktnú podobu lineárneho regresného modelu zahŕňajúcu všetkých n pozo- rovaní: y = Xβ + ε, kde y = (y1, . . . , yn)′ , ε = (ε1, . . . , εn)′ a X je matica typu n × K X =      x11 x12 · · · x1K x21 x22 · · · x2K ... ... ... ... xn1 xn2 · · · xnK      . Pre ďalšie odvodenia označme stĺpce matice X ako xik, pre k = 1, . . . , K. 9 2. Lineárny regresný model 10 Rozpracovanie lineárneho regresného modelu sa opiera o niekoľko dôležitých predpokladov. Prvým z nich je normálne rozdelenie náhodných zložiek εi|xi ∼ N(0, σ2 ), kde σ2 je neznáme. Druhým predpokladom je nezávislosť každého xik na εi. Navyše predpokladáme nezávislosť x′ i na parametroch β. Posledným predpokladom dôležitým pre ďalšie odvodenia je nezávislosť εi. S využitím predchádzajúceho predpokladu normality εi môžeme pre n pozorovaní odvodiť vierohodnostnú funkciu f(y1, . . . , yn|β, σ2 ) = f(y1|β, σ2 )f(y2|β, σ2 ) · · · f(yn|β, σ2 ) = 1 2πσ2 n/2 exp − 1 2σ2 n i=1 (yi − x′ iβ)2 = 1 2πσ2 n/2 exp − 1 2σ2 (y − Xβ)′ (y − Xβ) ∝ 1 σ2 n/2 exp − 1 2σ2 (y − Xβ)′ (y − Xβ) . (2.1) Pri odvodení sme najprv transformovali εi s využitím vzťahu yi − x′ iβ = εi a nakoniec sme absorbovali (2π)−n/2 do koeficientu proporcionality. 2.2 Vlastná a nevlastná apriórna hustota Apriórnu hustotu delíme z hľadiska integrovateľnosti na vlastnú a nevlastnú. Vlastná apriórna hustota má integrál rovný jednej, kým integrál z nevlastnej je nekonečno. Typickým príkladom nevlastnej apriórnej hustoty je neinformatívna apriórna hustota, ktorú používame ak nepoznáme apriórne informácie alebo nimi nechceme model ovplyvňovať. Príklad. Majme náhodný výber generovaný normálnym rozdelením s neznámou strednou hodnotou µ. Našu neinformovanosť o µ je rovnomerné rozloženie π(µ) ∝ c, c > 0. Táto apriórna hustota je ale nevlastná, pretože jej integrál je neohraničený. V praxi sa so situáciou vykreslenou v predchádzajúcom príklade stretávame len zriedka. Výskumník má vo väčšine prípadov k dispozícii dostatok informácií na špecifikovanie vlastnej apriórnej hustoty. Je teda schopný určiť rôzne pravdepodobnosti pre prípad, že koeficient spadne do rôznych intervalov. Preto býva prípadná voľba neinformatívnej apriórnej hustoty motivovaná hlavne záujmom nezanášať do modelu apriórne informácie. 2. Lineárny regresný model 11 Pre porovnávanie modelov pomocou Bayesovho faktoru a aposteriórneho podielu šancí je kľúčové určenie vlastného apriórneho rozdelenia. Z rovnice (1.5) sme odvodili Bayesov faktor ako podiel marginálnych vierohodností. V prípade nevlastného apriórneho rozdelenia cπ(·), c > 0, získame marginálnu vierohodnosť f(y|M) = f(y|θ, M)cπ(θ|M) dθ, ktorá je závislá na voľbe konštanty c, a tak môže nadobudnúť ľubovolnú kladnú hodnotu. V prípade porovnávania dvojice modelov s nevlastnou apriórnou hustotou pomocou Bayesovho faktoru, píšeme B12 = f1(y|θ1, M1)c1π1(θ1|M1) dθ1 f2(y|θ2, M2)c2π2(θ2|M2) dθ2 = c1 c2 f1(y|θ1, M1)π1(θ1|M1) dθ1 f2(y|θ2, M2)π2(θ2|M2) dθ2 . Keďže konštanty c1 a c2 sú ľubovoľné, Bayesov faktor môže nadobudnúť akúkoľvek hodnotu a je teda neúčinným nástrojom pre potreby porovnávania dvoch modelov, z ktorých má aspoň jeden nevlastnú apriórnou hustotu. 2.3 Konjugovaná a podmienene konjugovaná apriórna hustota V závere podkapitoly 1.2 sme zaviedli pojem konjugovanej apriórnej hustoty vo všeobecnosti. V prípade lineárneho regresného modelu hovoríme o konjugovanej apriórnej hustote ak sú apriórne rozdelenie π(β, σ2 ) a aposteriórne rozdelenie π(β, σ2 |y) z rovnakej triedy rozdelení. O dvoch rôznych rozdeleniach pravdepodobností povieme, že pochádzajú z rovnakej triedy rozdelení, ak majú rovnakú formu a rôzne parametre. Lineárny regresný model s vierohodnostnou funkciou v tvare (2.1) má konjugované apriórne rozdelenie nazývané normálne - inverzné gamma rozdelenie s apriórnou hustotou v tvare π(β, σ2 ) = π(β|σ2 )π(σ2 ) = NK(β|β0, σ2 B0)IG(σ2 |α0/2, δ0/2), (2.2) kde α0, δ0, β0 a B0 sú známe hyperparametre. Dôkaz toho, že sa skutočne jedná o konjugovanú apriórnu hustotu uvádza Greenberg v [3, strana 45]. 2. Lineárny regresný model 12 Pre lineárny regresný model s konjugovanou apriórnou hustotou, ako pre jeden z mála modelov, existuje analytické vyjadrenie marginálnych aposteriórnych rozdelení β a σ2 . Marginálna aposteriórna hustota parametru σ2 pochádza z normálneho - inverzného gamma rozdelenia π(σ2 |y) = IG(α1/2, δ1/2), kde α1 = α0 + n, δ1 = δ0 + y′ y + β′ 0B−1 0 β0 − β ′ B−1 1 β a marginálna aposteriórna hustota parametru β pochádza zo študentovho t rozdelenia s K stupňami voľnosti π(β|y) = tK(α1, β, (δ1/α1)B1), kde B1 = (X′ X + B−1 0 )−1 , β = B1(X′ y + B−1 0 β0). Problematike špecifikácie hodnôt hyperparametrov, ktorá pre účely tejto práce nie je kľúčová, sa nebudeme venovať. Podrobne ju na príklade vplyvu členstva v odboroch na výšku mzdy rozoberá Greenberg v [3, stany 47-50]. Apriórne rozdelenie parametrov sa zvyčajne volí tak, aby uľahčilo odvodenie aposteriórnej hustoty. Ideálnou voľbou je konjugovaná apriórna hustota, ktorú ale niekedy nie je možné použiť v konkrétnych modeloch. Použitie podmienene konjugovanej apriórnej hustoty dáva možnosť simulácie aposteriórnej hustoty pomocou Gibbsovho vzorkovača, ktorý bude predstavený v nasledujúcej podkapitole. Definícia 2.2. Ak podmienené aposteriórne rozdelenie spadá do rovnakej triedy rozdelení ako apriórne rozdelenie, hovoríme o podmienene konjugovanej apriórnej hustote. Odvodenie podmienene konjugovanej apriórnej hustoty ukazuje dôležitosť predpokladu závislosti parametrov β a σ2 apriórnej hustoty normálneho inverzného gamma rozdelenia (2.2). Predpokladajme naopak nezávislosť parametrov apriórnej hustoty π(β, σ2 ) = π(β)π(σ2 ) ∝ exp − 1 2 (β − β0)′ B−1 0 (β − β0) 1 2σ2 α0/2+1 exp − δ0 2σ2 . 2. Lineárny regresný model 13 Aposteriórnu hustotu získame vynásobením apriórnej hustoty a vierohodnostnej funkcie (2.1). V tomto rozdelení sú parametre β a σ2 tak previazané, že ich nie je možné rozdeliť na súčin či už dvoch marginálnych rozdelení alebo marginálneho a podmieneného rozdelenia. V tomto prípade si všimneme podmienené aposteriórne rozdelenia β a σ2 . Pri ich odvodeniach sa do proporcionálnej konštanty zlúčili všetky výrazy neobsahujúce β respektíve σ2 . Výsledkom je π(β|σ2 , y) ∝ exp − 1 2 (β − β)′ B−1 1 (β − β) , π(σ2 |β, y) ∝ 1 σ2 α1/2+1 exp − δ1 2σ2 , kde B1 = [σ−2 X′ X + B−1 0 ]−1 , β = B1[σ−2 X′ y + B−1 0 β0], α1 = α0 + n, δ1 = δ0 + (y − Xβ)′ (y − Xβ). Zo zápisu podmienených aposteriórnych rozdelení je vidieť, že β|σ2 , y má viacrozmerné normálne rozdelenie so strednou hodnotou β a variančnou maticou B1. V druhom prípade má parameter σ2 |β, y inverzné gamma rozdelenie IG(α1/2, δ1/2). Keďže apriórna hustota má normálne - inverzné gamma rozdelenie, ide skutočne o podmienene konjugovanú apriórnu hustotu. 2.4 Monte Carlo integrácia a Gibbsov vzor- kovač Pre potreby tejto podkapitoly nahradíme rozptyl σ2 veličinou presnosť chyby h, pričom platí h = 1 σ2 . Lineárny regresný model s takto špecifikovanými parametrami má apriórnu hustotu z normálneho - gamma rozdelenia. Pri skúmaní hodnôt parametrov β a h lineárneho regresného modelu alebo ich nelineárnych funkcií g(β), respektíve g(h) môžme naraziť na problém, že aposteriórna hustota pre g(β) alebo g(h) nebude spadať do triedy hustôt so známymi analytickými vlastnosťami. V takomto prípade je nevyhnutné použiť aposteriórne simulačné metódy, ktoré rozpracováva Němec v [6, strany 44-46, 58-60]. Najjednoduchším simulačným algoritmom je Monte Carlo in- tegrácia. 2. Lineárny regresný model 14 Veta 2.1 (Monte Carlo integrácia). Nech β(s) pre s = 1, . . . , S je náhodný výber z π(β|y), g(·) je funkcia a definujme ˆgS = 1 S S s=1 g(β(s) ). (2.3) Potom ˆgS konverguje k E[g(β)|y] pre S −→ ∞. Pomocou algoritmického zápisu môžme zhrnúť odhad E[g(β)|y] pre akúkoľvek funkciu parametrov pomocou Monte Carlo integrácie do štvorice krokov: 1. Vygenerujeme náhodný výber β(s) z aposteriórnej hustoty pre β. 2. Vypočítame g(β(s) ). 3. Prvé dva kroky opakujeme S-krát. 4. Vypočítame priemer S náhodných výberov g(β(1) ), . . . , g(β(S) ). Monte Carlo integrácia poskytuje odhad E[g(β)|y] na základe náhodných výberov z aposteriórnej hustoty pravdepodobnosti π(β|y). Často však nie je možné urobiť náhodný výber priamo z π(β|y), ale len z podmienených aposteriórnych hustôt. V takomto prípade je užitočným nástrojom Gibbsov vzorkovač. Uvažujme teda vo všeobecnosti p-rozmerný vektor parametrov θ, apriórnu hustotu π(θ), aposteriórnu hustotu π(θ|y) a vierohodnostnú funkciu f(y|θ). V prípade lineárneho regresného modelu platí θ = (β′ , h)′ . Vektor parametrov θ rozdelíme do B blokov θ = (θ′ (1), θ′ (2), . . . , θ′ (B))′ tak, že θ(j) pre j = 1, 2, . . ., B je skalár alebo vektor. Pre lineárny regresný model volíme B = 2, a teda θ(1) = β a θ(2) = h. Príklad. Uvažujme prípad, kedy B = 2 a predpokladajme, že máme daný počiatočný náhodný výber θ (0) (2) z π(θ(2)|y). Keďže platí π(θ|y) = π(θ(1)|y, θ(2))π(θ(2)|y), platí, že výber z π(θ(1)|y, θ (0) (2)) je výberom θ(1) z π(θ|y). Označme tento výber ako θ (1) (1). Naopak, keďže platí aj π(θ|y) = π(θ(2)|y, θ(1))π(θ(1)|y), platí, že výber z π(θ(2)|y, θ (1) (1)) je platným výberom θ(2) z π(θ|y). Získame teda vektor parametrov θ(1) = (θ (1)′ (1) , θ (2)′ (1) )′ , ktorý je výberom z π(θ|y). Analogickým postupom dokážeme vytvoriť vektor parametrov θ(2) , θ(3) , . . . Z predchádzajúceho príkladu je vidieť, že ak sme schopní nájsť θ (0) (2), tak pomocou sekvenčných výberov z podmienenej aposteriórnej hustoty vieme získať postupnosť náhodných výberov z aposteriórnej hustoty. Takto pracujúci aposteriórny simulátor nazývame Gibbsov vzorkovač, ktorého algoritmus pre B blokov zapíšeme: 2. Lineárny regresný model 15 • Krok 0: Zvolíme počiatočnú hodnotu vektoru parametrov θ(0) . Pre s = 1, 2, . . ., S: • Krok 1: Vytvoríme náhodný výber θ (s) (1) z podmienenej aposteriórnej hustoty π(θ(1)|y, θ (s−1) (2) , θ (s−1) (3) , . . . , θ (s−1) (B) ). • Krok 2: Vytvoríme náhodný výber θ (s) (2) z podmienenej aposteriórnej hustoty π(θ(2)|y, θ (s) (1), θ (s−1) (3) , . . . , θ (s−1) (B) ). • Krok B: Vytvoríme náhodný výber θ (s) (B) z podmienenej aposteriórnej hustoty π(θ(B)|y, θ (s) (1), θ (s) (2), . . . , θ (s) (B−1)). Takto získame spolu S výberov, θ(s) , pre s = 1, 2, . . ., S. Aby sme vylúčili efekt voľby počiatočného vektoru parametrov θ(0) , vyradíme prvých S0 výberov a použijeme len zostávajúcich S1, pričom platí S = S0 + S1. Pre ponechaných S1 výberov modifikujeme vzťah (2.3) pre výpočet Monte Carlo integrácie do podoby ˆgS1 = 1 S1 S s=S0+1 g(θ(s) ) (2.4) a hovoríme, že ˆgS1 konverguje k E[g(θ)|y] pre S1 −→ ∞. Použitie Gibbsovho vzorkovača má oproti samotnej Monte Carlo integrácii dve nevýhody: 1. Pri použití Gibbsovho vzorkovača sa musíme uistiť, že voľba θ(0) nemá vplyv na výsledky. 2. Vektory θ(s) a θ(s−1) nie sú nezávislé, pretože θ (s) (j) závisí na θ (s−1) (l) pre j = 1, . . . , B − 1 a l > j. V praxi to znamená, že pre rovnakú úroveň presnosti simulácie musíme pri použití Gibbsovho vzorkovača vygenerovať oveľa väčšie množstvo výberov než pri použití Monte Carlo integrácie. Skutočnosť, že vektory θ(s) a θ(s−1) nie sú nezávislé, znamená, že sekvencie tvoria Markovov reťazec. Okrem Gibbsovho vzorkovača existujú aj ďalšie aposteriórne simulátory s touto vlastnosťou a súhrnne ich označujeme ako MCMC (Markov Chain Monte Carlo) algoritmy. Kapitola 3 Modely s obmedzenými vysvetľovanými premennými Modely s obmedzenými vysvetľovanými premennými, ktorým sa venuje táto kapitola, majú podobu lineárneho regresného modelu y∗ i = x′ iβ + εi, εi ∼ N(0, σ2 ), (3.1) ale nie sú pozorované niektoré alebo všetky zložky y∗ i , nazývané latentné dáta. Podľa toho, ako sú pozorované yi závislé na latentných y∗ i , rozlišujeme niekoľko modelov obmedzených vysvetľovaných premenných. 3.1 Tobit model Model pracujúci s tzv. cenzurovanými dátami nazývame Tobit model. Cenzurované dáta sú také, pre ktoré hodnota y v danom intervale je vykazovaná ako daná konštanta. Greenberg v [3, strana 118] rozlišuje dva základné druhy cenzúrovaných dát: 1. Zhora ohraničené dáta: hodnoty yi sú vykazované len pre yi ≤ Y , pre hodnoty yi > Y je vykazovaná hodnota Y . Príkladom môžu byť dáta o príjme, kde hodnoty príjmu prekračujúce určitú hodnotu, napr. $200 000, budú vykazované ako $200 000. Pozorovania sú teda kombináciou spojitých dát pre yi ≤ Y a množstvom pozorovaní hodnoty Y . Tento model predpokladá, že vektor vysvetľujúcich premenných xi je pozorovaný pre všetky i. 2. Výsledky krajných riešení: hodnoty yi sú nútene ohraničené. Napríklad, výdaje na trvanlivé potraviny musia byť nezáporné alebo dopyt po lístkoch na futbal je obmedzený kapacitou štadióna. V prvom prípade 16 3. Modely s obmedzenými vysvetľovanými premennými 17 bude viacero domácností vykazovať nulové výdaje, respektíve v druhom prípade nebude prekročená kapacita štadióna ani v prípade nízkych cien lístkov. V nasledujúcich odvodeniach uvažujme modifikáciu modelu so zhora ohraničenými dátami. Model, pre ktorý budú dáta obmedzené zdola na hodnote Y = 0 zapíšeme ako yi = x′ iβ + εi, ak x′ iβ + εi > 0 0, inak , kde εi ∼ N(0, σ2 ) a i = 1, . . ., n. Alternatívne môžme model zapísať ako yi = y∗ i 1(x′ iβ+εi > 0) a pozorovania, pre ktoré yi = 0, označíme ako množinu C = {i : yi = 0}. Keďže ide o model podobný lineárnemu regresnému modelu, uvažujeme normálne rozdelenie apriórnej hustoty pre β a inverzné gamma rozdelenie pre apriórnu hustotu σ2 (gamma rozdelenie pre h = 1 σ2 ). Latentné dáta, ktoré sú definované len pre i ∈ C, označme ako y∗ Ci a vektor latentných dát ako y∗ C. V kontexte tohto značenia definujme y∗ i = y∗ Ci , ak i ∈ C yi, ak i ∈ C a vektor y∗ = (y∗ 1, . . . , y∗ n)′ . Potom zložka vierohodnostnej funkcie pre i-té pozorovanie má podobu f(yi|β, σ2 , y∗ Ci ) = 1(yi = 0)1(y∗ Ci ≤ 0) + 1(yi > 0)N(yi|x′ iβ, σ2 ), kde N(·|µ, σ2 ) je hustota normálneho rozdelenia so strednou hodnotou µ a rozptylom σ2 . Apriórna hustota pre parametre modelu β a σ2 a pre y∗ C bude mať tvar π(β, σ2 , y∗ C) = π(y∗ C|β, σ2 )π(β)π(σ2 ), kde π(y∗ C|β, σ2 ) = i∈C N(y∗ Ci |x′ iβ, σ2 ). Vo väčšine prípadoch sa jedná o podmienene konjugovanú apriórnu hustotu β ∼ N(β0, B0) a σ2 ∼ IG(α0/2, δ0/2). So znalosťou apriórnej hustoty aj vierohodnostnej funkcie môžme odvodiť aposteriórnu hustotu. Pri úpravách využijeme π(y∗ Ci |β, σ2 ) = N(y∗ i |x′ iβ, σ2 ) a predpoklad normálneho inverzného 3. Modely s obmedzenými vysvetľovanými premennými 18 gamma rozdelenia apriórnej hustoty: π(β, σ2 , y∗ C|y) = n i=1 1(yi = 0)1(y∗ Ci ≤ 0) + 1(yi > 0)N(yi|x′ iβ, σ2 ) × π(y∗ C|β, σ2 )π(β)π(σ2 ) = n i=1 1(yi = 0)1(y∗ Ci ≤ 0) + 1(yi > 0) N(y∗ i |x′ iβ, σ2 ) × π(β)π(σ2 ) ∝ n i=1 1(yi = 0)1(y∗ Ci ≤ 0) + 1(yi > 0) × 1 σ2 n/2 exp − 1 2σ2 (y∗ , Xβ)′ (y∗ , Xβ) × exp − 1 2 (β − β0)′ B−1 0 (β − β0) 1 σ2 α0/2−1 exp − δ0 2σ2 . 3.2 Binárny Probit model Ďalším z modelov s obmedzenými vysvetľovanými premennými je binárny probit model, ktorý sa používa v situácii, keď yi môže nadobudnúť jednu z dvoch hodnôt, ktoré označujeme ako 0 a 1. Príkladom takejto situácie môže byť členstvo v odboroch, kde yi = 1 vyjadruje, že zamestnanec i je členom odborov a yi = 0 vyjadruje, že nie je. Iným príkladom je voľba medzi cestou automobilom (yi = 1) alebo verejnou dopravou (yi = 0). Existuje spojitosť medzi lineárnym regresným modelom a modelom pracujúcim s binárnymi dátami. Predpokladom lineárneho regresného modelu je E(yi) = x′ iβ. Zovšeobecnením tohto predpokladu získame generalizovaný lineárny model (GLM) E(yi) = G(x′ iβ), kde funkcia G(·) sa nazýva väzobná funkcia a určuje sa s ohľadom na druh modelovaných dát. Lineárny regresný model je len špeciálnym prípadom generalizovaného lineárneho modelu, kde G(x′ iβ) = x′ iβ. Pre probit model pracujúci s binárnou závislou premennou y býva obvyklou voľbou väzobnej funkcie G(·) distribučná funkcia štandardizovaného normálneho rozdelenia Φ(·). Binárny probit model tak predpokladá E(yi) = P(yi = 1) = Φ(x′ iβ). Model môžme zapísať s pomocou latentných dát ako y∗ i = x′ iβ + εi, εi ∼ N(0, 1), 3. Modely s obmedzenými vysvetľovanými premennými 19 yi = 0, ak y∗ i ≤ 0 1, inak . Stanovenie apriórneho rozdelenia parametru β vychádza z interpretácie βk v lineárnom regresnom modeli ako ∂E(y) ∂xk . Zovšeobecnením pre GLM získame ∂E(y∗ i ) ∂xik = βk ∂G(x′ iβ) ∂xik (3.2) a špeciálne pre normálne rozdelenie a probit model ∂E(y∗ i ) ∂xik = βkφ(x′ iβ), kde φ(·) je hustota pravdepodobnosti normálneho rozdelenia. Problematiku určenia apriórnej hustoty parametru β možno riešiť dvoma spôsobmi. Prvým z nich je zistiť hodnotu x′ iβ, pri ktorej má xik najväčší vplyv na vysvetľované yi. Pre normálne rozdelenie, ktoré uvažujeme, má φ(·) svoje maximum pri splnení x′ iβ = 0. Vyčíslením zistíme, že maximálny vplyv, ktorý má xk na vysvetľovanú premennú y, je približne 0, 4βk. Druhý spôsob určenia apriórnej hustoty je uvažovať P(yi = 1|β) pre rôzne hodnoty vysvetľujúcich premenných a podľa nich stanovovať hodnoty parametru. Podobne ako pre tobit model, aj pre binárny probit zapíšeme zložku vierohodnostnej funkcie pre i-té pozorovanie ako p(yi|y∗ i ) = 1(yi = 0)1(y∗ i ≤ 0) + 1(yi = 1)1(y∗ i > 0). Za predpokladu normálneho rozdelenia apriórnej hustoty parametru β a vyššie uvedenej vierohodnostnej funkcie odvodíme aposteriórnu hustotu v tvare π(β, y∗ |y) = p(yi|y∗ i )f(y∗ i |β)π(β) = [1(yi = 0)1(y∗ i ≤ 0) + 1(yi = 1)1(y∗ i > 0)] × Nn(y∗ |Xβ, I)NK(β, β0, B0). 3.3 Binárny Logit model Ďalším modelom pracujúcim s binárnymi vysvetľovanými premennými je binárny logit model. Jeho väzobná funkcia je odvodená ako G(x′ iβ) = P(yi = 1) = Pi = exp [x′ iβ] 1 + exp [x′ iβ] . 3. Modely s obmedzenými vysvetľovanými premennými 20 V podobe latentných dát môžeme logit model zapísať ako y∗ i = x′ iβ + εi, kde εi má logistické rozdelenie pravdepodobnosti s distribučnou funkciou v tvare F(εi) = P(Ei ≤ εi) = eεi /(1 + eεi ) a hustotou pravdepodobnosti λ(εi) = eεi /(1 + eεi )2 . Zo zápisu logit funkcie pre binárnu voľbu logit(Pi) ≡ log P(yi = 1) P(yi = 0) = log Pi 1 − Pi = x′ iβ vidieť, že logaritmus podielu šancí je lineárna funkcia vysvetľujúcich premen- ných. Úpravou vzťahu (3.2), ktorý interpretuje βk, pre binárny logit model získame ∂Pi ∂xik = βk ∂G(x′ iβ) ∂xik = βkPi(1 − Pi). Výraz nadobúda maximálnu hodnotu pre Pi = 1/2, z čoho vyplýva, že xk má na vysvetľovanú premennú y vplyv maximálne 0, 25βk. Porovnaním týchto hodnôt pre logit a probit model v prípade, že modelujeme rovnaké dáta, získame maximálny vplyv xk na y 0, 4βpk = 0, 25βlk. Z toho vyplýva βlk = 1, 6βpk, respektíve βpk = 0, 625βlk. Kapitola 4 Porovnanie binárnych probit a logit modelov Ako praktická ukážka binárnych probit a logit modelov poslúži príklad skúmajúci vlastníctvo počítačov v amerických domácnostiach. Cieľom tejto ukážky je vytvoriť binárny logit a binárny probit model pre rovnaké dáta a s využitím rovnakých apriórnych informácií. Takto zostavené modely bude možné objektívne porovnať a zhodnotiť ich spoločné a rozdielne vlastnosti. Príklad je vypracovaný v programe WinBUGS, ktorý ako aposteriórny simulátor využíva Gibbsov vzorkovač. Okrem tohto programu je dostupných viacero softvérov pre bayesiánsku ekonometriu, napr. BACC, R alebo Matlab s ekonometrickým toolboxom. 4.1 Spracovanie dát Dáta pochádzajúce z prieskumu U.S. Census Bureau1 z roku 2000 obsahujú údaje z takmer 135 000 domácností. Pre potreby tohto príkladu som z nich náhodne vybral 300 pozorovaní. Dátový súbor, ktorého ukážka je uvedená v prílohe, obsahuje tri vektory. Vektor binárnej vysvetľovanej premennej pci zohľadňuje, či i-tá domácnosť vlastní počítač: pci = 0, ak domácnosť nevlastní PC 1, ak domácnosť vlastní PC . Do modelu vstupuje dvojica vysvetľujúcich premenných prii a vzdi. Vektor prii zachytáva príjmy všetkých členov domácnosti za posledný rok a podľa toho delí domácnosti do 14 skupín takým spôsobom, aký je znázornený 1 http://www.census.gov 21 4. Porovnanie binárnych probit a logit modelov 22 v tabuľke 4.1. Vysvetľujúca premenná vzdi je binárna a nadobúda hodnoty vzdi = 1 ak má niekto z domácnosti minimálne bakalársky vysokoškolský titul, respektíve vzdi = 0 ak žiaden člen domácnosti nemá vysokú školu. 1 menej než $5000 2 $5000 až $7499 3 $7500 až $9999 4 $10000 až $12499 5 $12500 až $14999 6 $15000 až $19999 7 $20000 až $24999 8 $25000 až $29999 9 $30000 až $34999 10 $35000 až $39999 11 $40000 až $49999 12 $50000 až $59999 13 $60000 až $74999 14 $75000 a viac Tabuľka 4.1: Rozdelenie domácností podľa ročného príjmu 4.2 Výsledky odhadu Pre vyššie zadefinované vysvetľujúce premenné prii, vzdi a vysvetľovanú premennú pci som zostavil binárne probit a logit modely. Ich presný zdrojový kód pre program WinBUGS je uvedený v prílohe. Pre oba modely boli použité rovnaké apriórne informácie, ktoré som prevzal z výsledkov podobného príkladu od Greenberga z [3, strany 125-130]. Očakávam, že všetky paramatre β1, β2 a β3 majú normálne rozdelenie pravdepodobnosti so strednou hodnotou a smerodajnou odchýlkou uvedenou v tabuľke 4.2. Počas aposteriórnej simulácie bolo pomocou Gibbsovho vzorstredná hodnota smerodajná odchýlka β1 -0,893 0,228 β2 1,089 0,371 β3 0,655 0,4495 Tabuľka 4.2: Apriórne informácie, zdroj: Greenberg v [3, strany 125-130] kovača vygenerovaných 10 000 výberov, z čoho prvých 1000 som vylúčil a zvyšných 9000 použil v analýze. 4. Porovnanie binárnych probit a logit modelov 23 Z výsledkov aposteriórnej simulácie zhrnutých v tabuľkách 4.3 a 4.4 vyplýva, že oba parametre vysvetľujúcich premenných majú na vysvetľovanú pci kladný vplyv bez ohľadu na použitý model. Tabuľka 4.3: Zhrnutie aposteriórnych výsledkov pre probit model Parameter β2 má v oboch prípadoch strednú hodnotu blízku jednej a 95% obojstranný interval spoľahlivosti neobsahuje nulu. Z toho vyplýva, že ho na hladine významnosti 5 % môžeme považovať za štatisticky významne rôzny od nuly a jeho hodnotu interpretujeme tak, že vysvetľujúca premenná prii má na vysvetľovanú pci takmer priamo úmerný vplyv. Znamená to, že vyšší rodinný príjem zvyšuje pravdepodobnosť, že domácnosť vlastní počítač. Tabuľka 4.4: Zhrnutie aposteriórnych výsledkov pre logit model Interpretácia hodnoty parametru β3 už taká jednoznačná nie je. Vidíme, že oproti β2 má výraznejšie vyššiu smerodajnú odchýlku v porovnaní so strednou hodnotou. Navyše, 95% obojstranný interval spoľahlivosti obsahuje nulu, takže má zmysel uvažovať o štatistickej nevýznamnosti tohto parametru. Významnosť alebo nevýznamnosť parametrov regresného modelu môžeme testovať pomocou rôznych štatistík. V tomto príklade ale budeme považovať parameter β3 za štatistiky významne rôzny od nuly aj preto, lebo premenná vzdi je umelá binárna premenná. Histogram jej pozorovaní znázorňuje obrázok 4.1. Hodnotu parametru β3 teda môžme interpretovať tak, že vysokoškolské vzdelanie niektorého člena domácnosti zvyšuje pravdepodobnosť, že daná domácnosť vlastní počítač. Zároveň platí, že vplyv vzdelania na vlastníctvo PC je výrazne nižší než vplyv výšky príjmov domácnosti. Pri interpretácii výsledkov ešte treba pripomenúť, že dáta pochádzajú z roku 2000. Od tej doby zaznamenala spoločnosť výrazný pokrok v oblasti informatizácie. 4. Porovnanie binárnych probit a logit modelov 24 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 50 100 150 200 250 Obr. 4.1: Histogram pozorovaní premennej vzdi Už pri pohľade na tabuľky aposteriórnych výsledkov je vidieť minimálne rozdiely v použití probit, respektíve logit modelu. Tento fakt potvrdzuje aj obrázok 4.2 vykresľujúci empirické aposteriórne hustoty parametrov β2 a β3 v oboch modeloch. (a) Probit model (b) Logit model Obr. 4.2: Empirická aposteriórna hustota pravdepodobnosti Vo všeobecnosti platí, že výsledky použitia probit a logit modelov sú podobné. V tomto príklade bola táto podobnosť ešte výraznejšia. Dôvodom môže byť pomerne malý počet pozorovaní, ale aj formulácia jednotlivých modelov. Pripomínam, že oba modely pracovali s rovnakými apriórnymi informáciami. Navyše, probit model predpokladal εi ∼ N(0, 1) a logit model predpokladal εi s logistickým rozdelením s rovnakými parametrami. Prílohy Zdrojový kód: probit model model { for (i in 1:300) { eps[i] ~ dnorm(0, 1) probit(pc[i]) <- beta1 + beta2 * pri[i] + beta3 * vzd[i] + eps[i] } beta1 ~ dnorm(-0.893, 19.2367) beta2 ~ dnorm(1.089, 7.2653) beta3 ~ dnorm(0.655, 4.9493) } Zdrojový kód: logit model model { for (i in 1:300) { eps[i] ~ dlogis(0, 1) logit(pc[i]) <- beta1 + beta2 * pri[i] + beta3 * vzd[i] + eps[i] } beta1 ~ dnorm(-0.893, 19.2367) beta2 ~ dnorm(1.089, 7.2653) beta3 ~ dnorm(0.655, 4.9493) } Ukážka dátového súboru list( pri=c(8,13,1,4,4,4,4,11,11,11,13,13,13,11,11,14,14,14,14,6,6,2,7,7,4,...), vzd=c(0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,...) pc=c(0,0,0,1,1,0,0,1,1,1,1,1,1,1,1,0,0,0,0,1,1,0,0,0,1,...)) 25 Priebeh iterácií Gibbsovho vzorkovača Probit model Logit model 26 Záver Od rozvoja možností výpočtovej techniky došlo k rozvoju praktických aplikácií bayesiánskej ekonometrie, o čom svedčí aj pestrý výber softvérových produktov pre zostavenie modelu. Cieľom mojej práce bolo zoznámiť sa s výhodami a nevýhodami bayesiánskeho prístupu v porovnaní s klasickým prístupom. Dôraz som kládol najmä na lineárny regresný model a binárne probit a logit modely. Jedným zo základných rozdielov medzi bayesiánskym a klasickým prístupom je možnosť vnášania apriórnych informácií do regresných modelov, čo dáva možnosť vytvorenia precíznejších modelov. Na druhej strane zlá voľba apriórneho rozdelenia s nepresnou strednou hodnotou a príliš nízkym rozptylom môže skresliť výsledky odhadu v prospech nepresnej apriórnej hustoty. V praktickej časti som získal skúsenosti s vytvorením binárnych probit a logit modelov v programe WinBUGS a s porovnaním ich výsledkov. Vytvorené modely ukazovali viac spoločné než rozdielne vlastnosti týchto dvoch techník. Lepšie výsledky by mohli byť dosiahnuté použitím rozsiahlejšieho dátového súboru alebo aj precíznejšou voľbou apriórnych rozdelení jednotlivých parametrov a chybovej zložky. 27 Použitá literatúra [1] BOHÁČKOVÁ E. Metódy a algoritmy pre modely stochastickej volatility. Diplomová práca. 2007. Bratislava: Univerzita Komenského [2] BUDÍKOVÁ M., MIKOLÁŠ Š., OSECKÝ P. Teorie pravděpodobnosti a matematická statistika. 2007. 3. vyd. Brno: Masarykova univerzita [3] GREENBERG E. Introduction to Bayesian Econometrics.2007. New York: Cambridge University Press [4] JEFFREYS H. Theory of Probability.1961. 3rd edn. Oxford: Clarendon Press [5] KOOP G. Bayesian Econometrics. 2003. Wiley [6] NĚMEC D. Bayesiánska analýza - podkladový materiál pro předmět Bayesiánska analýza. podzim 2009 [7] SPIEGELHALTER D., THOMAS A., BEST N., LUNN D WinBUGS User Manual. 2003: [http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/ manual14.pdf] 28