Lineární proces [linear process] Teoretickým základem modelů tzv.Boxovy-Jenkinsovy metodologie je lineární proces, který je definován jako (1) , kde je tzv. bílý šum [white noise] [= posloupnost nekorelovaných, stejně rozdělených náhodných veličin s nulovou střední hodnotou a konstantním konečným rozptylem ] a je operátor časového posunu. Dále se předpokládá, že mocninná řada proměnné z konverguje pro (tj. uvnitř a na jednotkovém kruhu v komplexní rovině). Za tohoto předpokladu lze ukázat, že nekonečné řady náhodných veličin (1) pro jednotlivá t konvergují podle kvadratického středu[1], přičemž limitní hodnoty tvoří stacionární posloupnost s nulovou střední hodnotou Jiné vyjádření lineárního procesu (1), které je užitečné např. při konstrukci předpovědí, je možné v případě, že tento proces je invertibilní a lze ho zapsat jako (2) neboli (2A) , Přitom postačující podmínkou invertibility je předpoklad analogický předpokladu (2), že (3) mocninná řada konverguje pro , tj. uvnitř a na jednotkovém kruhu v komplexní rovině. Poznámka1 Existuje řada důvodů, proč modely postavené na principu lineárního procesu jsou vhodné pro modelování reality. Nechť pro stacionární proces s nulovou střední hodnotou předpovídáme hodnotu na základě znalosti minulých hodnot . Optimální předpovědí ve smyslu minimální chyby MSE je pak , přičemž chyba této předpovědi je (4) Má vlastnosti bílého šumu a označuje se jako inovace [innovation]. Označení je vcelku logické, protože inovační proces odpovídá nepredikovatelnému pohybu v hodnotách . Jestliže je navíc proces normálně rozdělen, pak podmíněná střední hodnota má tvar lineární kombinace hodnot a vztah (4) můžeme přepsat jako (5) , což je právě invertovaný tvar (2) lineárního procesu. Poznámka2 Protože platí , musí zřejmě platit (6) (6A) , , atd. Tyto vztahy lze použít pro převod parametrů na parametry a naopak. Formálně lze také uplatnit zápis (7) . Proces klouzavých součtů MA [moving average process][2] Proces klouzavých součtů řádu se značí má tvar (11) kde jsou parametry a je tzv. operátor klouzavých součtů. Proces tedy zřejmě vzniká useknutím lineárního procesu (1) v bodě, který odpovídá zpoždění . Proces je vždy stacionární, má nulovou střední hodnotu a rozptyl velikosti (12) a má autokorelační funkcí (13) pro pro Autokorelační funkce má tedy bod useknutí roven řádu modelu . ověření: Parciální autokorelační funkce procesu nemá bod useknutí, ale je omezena lineární kombinací geometricky klesajících posloupností a sinusoid s geometricky klesajícími amplitudami. Proces je invertibilní, jestliže všechny kořeny polynomu leží vně jednotkového kruhu v komplexní rovině (tj. , neboť potom je splněn předpoklad (3). Proces - proces klouzavých součtů 1. řádu (14) má autokorelační funkci , pro s bodem useknutí . ověření: vyjdeme z definice (6) a vypočítáme protože ze čtyř členů v čitateli je jen jeden nenulový a dále platí ( Při odvozování respektujeme pravidlo nekorelovanosti náhodných složek pro . ) protože při se ve jmenovateli neobjeví žádné dvě složky se stejným indexem. □ . Jeho parciální autokorelační funkce má tvar (bez bodu useknutí): (15) pro Takže je v případě invertibility procesu opravdu neomezená geometricky klesající posloupnost (16) Podmínka invertibility zde má totiž velmi jednoduchý tvar . Protože , musí pro invertibilní proces být . Tato nerovnost platí dokonce pro všechna . Proces - proces klouzavých součtů 2. řádu (17) má autokorelační funkci (18) s bodem useknutí . ověření: . protože při se ve jmenovateli neobjeví žádné dvě složky se stejným indexem. Při odvozování respektujeme pravidlo nekorelovanosti náhodných složek pro . □ . Podmínka invertibility (2) má pro proces tvar (19) , , takže oblast invertibility procesu v rovině s vodorovnou osou pro hodnoty a se svislou osou pro hodnoty vyplní vnitřek trojúhelníka s vrcholy , a . Autoregresní proces AR [autoregressive process] Autoregresní proces řádu se značí má tvar (21) neboli (21A) , kde jsou parametry a je tzv. autoregresní operátor. Proces zřejmě vzniká useknutím lineárního procesu v bodě, který odpovídá velikosti zpoždění . Proces je stacionární, jestliže všechny kořeny polynomu leží vně jednotkového kruhu v komplexní rovině (tj. pro všechna ), protože pak je splněn předpoklad (3). Proces má v tom případě nulovou střední hodnotu a jeho rozptyl je roven (22) . ověření: Definiční vyjádření procesu (21) vynásobíme , a uplatníme střední hodnotu: (23) . Vztah (23) podělíme rozptylem veličiny . Dostaneme: . Zřejmě máme a , takže dostaneme , resp. , a po vynásobení obou stran strany rozptylem , z čehož plyne (22) . □ . a jeho autokorelační funkce splňuje diferenční rovnici (24) pro . Poznámka Pro odvození (24) stačí vynásobit všechny členy rovnosti (21) výrazem a přejít ke středním hodnotám, přičemž vzhledem k možnosti vyjádření stacionárního procesu jako lineárního procesu (1), je pro : (21) a dále , takže Neboli □ . Z teorie diferenčních rovnic přitom plyne, že její řešení (24) lze vyjádřit ve tvaru (25) pro , kde jsou navzájem různé kořeny polynomu s vlastnostmi a jsou pevné koeficienty: a) Pokud jsou kořeny komplexně sdružené, pak mohou být nahrazeny jediným členem tvaru s . b) Pokud kořeny nejsou navzájem různé, tzn. některý z nich je násobný, pak se pro kořen s násobností r ve vyjádření objeví složitější člen typu , který je však výrazně překrýván průběhem členu . Tak či onak, je autokorelační funkce procesu v podstatě lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami. soustava Yule-Walkerových rovnic Jestliže zapíšeme výraz (23) jen pro , pak dostaneme tzv. soustavu Yuleových-Walkerových rovnic pro vyjádření parametrů pomocí autokorelací (a naopak). (26) ………………………………………. . Parciální autokorelační funkce procesu má bod useknutí rovný řádu modelu . To plyne přímo z definice parciální autokorelační funkce, což činí z této funkce důležitý nástroj pro identifikaci autoregresních procesů. Proces je vždy invertibilní. Je to zřejmé, neboť (23) je již zápis tohoto modelu v invertovaném tvaru. Proces - autoregresní proces 1. řádu (27) je stacionární pro V tomto případě má nulovou střední hodnotu a rozptyl procesu je roven (28) . Jeho autokorelační funkce má tvar (29) pro ve tvaru geometricky klesající posloupnosti (oscilující pro záporné a bez bodu useknutí) . Speciálně je pro (30) , což znamená, že * první autokorelace procesu se rovná právě jeho autoregresnímu parametru. Proto důležitou roli v modelu hraje znaménko parametru . a) Pokud platí (pozitivní autokorelovanost), pak je patrná setrvačnost ve znaménkách sousedních hodnot (s relativn ě malým překřížením časové osy) b) Pokud platí (negativní autokorelovanost), pak to signalizuje relativně velmi časté přechody hodnot přes časovou osu, a velmi časté změny ve znaménkách sousedních hodnot časové řady. Parciální autokorelační funkce procesu má tvar (31) , pro s bodem useknutí . Proces - autoregresní proces 2.řádu (32) je stacionární pro (32A) , , takže příslušná oblast stacionarity v rovině s vodorovnou osou pro hodnoty a svislou osou pro hodnoty vyplní vnitřek trojúhelníka v vrcholy s vodorovnou osou pro hodnoty a se svislou osou pro hodnoty vyplní vnitřek trojúhelníka s vrcholy , a . V tom případě má proces nulovou střední hodnotu a rozptyl roven (33) . a jeho autokorelační funkce má tvar pro , kde * , jsou navzájem různé kořeny polynomu ( ; pro dvojnásobný kořen je tvar funkce analogický), nemá bod useknutí a má tvar lineární kombinace dvou geometricky klesajících posloupností nebo tvar sinusoidy s geometricky klesající amplitudou. Parciální autokorelační funkce procesu má bod useknutí roven . Smíšený proces ARMA [autoregressive and moving averages process] Smíšený proces řádu a značený jako má tvar: (41) neboli (41A) , kde operátory a byly zavedeny v procesech a . Podmínka stacionarity (resp. invertibility) smíšeného procesu je shodná s podmínkou procesu (resp. invertibility procesu .) Stacionární proces má nulovou střední hodnotu a jeho autokorelační funkce splňuje diferenční rovnici (42) . pro s řešením (43) pro , kde jsou navzájem různé kořeny polynomu . Autokorelační funkce procesu nemá bod useknutí a je v podstatě lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami, ale s výjimkou počátečních hodnot (tato výjimka se uplatní jen v případě ) . Parciální autokorelační funkce procesu nemá bod useknutí a je omezena lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami, ale s výjimkou počátečních hodnot (výjimka se uplatní, jen když ). Proces je představován zápisem (44) a je stacionární pro . V tom případě má nulovou střední hodnotu a rozptyl roven (45) . ověření: Z definice procesu ve (44) víme, že platí , takže , po roznásobení pak Vztah podělíme rozptylem veličiny . Dostaneme (protože ) : a následně obdržíme shodu s (45) . � . a má autokorelační funkci (46) . ověření: podle (6) a (44) máme Výraz ve čitateli předchozího zlomku lze rozepsat následovně: Vyjádříme-li jednotlivé členy předchozího devítičlenu, dostaneme: (47) . pro bez bodu useknutí ve tvaru klesající geometrické posloupnosti s výjimkou Podmínkou invertibility procesu je . Parciální autokorelační funkce procesu je omezena klesající geometrickou posloupností počínaje od . Zobecnění stacionární proces s úrovňovou konstantou Dosud uvedené stacionární procesy se vyznačovaly nulovou střední hodnotou. Jejich zobecnění pro situace, kdy je střední hodnota nenulová (ale zůstává v čase neměnná) není však nijak obtížné: Vezmeme-li Proces klouzavých součtů řádu se střední hodnotou má tvar (51) Smíšený proces se střední hodnotou má tvar (52) neboli (52A) , kde Konstrukce modelů v Boxově-Jenkinsově metodologii Podobně jako v ekonometrii, sestává úplná tvorba modelu v Boxově-Jenkinsově metodologii z následujících třech kroků: (A) identifikace modelu Znamená to např. že pro analyzovanou časovou řadu identifikujeme jí adekvátní model (B) odhad parametrů (kvantifikace) modelu. V rámci modelu se (dejme tomu) jedná o model tvaru při (C) diagnostika modelu. V rámci odhadnutého modelu v (b) je tento model verifikován na hladině významnosti a prověří se jeho verifikační schopnosti. Pokud diagnostické výsledky z kroku (C) nejsou dostatečně přesvědčivé, je potřebné všechny tři kroky zopakovat pro alternativní model (často se ale jedná jen o korekci zamítnutého modelu, ke které nám provedená diagnostika poskytla dílčí návod). (A) - Identifikace modelu Příspěvek autokorelační a parciální autokorelační funkce k identifikaci modelu: Obecnější poznatky o tvaru autokorelační a parciální autokorelační funkce stacionárních a invertibilních procesů , , přináší tabulka: * , * neexistuje neexistuje * ve tvaru U-křivky * ve tvaru U-křivky po prvních q-p hodnotách neexistuje * omezená U-křivkou * omezená U-křivkou po prvních p-q hodnotách Odpovídající identifikační postup pak spočívá v prohlídce grafického záznamu odhadnutého korelogramu a parciálního korelogramu modelované časové řady, kdy se snažíme řadě přiřadit nejvhodnější typ modelu právě pomocí charakteristik z tabulky. V případě pochybností testujeme potenciální bod useknutí pomocí Bartlettovy aproximace s přibližným (asymptotickým) kritickým oborem (nejčastěji na hladině ) pro autokorelační funkci (53) pro některé Druhou možností je aplikovat Quenouilleovu aproximaci s kritickým oborem (na hladině ) pro parciální autokorelační funkci (54) pro některé . Identifikace pomocí informačních kritérií Jde o modernější přístup k identifikaci, který snižuje míru subjektivity posuzování analytika a v jistém smyslu identifikaci automatizuje. K problému identifikace obecného modelu pro danou časovou řadu se zde přistupuje jako k problému odhadu parametrů na základě optimalizačního kritéria (60) , kde je vhodné kritérium, k jehož konstrukci musíme pro danou řadu odhadnout model , přičemž minimalizaci provádíme pro předem zvolenou síť hodnot . Adekvátnější než předchozí postup (60) je však uplatnit některé z kritérií teorie informace, kdy se penalizují zbytečně vysoké řády l a k a často tak docílit u odhadů jejich konzistence. Nejběžnější kritéria založená na tomto principu jsou (A) AKAIKEho informační kritérium [Akaike information criterion] (61) (B) SCHWARTZovo informační kritérium[Schwartz (Bayesian) information criterion] (62) , kde je odhadnutý rozptyl bílého šumu procesu a v čitateli druhého členu je počet odhadovaných parametrů (se započtením eventuálně nenulové úrovňové konstanty , přičemž n je délka dané řady). Korektně by ale místo prvních členů v (61), resp. (62) měla být použita minimální hodnota logaritmované věrohodnostní funkce daného modelu vynásobená koeficientem (-2/n). Kritérium BIC sice poskytuje silně konzistentní odhad řádu modelu (který konverguje skoro jistě, tj. s pravděpodobností 1), ale s velkým rozptylem (tj. odhad ale postrádá vydatnost). U kritéria AIC je tomu přesně naopak: příslušný odhad řádu modelu je zde bohužel nekonzistentní, ale je vydatný. Odhad parametrů ARMA modelu V počáteční fázi kvantifikace modelu se postupuje tak, že se využijí existující vztahy mezi parametry daného modelu a jeho autokorelacemi, kdy např. v modelu platí, že . Takovéto odhady odvozené z momentů se však zpravidla považují jen za předběžné a slouží tedy jako počáteční odhady pro vlastní odhadové procedury, prováděné většinou iteračně vhodnou numerickou metodou. model momentové odhady kontrolní nerovnosti pro * , * , , , , kde Odhadové procedury pro konstrukci finálních odhadů v uvažovaných modelech jsou vysloveně záležitostí metod nasazených v příslušném software. Např. v modelu zapsanému ve tvaru (21) lze použít klasický OLS-odhad spolu s klasickým OLS-odhadem jeho kovarianční matice, který je za předpokladu stacionarity procesu konzistentní. Lze totiž ukázat, že regresory v (21) splňují podmínku , kde V je regulární matice a stejně tak i podmínku ortogonality . Z vyjádření stacionárního procesu ve tvaru lineárního procesu (1) speciálně plyne, že (63) . V případě stacionárního a invertibilního modelu (vyjádřeného pro jednoduchost s nulovou střední hodnotou) (41) se nejčastěji používají NLLS –odhady realizované pomocí některé z metod Gauss-Newtonovy třídy. Příslušná NLLS –odhadová procedura zde spočívá v minimalizaci součtu čtverců (64) , kde pro s vhodně zvolenými hodnotami . Odhad rozptylu bílého šumu se potom obvykle získá tak, že minimální hodnotu (64) vydělíme délkou řady n. Za předpokladu normality a při dost velkém n jsou odhadové výsledky velmi blízké ML-odhadu (podmíněnému volbou ) získanému maximalizací logaritmované věrohodnostní funkce (65) [3] Tabulka: Přibližné hodnoty směrodatných odchylek odhadnutých parametrů ve vybraných stacionárních a invertibilních modelech Boxovy-Jenkinsovy metodologie: . Diagnostika modelu Diagnostika modelu je v rámci Box-Jenkinsovy metodologie velmi propracovaná. Spočívá v tom, že pomocí různých diagnostických/verifikačních nástrojů ověřujeme adekvátnost sestaveného modelu (tj. prověřujeme, zda je skutečně konformní s analyzovanými daty). Přitom obvykle musíme brát v úvahu několik aspektů: 1. kontrola stacionarity modelu. Především zde kontrolujeme, zda odhadnutý model skutečně splňuje podmínku stacionarity, tj. zda kořeny jeho odhadnutého autoregresního polynomu leží vně jednotkového kruhu v komplexní rovině (resp. zda ekvivalentně jejich převrácené hodnoty, což jsou kořeny autoregresního polynomu zapsaného s opačným uspořádáním mocnin leží uvnitř takovéhoto kruhu). Je také možné řadu rozdělit do několika úseků a testovat shodnost odhadnutých úrovní, rozptylů a autokorelací (popř. momentů vyšších řádů, zejména šikmost mezi jednotlivými úseky). Jiný postup (tzv. impuls response) spočívá v analýze toho, jako odezvu má v odhadnutém modelu impuls m (většinou standardizovaný na velikost jedno nebo vícenásobek směrodatné odchylky bílého šumu), který nastal v jediném časovém okamžiku nebo opakovaně od daného časového okamžiku a přirozeně určuje následné hodnoty procesu – odhadnutá ARMA struktura se převede do tvaru lineárního procesu (1) a od daného okamžiku se sem dosazuje inovační proces s jedinou nenulovou hodnotu v tomto okamžiku nebo inovační proces se stále stejnými nenulovými hodnotami od tohoto okamžiku. Je-li analyzovaná řada stacionární, měla by s rostoucí časovou vzdáleností od okamžiku impulsů: (1) odezva pro jediný impuls postupně odeznít až na nulovou hodnotu (2) odezva pro opakovaný impuls se stabilizovat na určité (nenulové) úrovni. 2. kontrola struktury ARMA procesu Rozumí se jí především shoda korelační struktury odhadnuté z dat (tj. autokorelační a parciální autokorelační funkce) s korelační strukturou vypočtenou z odhadnutého modelu, který ověřujeme. Jiná kontrola struktury modelu souvisí s testováním nekorelovanosti pro vypočtený bílý šum pomocí Q-testů. ________________________________ [1] Řekneme, že posloupnost náhodných veličin konverguje k n.v. podle středu (je cauchyovská podle středu), jestliže lim , resp. lim [2] MA proces nemá žádnou přímou souvislost s dříve popsanou metodou klouzavých průměrů užívanou pro eliminaci trendu časové řady. [3] Poznámka výchozí (nelogaritmovaná) věrohodnostní funkce má tvar