Lineární proces [linear process] Teoretickým základem modelů tzv.Boxovy-Jenkinsovy metodologie je lineární proces, který je definován jako (1) , kde je tzv. bílý šum [white noise] [= posloupnost nekorelovaných, stejně rozdělených náhodných veličin s nulovou střední hodnotou a konstantním konečným rozptylem ] a je operátor časového posunu. Dále se předpokládá, že mocninná řada proměnné z konverguje pro (tj. uvnitř a na jednotkovém kruhu v komplexní rovině). Za tohoto předpokladu lze ukázat, že nekonečné řady náhodných veličin (1) pro jednotlivá t konvergují podle kvadratického středu[1], přičemž limitní hodnoty tvoří stacionární posloupnost s nulovou střední hodnotou Jiné vyjádření lineárního procesu (1), které je užitečné např. při konstrukci předpovědí, je možné v případě, že tento proces je invertibilní a lze ho zapsat jako (2) neboli (2A) , Přitom postačující podmínkou invertibility je předpoklad analogický předpokladu (2), že (3) mocninná řada konverguje pro , tj. uvnitř a na jednotkovém kruhu v komplexní rovině. Poznámka1 Existuje řada důvodů, proč modely postavené na principu lineárního procesu jsou vhodné pro modelování reality. Nechť pro stacionární proces s nulovou střední hodnotou předpovídáme hodnotu na základě znalosti minulých hodnot . Optimální předpovědí ve smyslu minimální chyby MSE je pak , přičemž chyba této předpovědi je (4) Má vlastnosti bílého šumu a označuje se jako inovace [innovation]. Označení je vcelku logické, protože inovační proces odpovídá nepredikovatelnému pohybu v hodnotách . Jestliže je navíc proces normálně rozdělen, pak podmíněná střední hodnota má tvar lineární kombinace hodnot a vztah (4) můžeme přepsat jako (5) , což je právě invertovaný tvar (2) lineárního procesu. Poznámka2 Protože platí , musí zřejmě platit (6) (6A) , , atd. Tyto vztahy lze použít pro převod parametrů na parametry a naopak. Formálně lze také uplatnit zápis (7) . Proces klouzavých součtů MA [moving average process][2] Proces klouzavých součtů řádu se značí má tvar (11) kde jsou parametry a je tzv. operátor klouzavých součtů. Proces tedy zřejmě vzniká useknutím lineárního procesu (1) v bodě, který odpovídá zpoždění . Proces je vždy stacionární, má nulovou střední hodnotu a rozptyl velikosti (12) a má autokorelační funkcí (13) pro pro Autokorelační funkce má tedy bod useknutí roven řádu modelu . ověření: Parciální autokorelační funkce procesu nemá bod useknutí, ale je omezena lineární kombinací geometricky klesajících posloupností a sinusoid s geometricky klesajícími amplitudami. Proces je invertibilní, jestliže všechny kořeny polynomu leží vně jednotkového kruhu v komplexní rovině (tj. , neboť potom je splněn předpoklad (3). Proces - proces klouzavých součtů 1. řádu (14) má autokorelační funkci , pro s bodem useknutí . ověření: vyjdeme z definice (6) obecného AR-procesu a vypočítáme protože ze čtyř členů v čitateli je jen jeden nenulový a protože podle (14) dále platí ( Při odvozování respektujeme pravidlo nekorelovanosti náhodných složek pro . ) protože při se ve jmenovateli neobjeví žádné dvě složky se stejným indexem. □ . Jeho parciální autokorelační funkce má tvar (bez bodu useknutí): (15) pro Takže je v případě invertibility procesu opravdu geometricky klesající posloupnost (16) Podmínka invertibility zde má totiž velmi jednoduchý tvar . Protože , musí pro invertibilní proces být . Tato nerovnost platí dokonce pro všechna . MA(1)-polynom má tvar , tedy , po anulování , jediný (a to reálný) kořen MA(1)-polynomu je tedy roven . ( může být přirozeně také záporné.) Má-li kořen tohoto polynomu (pro invertibilitu) ležet vně jednotkového kruhu, musí platit buď (P1) nebo (P2) * Podmínka (P1) může být splněna jen při kladném a při splnění tj. * Podmínka (P2) může být splněna jen při záporném a při splnění tj. Obě eventuality pokrývá souhrnná podmínka . Proces - proces klouzavých součtů 2. řádu (17) má autokorelační funkci (18) s bodem useknutí . ověření: . protože při se ve jmenovateli neobjeví žádné dvě složky se stejným indexem. Při odvozování respektujeme pravidlo nekorelovanosti náhodných složek pro . □ . Podmínka invertibility (2) má pro proces tvar (19) , , takže oblast invertibility procesu v rovině s vodorovnou osou pro hodnoty a se svislou osou pro hodnoty vyplní vnitřek trojúhelníka s vrcholy , a . MA(2)-polynom má tvar , tedy , po anulování neboli . Kořeny AR (2)-polynomu získáme jako řešení této kvadratické rovnice s podmínkou (pro reálný i komplexní případ). Řešení této kvadratické rovnice je . a) Jsou-li kořeny reálné, různé, pak musí být splněny podmínky (A) , tedy a současně (B) , tedy (B1) a také (B2) Pokud je , pak je podmínka (A) splněna vždy. První kořen je záporný, protože (při záporném jmenovateli) má kladný čitatel. Druhý kořen je kladný, protože (při záporném jmenovateli) má záporný čitatel (bez ohledu na znaménko odečítáme kladnou odmocninu, jejíž absolutní hodnota je při větší než absolutní hodnota .) Podmínka (B1) má zde tvar tj. tj. , tj. tj. tj. tj. tj. tj. Podmínka (B2) má zde tvar tj. tj. tj. tj. tj. , tj. tj. . □ . Dohromady to pro vztahy obou parametrů znamená tyto podmínky: ( * ) ( ** ) a současně Protože je , musí být pravá strana ( * ) menší než 1, z čehož plyne Protože je , musí být levá strana ( * ) větší než -1, z čehož plyne Řešením je tedy oblast tvořící trojúhelník s body A=[ -1,0 ] , B=[ 1,0 ] a C= [ 0, -1 ] Pokud je , pak podmínka představuje skutečné omezení. Znaménko prvního kořene závisí na znaménku : Pokud , pak je čitatel záporný (kladný obsah odmocniny je v absolutní hodnotě menší než ), kořen je záporný Pokud pak je čitatel zřejmě kladný (kladné jsou oba sčítance součtu), kořen je kladný Znaménko druhého kořene rovněž závisí na znaménku : Pokud pak je čitatel záporný (jmenovatel kladný), kořen je tedy záporný Pokud pak je čitatel kladný (jmenovatel kladný), kořen je tedy kladný. Pokud je tedy , pak jsou oba kořeny záporné a musí platit současně: Dále jen pokud je ,tj. , jinak první nerovnost nemůže platit nikdy Potenciálním řešením je množina při podmínkách , Pokud je naopak , pak jsou oba kořeny kladné a musí platit současně: Potenciálním řešením je množina při podmínkách , Všem vyžadovaným restrikcím vyhovující řešení ale nemůže existovat, protože vzhledem k podmínkám nemůže platit b) Jsou-li kořeny komplexně sdružené pak musí být splněny podmínky (A*) , tedy tj. a současně Platí-li , není podmínka (A*) splněna nikdy (a tedy kořeny komplexně sdružené být nemohou) Pro případné komplexně sdružené kořeny tedy musí platit . Podmínka představuje zde relevantní omezení. Kořeny mají tedy tvar Absolutní hodnoty obou komplexně sdružených kořenů spočteme jako Podmínka představující požadavek, aby oba ležely vně jednotkového kruhu, je dána nerovností ,neboli při kladném tj. tj. tj, . Takže obor komplexně sdružených kořenů je dán oborem kladných parametrů splňujících složené podmínky . Omezení vyplývající z toho (aby pravá strana intervalu přípustných hodnot musí být větší než levá) , tedy . Z omezení a plyne, že Řešením je tedy oblast tvořící lichoběžník s body A = [ -1,0 ], B = [ 1,0 ], D = [ 2, 1 ], E = [ -2, 1 ], c) Je-li kořen reálný dvojnásobný, pak musí být diskriminant nulový, tj. , neboli , čili , což mj. implikuje, že V tomto případě je kořen roven , tedy s respektováním podmínky máme . Pokud ,je kořen záporný a podmínka invertibility zní . Odtud máme , neboli , tedy (a k němu příslušný musí být v rozmezí ) Pokud naopak , je kořen kladný a podmínka invertibility zní . Odtud plyne . , tedy (a k němu příslušný musí ležet v rozmezí ) . Je třeba si ale uvědomit, že v těchto případech by byl proces určen vlastně jen jedním parametrem, protože oba jsou pevně svázány vztahem . Autoregresní proces AR [autoregressive process] obecný autoregresní proces řádu se značí má tvar (21) neboli (21A) , kde jsou parametry a je tzv. autoregresní operátor. Proces zřejmě vzniká useknutím lineárního procesu v bodě, který odpovídá velikosti zpoždění . Proces je stacionární, jestliže všechny kořeny polynomu leží vně jednotkového kruhu v komplexní rovině (tj. pro všechna ), protože pak je splněn předpoklad (3). Proces má v tom případě nulovou střední hodnotu a jeho rozptyl je roven (22) . ověření: Definiční vyjádření procesu (21) vynásobíme , a uplatníme střední hodnotu: (23) . Vztah (23) podělíme rozptylem veličiny . Dostaneme: . Zřejmě máme a , takže dostaneme , resp. a po vynásobení obou stran strany rozptylem , z čehož plyne (22). □ . a jeho autokorelační funkce splňuje diferenční rovnici (24) pro . Poznámka Pro odvození (24) stačí vynásobit všechny členy rovnosti (21) výrazem a přejít ke středním hodnotám, přičemž vzhledem k možnosti vyjádření stacionárního procesu jako lineárního procesu (1), je pro : (21) a dále , takže Neboli □ . Z teorie diferenčních rovnic přitom plyne, že její řešení (24) lze vyjádřit ve tvaru (25) pro , kde jsou navzájem různé kořeny polynomu s vlastnostmi a jsou pevné koeficienty: a) Pokud jsou kořeny komplexně sdružené, pak mohou být nahrazeny jediným členem tvaru s . b) Pokud kořeny nejsou navzájem různé, tzn. některý z nich je násobný, pak se pro kořen s násobností r ve vyjádření objeví složitější člen typu , který je však výrazně překrýván průběhem členu . Tak či onak, je autokorelační funkce procesu v podstatě lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami. soustava Yule-Walkerových rovnic Jestliže zapíšeme výraz (23) jen pro , pak dostaneme tzv. soustavu Yuleových-Walkerových rovnic pro vyjádření parametrů pomocí autokorelací (a naopak). (26) ………………………………………. . Soustava Yuleových-Walkerových rovnic umožňuje vypočíst hodnoty autokorelační funkce na základě znalosti parametrů autoregresního procesu obecně p-tého řádu jako řešení soustavy p lineárních rovnic o p neznámých . Parciální autokorelační funkce procesu má bod useknutí rovný řádu modelu . To plyne přímo z definice parciální autokorelační funkce, což činí z této funkce důležitý nástroj pro identifikaci autoregresních procesů. Proces je vždy invertibilní. Je to zřejmé, neboť (23) je již zápis tohoto modelu v invertovaném tvaru. Proces - autoregresní proces 1. řádu (27) je stacionární při V tomto případě má nulovou střední hodnotu a rozptyl procesu je roven (28) . Jeho autokorelační funkce má tvar (29) pro ve tvaru geometricky klesající posloupnosti (oscilující pro záporné a bez bodu useknutí). Speciálně je pro (30) , což znamená, že * první autokorelace procesu se rovná právě jeho autoregresnímu parametru. Proto důležitou roli v modelu hraje znaménko parametru . a) Pokud platí (pozitivní autokorelovanost), pak je patrná setrvačnost ve znaménkách sousedních hodnot (s relativně malým překřížením časové osy) b) Pokud platí (negativní autokorelovanost), pak to signalizuje relativně velmi časté přechody hodnot přes časovou osu, a velmi časté změny ve znaménkách sousedních hodnot časové řady. Parciální autokorelační funkce procesu má tvar (31) , pro s bodem useknutí . AR(1)-polynom má tvar , tedy , po anulování , jediný reálný kořen AR (1)-polynomu je tedy roven . ( může být i záporné, byť je to neobvyklé). Má-li kořen tohoto polynomu (pro stacionaritu) ležet vně jednotkového kruhu, musí platit (R1) nebo (R2) Podmínka (R1) může být splněna jen při záporném a při splnění Podmínka (R2) může být splněna jen při kladném a při splnění . Obě eventuality pokrývá souhrnná podmínka . Proces - autoregresní proces 2.řádu (32) je stacionární pro (32A) , , takže příslušná oblast stacionarity v rovině s vodorovnou osou pro hodnoty a svislou osou pro hodnoty vyplní vnitřek trojúhelníka s vrcholy , a . V tom případě má proces nulovou střední hodnotu a rozptyl roven (33) . a jeho autokorelační funkce má tvar pro , kde * , jsou navzájem různé kořeny polynomu ( ; pro dvojnásobný kořen je tvar funkce analogický), nemá bod useknutí a má tvar lineární kombinace dvou geometricky klesajících posloupností nebo tvar sinusoidy s geometricky klesající amplitudou. Parciální autokorelační funkce procesu má bod useknutí roven . AR(2)-polynom má tvar , tedy , po anulování neboli . Kořeny AR (2)-polynomu získáme jako řešení této kvadratické rovnice s podmínkou (pro reálný i komplexní případ). Řešení (obecně komplexní) příslušné kvadratické rovnice je . a) Jsou-li kořeny reálné, různé, pak musí být splněny podmínky (A) , tedy a zároveň (B) , tedy (B1) a současně také (B2) Pokud je , pak je podmínka (A) splněna vždy a neznamená reálné omezení. První kořen je kladný, protože (při kladném jmenovateli) má kladný čitatel. Podmínka stacionarity je tedy: neboli tj. Druhý kořen je záporný, neboť (při kladném jmenovateli) má záporný čitatel (bez ohledu na znaménko odčítáme odmocninu, jejíž abs.hodnota je při větší než abs.hodnota .) Podmínka stacionarity je tedy: neboli tj. Takže v tomto případě musejí parametry splňovat nerovnosti . Útvarem, který tato omezení pokrývá, je trojúhelník tvořený body A=[ -1,0 ] , B=[ 1,0 ] a C= [ 0, 1 ] Pokud je , pak podmínka (A) představuje reálné omezení neboli . Tento útvar je vymezen plochou ležící mezi (nad) parabolou a osou Znaménko prvního kořene závisí ale na znaménku parametru , přičemž absolutní hodnota výrazu v odmocnině je vždy menší než absolutní hodnota : Jestliže uvažujeme (nacházíme se v pravém dolním kvadrantu), - pak kořen je kladný, protože (při záporném jmenovateli) má záporný čitatel . Podmínka stacionarity tedy zní , tj. , tedy ,tedy ,tj. - a kořen je též kladný, protože (při záporném jmenovateli) má i tento záporný čitatel (menší než parametr ) Podmínka stacionarity tedy zní , tj. ,tj. ,tedy , neboli při dostáváme tj. nerovnost přesně opačnou než byla podmínka vyvozená pro kořen . Jestliže uvažujeme naopak (nacházíme se v levém dolním kvadrantu), - pak kořen je záporný, protože (při záporném jmenovateli) má kladný čitatel . Podmínka stacionarity zde tedy zní tj , tedy ,tj. a při - a kořen je také záporný, protože (při záporném jmenovateli) má i tento kladný čitatel (menší než kořen ) Podmínka stacionarity tedy zní tj ,tj. , tedy , neboli při dostáváme tzn. nerovnost přesně opačnou než byla podmínka vyvozená pro kořen . Znamená to tedy, že pokud je nelze ani v případě ani v opačném případě nalézt žádnou dvojici komplexně sdružených kořenů, která by vyhovovala podmínkám kladeným na stacionaritu procesu AR(2). b) Jsou-li kořeny komplexně sdružené pak musí být splněny podmínky (A*) , tedy tj. a současně (B) , tedy (B1) a současně také (B2) Zřejmě (pro komplexně sdružené kořeny) nemůže být , neboť podmínka (A*) by nebyla splněna nikdy Pro případné komplexně sdružené kořeny tedy musí platit . Podmínka představuje zde relevantní omezení. Kořeny mají tedy tvar Absolutní hodnoty obou komplexně sdružených kořenů spočteme jako Podmínka představující požadavek, aby oba ležely vně jednotkového kruhu, je dána nerovností , tj. , tj. , tj. neboli při záporném , tj. . Vyšetřujeme tedy množinu bodů, pro které současně platí tyto tři nerovnosti: , a také splňujících složené podmínky Omezení vyplývající z toho (aby pravá strana intervalu přípustných hodnot byla větší než levá) , odtud , tedy . Z hraniční podmínky pro odtud dále vyplývá omezení pro : tj. Takže obor komplexně sdružených kořenů je zde dán oborem parametrů , kde a kde se navíc může pohybovat jen v rozmezí a v rozmezí . První nerovnost v prvním omezení pak ještě vede k podmínce , která se projeví dvěma lineárními omezeními a . Řešením je tedy oblast tvořící lichoběžník s body A = [ -1,0 ], B = [ 1,0 ], D=[ -2, -1 ], E = [ 2, -1 ], Útvarem, který pokrývá jak oblast dvojice reálných, tak komplexně sdružených kořenů, je trojúhelník tvořený body D=[ -2, -1 ] , B=[ 1,0 ] a E = [ 2, -1 ],] c) By-li by kořen reálný dvojnásobný, pak musí být diskriminant nulový, tj. , neboli , čili , což mj. implikuje, že V tomto případě je kořen roven , tedy s respektováním podmínky máme . Pokud tedy , je kořen kladný a podmínka stacionarity zde zní . Odtud plyne , tedy a k němu příslušný musí ležet v rozmezí Pokud naopak , je kořen záporný a podmínka stacionarity zní . Odtud plyne . , tedy a k němu příslušný musí ležet v rozmezí . Je třeba si ale uvědomit, že v těchto případech by byl proces určen vlastně jen jedním parametrem, protože oba jsou pevně svázány vztahem . Smíšený proces ARMA [autoregressive and moving averages process] Smíšený proces řádu a značený jako má tvar: (41) neboli (41A) , kde operátory a byly zavedeny v procesech a . Podmínka stacionarity (resp. invertibility) smíšeného procesu je shodná s podmínkou procesu (resp. invertibility procesu .) Stacionární proces má nulovou střední hodnotu a jeho autokorelační funkce splňuje diferenční rovnici (42) . pro s řešením (43) pro , kde jsou navzájem různé kořeny polynomu . Autokorelační funkce procesu nemá bod useknutí a je v podstatě lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami, ale s výjimkou počátečních hodnot (tato výjimka se uplatní jen v případě ) . Parciální autokorelační funkce procesu nemá bod useknutí a je omezena lineární kombinací klesajících geometrických posloupností a sinusoid různých frekvencí s geometricky klesajícími amplitudami, ale s výjimkou počátečních hodnot (výjimka se uplatní, jen když ). Proces je představován zápisem (44) a je stacionární pro . V tom případě má nulovou střední hodnotu a rozptyl roven (45) . ověření (45): Z definice procesu ve (44) víme, že platí , takže , po roznásobení pak Z nekorelovanosti vůči a vůči dostáváme a (46) Vztah (46) nyní podělíme rozptylem veličiny Dostaneme: a následně, protože a (47) , po úpravě a následně obdržíme shodu s (45) . � . a má autokorelační funkci (48) . (49) . pro bez bodu useknutí ve tvaru klesající geometrické posloupnosti s výjimkou ověření (48): podle (…. ) a (44) máme (50) Výraz v čitateli předchozího zlomku (50) lze rozepsat následovně: Vyjádříme-li jednotlivé členy předchozího devítičlenu, dostaneme: (c1) (c2) protože (c3) protože (c4) v důsledku nekorelovanosti a . (c5) v důsledku nekorelovanosti a . (c6) v důsledku nekorelovanosti a (c7) v důsledku nekorelovanosti a . (c8) (c9) v důsledku nekorelovanosti a Nyní postupně vše nenulové dosadíme do (50) : Dále dosadíme z (45) a konečně máme � . (50) Výraz v čitateli předchozího zlomku (50) lze rozepsat následovně: Při je všech 6 posledních členů rovných nule. První člen je roven Podmínkou invertibility procesu je . Parciální autokorelační funkce procesu je omezena klesající geometrickou posloupností počínaje od . Zobecnění stacionární proces s úrovňovou konstantou Dosud uvedené stacionární procesy se vyznačovaly nulovou střední hodnotou. Jejich zobecnění pro situace, kdy je střední hodnota nenulová (ale zůstává v čase neměnná) není však nijak obtížné: Vezmeme-li Proces klouzavých součtů řádu se střední hodnotou má tvar (51) Smíšený proces se střední hodnotou má tvar (52) neboli (52A) , kde Konstrukce modelů v Boxově-Jenkinsově metodologii Podobně jako v ekonometrii, sestává úplná tvorba modelu v Boxově-Jenkinsově metodologii z následujících třech kroků: (A) identifikace modelu Znamená to např. že pro analyzovanou časovou řadu identifikujeme jí adekvátní model (B) odhad parametrů (kvantifikace) modelu. V rámci modelu se (dejme tomu) jedná o model tvaru při (C) diagnostika modelu. V rámci odhadnutého modelu v (b) je tento model verifikován na hladině významnosti a prověří se jeho verifikační schopnosti. Pokud diagnostické výsledky z kroku (C) nejsou dostatečně přesvědčivé, je potřebné všechny tři kroky zopakovat pro alternativní model (často se ale jedná jen o korekci zamítnutého modelu, ke které nám provedená diagnostika poskytla dílčí návod). (A) - Identifikace modelu Příspěvek autokorelační a parciální autokorelační funkce k identifikaci modelu: Obecnější poznatky o tvaru autokorelační a parciální autokorelační funkce stacionárních a invertibilních procesů , , přináší tabulka: * , * neexistuje neexistuje * ve tvaru U-křivky * ve tvaru U-křivky po prvních q-p hodnotách neexistuje * omezená U-křivkou * omezená U-křivkou po prvních p-q hodnotách Odpovídající identifikační postup pak spočívá v prohlídce grafického záznamu odhadnutého korelogramu a parciálního korelogramu modelované časové řady, kdy se snažíme řadě přiřadit nejvhodnější typ modelu právě pomocí charakteristik z tabulky. V případě pochybností testujeme potenciální bod useknutí pomocí Bartlettovy aproximace s přibližným (asymptotickým) kritickým oborem (nejčastěji na hladině ) pro autokorelační funkci (53) pro některé Druhou možností je aplikovat Quenouilleovu aproximaci s kritickým oborem (na hladině ) pro parciální autokorelační funkci (54) pro některé . Identifikace pomocí informačních kritérií Jde o modernější přístup k identifikaci, který snižuje míru subjektivity posuzování analytika a v jistém smyslu identifikaci automatizuje. K problému identifikace obecného modelu pro danou časovou řadu se zde přistupuje jako k problému odhadu parametrů na základě optimalizačního kritéria (60) , kde je vhodné kritérium, k jehož konstrukci musíme pro danou řadu odhadnout model , přičemž minimalizaci provádíme pro předem zvolenou síť hodnot . Adekvátnější než předchozí postup (60) je však uplatnit některé z kritérií teorie informace, kdy se penalizují zbytečně vysoké řády l a k a často tak docílit u odhadů jejich konzistence. Nejběžnější kritéria založená na tomto principu jsou (A) AKAIKEho informační kritérium [Akaike information criterion 1974] (61) (B)SCHWARTZovo informační kritérium [Schwartz (Bayesian) information criterion 1978] (62) (C) Hannanovo-Quinnovo kritérium [Hannan-Quinn information criterion 1979] (63) (A) modifikované AKAIKEho informační kritérium [Hurwich a Tsai criterion 1989] (64) pro krátké řady, kde je odhadnutý rozptyl bílého šumu procesu a v čitateli druhého členu je počet odhadovaných parametrů (se započtením eventuálně nenulové úrovňové konstanty , přičemž n je délka dané řady). Korektně by ale místo prvních členů v (61), resp. (62) měla být použita minimální hodnota logaritmované věrohodnostní funkce daného modelu vynásobená koeficientem (-2/n). Kritérium BIC sice poskytuje silně konzistentní odhad řádu modelu (který konverguje skoro jistě, tj. s pravděpodobností 1), ale s velkým rozptylem (tj. odhad ale postrádá vydatnost). U kritéria AIC je tomu přesně naopak: příslušný odhad řádu modelu je zde bohužel nekonzistentní, ale je vydatný. Odhad parametrů ARMA modelu V počáteční fázi kvantifikace modelu se postupuje tak, že se využijí existující vztahy mezi parametry daného modelu a jeho autokorelacemi, kdy např. v modelu platí, že . Takovéto odhady odvozené z momentů se však zpravidla považují jen za předběžné a slouží tedy jako počáteční odhady pro vlastní odhadové procedury, prováděné většinou iteračně vhodnou numerickou metodou. model momentové odhady kontrolní nerovnosti pro * , * , , , , kde Dílčí doplnění DM: Jak patrno, momentové odhady vycházejí ze vztahů vyvozených pro teoretické hodnoty mezi parametry a rozptyly , jenže jsou uvažovány „inverzně“: Např. vzorec pro rozptyl bílého šumu u procesu MA (1) je vyvozen z výrazu pro rozptyl procesu MA(1) uplatněného ve vzorci pro autokorelační funkci tohoto procesu. Stejně tak je tomu u procesu MA (2) ,neboť zde . Podobně, vzorec pro rozptyl bílého šumu u procesu AR (1) je vyvozen ze vztahu (28) pro výpočet rozptylu tohoto procesu s uvážením toho, že navíc platí Stejně tak je tomu u procesu AR (2) ,neboť zde . Odhadové procedury pro konstrukci finálních odhadů v uvažovaných modelech jsou vysloveně záležitostí metod nasazených v příslušném software. Např. v modelu zapsanému ve tvaru (21) lze použít klasický OLS-odhad spolu s klasickým OLS-odhadem jeho kovarianční matice, který je za předpokladu stacionarity procesu konzistentní. Lze totiž ukázat, že regresory v (21) splňují podmínku , kde V je regulární matice a stejně tak i podmínku ortogonality . Z vyjádření stacionárního procesu ve tvaru lineárního procesu (1) speciálně plyne, že (63) . V případě stacionárního a invertibilního modelu (vyjádřeného pro jednoduchost s nulovou střední hodnotou) (41) se nejčastěji používají NLLS –odhady realizované pomocí některé z metod Gauss-Newtonovy třídy. Příslušná NLLS –odhadová procedura zde spočívá v minimalizaci součtu čtverců (64) , kde pro s vhodně zvolenými hodnotami . Odhad rozptylu bílého šumu se potom obvykle získá tak, že minimální hodnotu (64) vydělíme délkou řady n. Za předpokladu normality a při dost velkém n jsou odhadové výsledky velmi blízké ML-odhadu (podmíněnému volbou ) získanému maximalizací logaritmované věrohodnostní funkce (65) [3] Tabulka: Přibližné hodnoty směrodatných odchylek odhadnutých parametrů ve vybraných stacionárních a invertibilních modelech Boxovy-Jenkinsovy metodologie: . Diagnostika modelu Diagnostika modelu je v rámci Box-Jenkinsovy metodologie velmi propracovaná. Spočívá v tom, že pomocí různých diagnostických/verifikačních nástrojů ověřujeme adekvátnost sestaveného modelu (tj. prověřujeme, zda je skutečně konformní s analyzovanými daty). Přitom obvykle musíme brát v úvahu několik aspektů: 1. kontrola stacionarity modelu. Především zde kontrolujeme, zda odhadnutý model skutečně splňuje podmínku stacionarity, tj. zda kořeny jeho odhadnutého autoregresního polynomu leží vně jednotkového kruhu v komplexní rovině (resp. zda ekvivalentně jejich převrácené hodnoty, což jsou kořeny autoregresního polynomu zapsaného s opačným uspořádáním mocnin leží uvnitř takovéhoto kruhu). Je také možné řadu rozdělit do několika úseků a testovat shodnost odhadnutých úrovní, rozptylů a autokorelací (popř. momentů vyšších řádů, zejména šikmost mezi jednotlivými úseky). Jiný postup (tzv. impuls response) spočívá v analýze toho, jakou odezvu má v odhadnutém modelu impuls m (většinou standardizovaný na velikost jedno nebo vícenásobek směrodatné odchylky bílého šumu), který nastal v jediném časovém okamžiku nebo opakovaně od daného časového okamžiku a přirozeně určuje následné hodnoty procesu – odhadnutá ARMA struktura se převede do tvaru lineárního procesu (1) a od daného okamžiku se sem dosazuje inovační proces s jedinou nenulovou hodnotu v tomto okamžiku nebo inovační proces se stále stejnými nenulovými hodnotami od tohoto okamžiku. Je-li analyzovaná řada stacionární, měla by s rostoucí časovou vzdáleností od okamžiku impulsů: (1) odezva pro jediný impuls postupně odeznít až na nulovou hodnotu (2) odezva pro opakovaný impuls se stabilizovat na určité (nenulové) úrovni. 2. kontrola struktury ARMA procesu Rozumí se jí především shoda korelační struktury odhadnuté z dat (tj. autokorelační a parciální autokorelační funkce) s korelační strukturou vypočtenou z odhadnutého modelu, který ověřujeme. Jiná kontrola struktury modelu souvisí s testováním nekorelovanosti pro vypočtený bílý šum pomocí Q-testů. (nazývaných také jako portmanteau testy ) 3. grafická prohlídka vypočteného bílého šumu Velmi důležitým diagnostickým nástrojem je vypočtený bílý šum z odhadnutého modelu řady (analogicky jako rezidua v regresním model). Jeho grafický průběh, odhadnutý korelogram apod. mohou indikovat případné vady modelu (ve standardní situaci obvykle očekáváme pro vypočtený bílý šum nulovou hodnotu, konstantní rozptyl, nekorelovanost a normalitu). 4. Testování nekorelovanosti bílého šumu Používá se např. Batlettova aproximace nebo Q-testy. Typy nestacionarity V podstatě lze rozlišit dva základní typy nestacionarity: 1) Deterministická nestacionarita představovaná deterministickým trendem, např.: (71) , kde je bílý šum s rozptylem Po eliminaci tohoto (lineárního) trendu se řada stane stacionární (v daném případě ve formě bílého šumu). 2) Stochastická nestacionarita představovaná určitým typem stochastického procesu pro nebo , např. : (72) , kde je opět bílý šum s rozptylem , kde se obvykle předpokládá, že Nestacionaritu (72) lze v jistých případech modelovat pomocí speciálních stochastických modelů a s využitím těchto modelů následně stacionarizovat. Konkrétně model (72) je tzv. náhodná procházka s driftem [random walk with drift]. Příslušnou časovou řadu lze v tomto případě jednoduše stacionarizovat přechodem k řadě prvních diferencí , protože dle modelu (71) je (73) , tzn. jedná se o bílý šum posunutý na úroveň , což je evidentně stacionární řada. Podstata stochastické nestacionarity modelu (72) je ale lépe viditelná při jeho přepisu do tvaru (74) . Řada má tedy nejen deterministický trend (zde lineární se sklonem ), ale také stochastický trend spočívající v postupné kumulaci hodnot bílého šumu. Interpretačně zajímavé jsou také podmíněné hodnoty: (75) (76) , : ověření: ověření: ověření: Ze vztahu (75) je vidět, že řada má tendenci nevracet se k předchozí úrovni, ale v průměru směřovat k vyšším hodnotám pro nebo k nižším hodnotám pro . I kdyby platilo , pak tato náhodná procházka bez driftu protne na rozdíl od bílého šumu vodorovnou osu s nulovou úrovní jen zřídka. Ze vztahů(76) zase vyplývá, že střední hodnota a rozptyl (volatilita) této řady jsou neomezené, zatímco autokorelační funkce má hodnoty velmi blízké jedné a k nule klesá tempem pomalejším než lineárním. Poznámka 1 Uvažujme poněkud obecnější zápis vztahu (72) (72*) . Je patrné, že (72*) je speciální zápis (72*) při . Je-li ,pak se zřejmě jedná o stacionární proces s nenulovou střední hodnotou (77) . , který lze také přepsat pomocí prvních diferencí jako (78) . Pro podmíněnou střední hodnotu (75) stacionárního procesu tedy zřejmě platí: (79A) , (79B) , tzn. na rozdíl od náhodné procházky s driftem má nyní proces tendenci nedriftovat a vracet se k předchozí úrovni [tzv. mean reverting] . Konečně zbývající případ je již velmi neobvyklý a specifický, minimálně se vyskytující v reálných situacích: v tomto případě se jedná o explozívní proces [tzv. explosive process], který roste s mocninami - např. proces začne být od určitého času t srovnatelný s deterministickou posloupností bez ohledu na tvar bílého šumu . Poznámka 2 Pro předchozí modely ještě jednou odlišnost jejich stacionarizace: V modelu (71) s deterministickým trendem pro dosažení stacionarity stačí pomocí regrese eliminovat trend. Diferencování by se zde pro stacionarizaci nemělo používat, neboť vede k modelům s reziduální složkou ve tvaru (neinvertibilního) MA-procesu (80) V modelu (72) náhodné procházky s driftem stačí pro dosažení stacionarity jednou diferencovat. Pokud jde o případnou regresní eliminaci stochastického trendu, není zde jasné, co vlastně eliminovat. Mohli bychom sice přejít k ještě obecnějšímu rozšíření modelu (77) do tvaru (77*A) . nebo s deterministickým i stochastickým trendem, ale zde by případná eliminace trendu pomocí regrese narazila na již zmíněný problém, že t-poměr nemusí mít (ani asymptoticky) t-rozdělení Model (77*) ze také zapsat ve tvaru , kde , , tzn., že speciálně při se vlastně jedná o stacionární AR(1) proces s lineárním trendem. Testy na jednotkový kořen [unit root tests] Možnost stacionarizace časové řady pomocí diferencování svědčí o přítomnosti (přibližně) jednotkového kořene v autoregresním operátoru příslušného modelu. Např. v modelu (72) má autoregresní operátor zřejmě jako svůj jediný kořen právě kořen rovný 1. Rozhodnutím o přítomnosti takovéhoto jednotkového kořene (nebo vícenásobného) je často klíčovým bodem analýzy. Na přítomnost jednotkového kořene by asi bylo možné soudit z tvaru odhadnutého korelogramu, kdy indikací jeho přítomnosti je velmi pomalý pokles korelogramu od jednotkové hodnoty k nule (jednotlivé odhadnuté autokorelace s rostoucí délkou řady konvergují v nestacionárním modelu k jedné). Protože ale subjektivním pohledem na korelogram by se nedaly odlišit nestacionární modely typu od stacionárních s téměř jednotkovým kořenem , je žádoucí použít vyvinuté statistické testy na příslušné hladině významnosti. Dickey-Fullerův test Dickey-Fullerův test byl prvním z testů vyvinutých pro testování jednotkového kořen. Přitom byly navrženy tři jeho verze označované souhrnně jako -testy. (1) -test tvaru proti alternativě pro , tzn. jednostranný test náhodné procházky proti stacionárnímu procesu, neboť případná nestacionarita při je v realitě málo významná. (2) -test tvaru proti alternativě pro ,tzn. jednostranný test náhodné procházky proti procesu s nenulovou hladinou. (3) -test tvaru proti alternativě pro , tzn. jednostranný test náhodné procházky proti procesu s lineárním trendem. Zápis nulové hypotézy je pro všechny tři vyšetřované případy tentýž, tzn.: (81) při , zatímco obecný zápis alternativy je (82) při , kde a (1) (2) Přitom v případě alternativ (2) nebo (3) jde jen o to, zda a vůbec nás nezajímá případná významnost úrovňové konstanty ani parametru sklonu , tím spíše ne jejich číselné hodnoty, které by při výskytu nestacionarity stejně nemusely být korektně spočteny. Testovou statistikou je ve všech třech variantách Dickey-Fullerova testu klasický t-poměr (prostě se testuje významnost regresního parametru v modelu (81) tzn. , kde odhady parametrů získáme metodami získanými dříve a s kritickým oborem . Zde však (za platnosti nulové hypotézy stacionarity) statistika DF nemá (a to ani asymptoticky a ani při platnosti ) t-rozdělení jako v případě klasického t.-poměru, ale má nestandardní (a nepojmenované) rozdělení, pro které bylo nutné kritické hodnoty naprogramovat simulačně a zvlášť pro jednotlivé typy alternativ (1),(2),(3) a pro různé délky řad n. viz tabulka níže. Obecně zde platí, že dané rozdělené má tlustší konce než příslušné t-rozdělení, takže jeho kritické hodnoty jsou v absolutní hodnotě více než dvojnásobně v porovnání s odpovídajícími hodnotami t-rozdělení. Např. 5% kritická hodnota a při je kritická hodnota -3,41 v absolutní hodnotě více než 2x větší než adekvátní kritická hodnota -1,645 po klasický t-test), tj. pro zamítnutí nulové hypotézy proto potřebujeme významnější hodnotu t-poměru (pracujeme totiž s nestacionárním regresorem). Kritické hodnoty uvedli poprvé již Dickey a Fuller, většina software ale využívá sofistikovanější výpočet odpovídajících p-hodnot podle McKinnona [1996]. hladina významnosti 10%=0,1 5%=0,05 1%=0,01 kritické hodnoty pro -test -1,62 -1,95 -2,58 kritické hodnoty pro -test -2,57 -2,86 -3,43 kritické hodnoty pro -test -3,12 -3,41 -3,96 Rozšířený Dickey-Fullerův test Předchozí test je aplikovatelná jen tehdy, jestliže reziduální složka představuje nezávislý bílý šum. Jestliže závisle proměnná obsahuje autokorelovanost, která není v modelu – řádně zohledněna, potom má DF-test chybu prvního druhu (tj.pravděpodobnost zamítnutí ) větší než deklarované . Pro takový případ byl navržen Rozšířený Dickey-Fullerův test (ADF-test) [augmented DF-test], který místo (81) formuluje nulovou hypotézu jako (83) pro , Přičemž testová statistika a kritické hodnoty pro jednotlivé varianty (1),(2),(3) tj. po -test, -test, -test zůstávají stejné jako před rozšířením (test se opět týká jen parametru , přidané autoregresní členy v jen absorbují dynamickou strukturu obsaženou v závisle proměnné. Pro stanovení řádu p přidaných autoregresních členů se doporučuje aplikovat informační kritéria uvedená výše. Phillipsův-Perronův test PF_test je podobný ADF –testu s tou odlišností, že zohlednění případné neuatokorelovanosti reziduí se neprovádí rozšířením o autoregresní člen jako tam, ale přímo korekcí odhadnuté směrodatné odchylky ve jmenovateli původního DF-testu. V podstatě se jedná o aplikaci Neweyové-Westova odhadu typu HAC (typu heteroskedasticity and autocorrelation consistent estimator), jako v případě autoregresního modelu s autokorelovanými reziduy. KPSS-test [Kwaitkovski, Phillips, Schmidt, Shin [1992] Tento test reaguje na skutečnost, že DF-test někdy mívá slabou rozlišovací schopnost. Má-li teoretický model tvar , pak by nulová hypotéza jednotkového kořene měla být zamítnuta. Nelze-li ji zamítnout, pak to korektně znamená, že buď opravdu platí nestacionarita nebo že máme k zamítnutí jen nepostačující informaci (např. jen krátký úsek řady ). KPSS-test byl proto navržen tak, že hypotézy , mají tvar přesně opačný, než jak je tomu u ADF-testu (jako nulová se testuje stacionarita vůči alternativní hypotéze nestacionarity). Přitom se doporučuje provádět ADF-test a KPSS-test vždy simultánně a za směrodatný brát pouze takový výstup, kdy (a) se zamítá a současně zamítnout nelze (v tom případě je potvrzena stacionarita) (b) nelze zamítnout a současně se zamítá (v tom případě je potvrzena nestacionarita). Zbývající dvě kombinace výsledků se berou jako neprůkazné. Uvedené testy na jednotkový kořen (včetně dalších bývají součástí moderních softwarových testovacích systémů. Proces ARIMA Pro časové řady se stochastickým trendem typu (72) , které lze stacionarizovat diferencováním, jsou v rámci Box-Jenkinsovy metodologie určeny procesy ARIMA. Integrovaný smíšený proces řádu značený jako [integrated] má tvar (84) (84A) je d-tá diference časové řady a tento proces je stacionární (i invertibilní) model . Jiným i slovy: V takovém modelu ARIMA se nejprve provede stacionarizace pomocí vhodné diference modelované řady a takto vzniklá již stacionární řada se modeluje pomocí smíšeného modelu ARMA. Nezřídka se ovšem pro volí souhrnný zápis tvaru (85) Speciálním případem je integrovaný I(d) proces zapisovaný obvykle v jednoduchém tvaru , který vlastně vzniká načítáním bílého šumu /odtud „integrovaný“) např. pro je (86) Poznámka3: Tzv. driftový parametr modeluje případnou nenulovou úroveň procesu tj. deterministický trend ve tvaru polynomu d-tého řádu pro původní řadu . Pro a je model ARIMA pro řadu invariantní vůči případnému posunu řady o libovolnou konstantu. Proto je v tomto případě zbytečné řadu modelovanou jako ARIMA nejprve centrovat odečtením výběrového průměru. Poznámka4: Operátor na levé straně (85) se někdy nazývá zobecněný autoregresní operátor. Je pro něj charakteristické to, že odpovídající polynom má p kořenů ležících vně jednotkového kruhu v komplexní rovině a navíc d-násobný jednotkový kořen. Obecnějším typem jsou modely ARUMA , které mají aspoň jeden z těchto kořenů na jednotkové kružnici , ale různý od jednotkového kořene, a explozivní modely , které mají aspoň jeden z těchto kořenů uvnitř jednotkového kruhu. Konstrukce modelu je založena na tvorbě stacionárního modelu pro příslušně diferencovanou časovou řadu (přitom ale nesmíme opomenout případnou počáteční transformaci řady za účelem její linearizace, která se provádí ještě před diferencováním). Řád diferencování d přitom v realitě obvykle nepřekročí dvojku (rutinní časové řady ekonomického a finančního charakteru obvykle mívají a speciálně řady spotřebitelských indexů či nominálních mezd mohou někdy mít . Možností, jak stanovit řád diferencování d pro analyzovanou řadu, jsou zejména: - testy na jednotkový kořen - subjektivní prohlídka řad , , a jejich odhadnutých korelogramů a parciálních korelogramů – speciálně pomalý (lineární) pokles odhadnutých autokorelací je indikací pro další diferencování řady - porovnání výběrových směrodatných odchylek (volatilit) řad , , - volí se ten řád diferencování, který odpovídá případu s nejmenší volatilitou; při vyšších hodnotách se však volatility mohou začít s navyšováním d d růst a mluví se pak o tzv. prediferencování. - - aplikace informačních kritérií modifikovaných pro modely . ________________________________ [1] Řekneme, že posloupnost náhodných veličin konverguje k n.v. podle středu (je cauchyovská podle středu), jestliže lim , resp. lim [2] MA proces nemá žádnou přímou souvislost s dříve popsanou metodou klouzavých průměrů užívanou pro eliminaci trendu časové řady. [3] Poznámka výchozí (nelogaritmovaná) věrohodnostní funkce má tvar