Sparse Parameter Estimation in Overcomplete Time Series Models

VESELÝ, Vítězslav and Jaromír TONNER. Sparse Parameter Estimation in Overcomplete Time Series Models. Austrian Journal of Statistics. Austria, 2006, 35/2006, 2&3, p. 371-378. ISSN 1026-597X.

Basic information

• Original name: Sparse Parameter Estimation in Overcomplete Time Series Models
• Name in Czech: Řídké odhady parametrů v přeparametrizovaných modelech časových řad
• Authors: VESELÝ, Vítězslav (203 Czech Republic, guarantor) and Jaromír TONNER (203 Czech Republic).
• Edition: Austrian Journal of Statistics, Austria, 2006, 1026-597X.

Other information

• Original language: English
• Type of outcome: Article in a journal
• Field of Study: 10103 Statistics and probability
• Country of publisher: Austria
• Confidentiality degree: is not subject to a state or trade secret
• WWW: URL
• Impact factor: Impact factor: 0.259 in 1999
• RIV identification code: RIV/00216224:14560/06:00017505
• Organization unit: Faculty of Economics and Administration
• Keywords in English: Overcomplete ARIMA model; sparse estimate; time series; forecasting; algorithm
• Tags: algorithm, forecasting, Overcomplete ARIMA model, sparse estimate, Time series
• Tags: International impact, Reviewed

Abstract

We suggest a new approach to parameter estimation in time series models with large number of parameters. We use a modified version of the Basis Pursuit Algorithm (BPA) by Chen et al [SIAM Review 43 (2001), No. 1] to verify its applicability to times series modeling. For simplicity we restrict to ARIMA models of univariate stationary time series. After having accomplished and analyzed a lot of numerical simulations we can draw the following conclusions: (1) We were able to reliably identify nearly zero parameters in the model allowing us to reduce the originally badly conditioned overparametrized model. Among others we need not take care about model orders the fixing of which is a common preliminary step used by standard techniques. For short time series paths (100 or less samples) the sparse parameter estimates provide more precise predictions compared with those based on standard maximum likelihood estimators from MATLAB's System Identification Toolbox (IDENT). For longer paths (500 or more) both techniques yield nearly equal prediction paths. (2) As the model usually depends on the estimated parameters, we tried to improve their accuracy by iterating BPA several times.

Abstract (in Czech)

Je navržen nový přístup k odhadu parametrů v modelech časových řad s velkým množstvím parametrů. Je používána modifikovaná verze algoritmu BPA (Basis Pursuit Algorithm, [Chen et al, SIAM Review 43 (2001), No. 1]) za účelem ověření jeho použitelnosti v modelech časových řad. Pro jednoduchost se omezujeme na ARIMA modely jednorozměrných stacionárních časových řad. Po provedení a analýze velkého množství numerických simulací byly učiněny následující závěry: (1) V modelu je možno spolehlivě identifikovat parametry blízké nule a tak redukovat původně špatně podmíněný přeparametrizovaný model. Mimo jiné není tak třeba předem odhadovat řády modelu jako při užití standardních technik. V případě krátkých trajektorií (délky 100 a méně) takto získané řídké odhady dávají přesnější predikce ve srovnání s predikcemi získanými pomocí estimátorů metodou maximální věrohodnosti implementovaných v knihovně System Identification Toolbox (IDENT) systému MATLAB. Pro delší trajektorie (délky 500 a více) obě techniky dávají takřka shodné predikce. (2) Jelikož model obvykle závisí na odhadovaných parametrech bylo ověřována i možnost dalšího zvýšení přesnosti několikanásobným iterováním algoritmu BPA.

Links

• MSM0021622418, plan (intention): Name: DYNAMICKÁ GEOVIZUALIZACE V KRIZOVÉM MANAGEMENTU

Investor: Ministry of Education, Youth and Sports of the CR, Dynamic Geovisualisation in Crises Management