PA081: Programování numerických výpočtů 10. Modelování experimentálních dat, metoda nejmenších čtverců Aleš Křenek jaro 2011 Modelování experimentálních dat ► v experimentu naměříme v bodech xt hodnoty y i ► x může být libovolná veličina: čas, napětí, poloha, .. ► chování systému popisujeme modelem y = M(x) ► model závisí na sadě parametrů au tj. y = M(x,ai,...,aM) ► hledáme takové hodnoty au pro něž model odpovíd nejlépe experimentu Modelování experimentálních dat Příklad ii' tln2 ► radioaktivní rozpad N = Noe t ► N je počet atomů ve vzorku (A/o v čase t = 0), T poločas rozpadu "pri klady/exp. dat" 20"exp(-x/20"log(2)) - Metoda nejmenších čtverců Uneární regrese Lineární modely Metoda nejmenších čtverců Odvození ► „Jaká je pravděpodobnost, že konkrétni sada parametru at je správná?" ► špatně položená otázka ► neexistuje „náhodná veličina modelů" ► naopak, náhodnou veličinou jsou měřená data zatížená chybou ► tedy „Při daných parametrech a/, jaká je pravděpodobnost měření (xuyi)T PA081: Programování numerických výpočtů A. Křenek Modelování experimentálních dat Metoda nejmenších čtverců Lineární regrese Obecný model Lineární modely Vícerozměrná data 4/17 Metoda nejmenších čtverců Odvození ► „Jaká je pravděpodobnost, že konkrétní sada parametrů cii je správná?" ► špatně položená otázka ► neexistuje „náhodná veličina modelů" ► naopak, náhodnou veličinou jsou měřená data zatížená chybou ► tedy „Při daných parametrech au jaká je pravděpodobnost měření {xuji)T ► nulová, je-li y spojitá veličina ► musíme přidat „plus/minus odchylka měření Ay" ► model považujeme za správný, maximalizuje-li tuto pravděpodobnost ► i tak je to velmi intuitivní konstrukce Metoda nejmenších čtverců Lineární regrese Lineární modely 4/17 Metoda nejmenších čtverců Odvození ► předpokládáme normální rozložení chyby měření ► pravděpodobnost výskytu dané sady měření i íyt-M(xt)A2 Y\e *\ a l Ay maximalizace odpovídá minimalizaci logaritmu, tj. 2(J2 ► N, (J, Ay jsou konstanty Metoda nejmenších čtverců Poznámky ► rozložení chyby všech měření nemusí být stejné ► používá se modifikovaná funkce (yí-M(xí))2 x2 = X 2(7t PA081: Programování numerických výpočtů A. Křenek Modelování experimentálních dat Metoda nejmenších čtverců Lineární regrese Obecný model Lineární modely Vícerozměrná data 6/17 Metoda nejmenších čtverců Poznámky ► rozložení chyby všech měření nemusí být stejné ► používá se modifikovaná funkce (yí-M(xí))2 X = 1- 2&ř ► rozložení chyby nemusí být normální ► počet měření v jednom bodě bývá příliš malý ► zatížení chybou typu „někdo kopl do váhy" ► metoda je na takové chyby nepřiměřeně citlivá ► tzv. robustní statistiky Metoda nejmenších čtverců Lineární regrese Lineární modely 6/17 Metoda nejmenších čtverců Poznámky ► rozložení chyby všech měření nemusí být stejné ► používá se modifikovaná funkce (yí-M(xí))2 X = 1- 2&ř ► rozložení chyby nemusí být normální ► počet měření v jednom bodě bývá příliš malý ► zatížení chybou typu „někdo kopl do váhy" ► metoda je na takové chyby nepřiměřeně citlivá ► tzv. robustní statistiky ► systematická chyba ► např. špatně kalibrovaný přístroj, závislost na související veličině Metoda nejmenších čtverců Lineární regrese Lineární modely 6/17 Metoda nejmenších čtverců Zhodnocení vypočtených parametrů > minimalizací x2 se téměř vždy hodnot at dopočítáme > nevypovídá to ještě nic o kvalitě modelu > např. lineární model radioaktivního rozpadu Metoda nejmenších čtverců Lineární regrese Lineární modely 20 30 40 50 60 70 80 90 100 7/17 Metoda nejmenších čtverců Zhodnocení vypočtených parametrů ► „chi by eye" nebo seriozní statistické zhodnocení ► hodnotíme pomocí regularizované gamma funkce ► funkce konkrétního x2 a počtu stupňů volnosti (N - M) gamma_functi on ► pravděpodobnost, že zcela náhodně vybraný vzorek (Xi,yi) dá větší hodnotu x2 ► čím větší tím lepší ► Q > 0.1 je v pořádku ► Qg [0.001,0.1] je podezřelé, ale stále přijatelné, není-li distribuce chyb měření zcela normální, resp. je mírně podceněná ► Q < 0.001 znamená špatný model nebo zcela nesmyslné měření ► viz např. http ://en .wi ki pedi a. org/wi ki /Incompl et Lineární regrese ► data prokládáme přímkou a + bx = 0 ► obecnější než se zdá na první pohled ► data (x,y) lze předem libovolně (nelineárně) transformovat na (x',y') ► minimalizovaná funkce 2/ n sr (yí-a- bxi) Metoda nejmenších čtverců lineární regrese Lineární modely minimum v bodě nulových prvních derivací da db -21=* yi- a - bxi (J; -21 Xi(yt - a- bxt) o? 9/17 Lineární regrese ► vhodným vyjádřením faktorů S, Sx, Sy, Sxx, Sxy ► součty zlomků konstruovaných z xuyu Xy ► získáme řešení, ale nevíme nic o jeho kvalitě ► odhad podle grafu nebo výpočet Q ► uvedená lineární regrese na radioaktivní rozpad začíná být přijatelná až když připustíme Oí > 1.6 Metoda nejmenších čtverců Lineární regrese Lineární modely 10/17 Obecný model ► M(x, a\,Um) je nelineární funkce v at ► nelinearita v x by nevadila, viz dále ► výpočet minimálního x standardními optimalizačními metodami ► existují speciální varianty právě pro tvar funkce 2 v {yi-U{xi,ai,...,aM))2 X {ai,...,aM) = > -—-g- ► včetně verzí s dostupnými prvními i druhými derivacemi ► díky speciálnímu použití další triky ► konkrétní metody ► Levenberg-Marquardt ► Moré ► např. NAG library Lineární modely ► model M(x, a\,..., cim) je lineární kombinace M(x, a.\,...,um) = ^ajXj(x) ► linearita ve smyslu parametrů modelu a j ► základní funkce Xj mohou být jakékoli ► pro vyhodnocení modelu se použijí jen jejich konkrétní hodnoty v bodech xi ► opět minimalizujeme x2 ► definujeme matici A a vektor b Lineární modely ► derivováním dostáváme M rovnic pro k = 1,..., M i i \ j I > po úpravách v maticovém vyjádření (ArA)a = Arb > řešení bývá citlivé na zaokrouhlovací chyby > preferovaná technika je QR rozklad PA081: Programování numerických výpočtů A. Křenek Modelování experimentálních dat Metoda nejmenších čtverců Lineární regrese Obecný model Lineární modely Vícerozměrná data U/17 Lineární modely Rozklad na singulární hodnoty ► model nemusí být dokonalý, mohou se objevit téměř lineární závislosti ► některé základní funkce nebo jejich kombinace jsou pro danou datovou sadu irelevantní ► vede na téměř singulární matici ► standardní metody inklinují k velkým hodnotám irelevantních parametrů ► SVD dokáže tyto problémy identifikovat ► algoritmus přímo hledá nejbližší řešení, tj. minimalizuje |Aa-b|2 ► zároveň detekuje problematické funkce Lineární modely Rozklad na singulární hodnoty ► stejná data, kvadratické a kubická funkce "exp.dat" 18.100248-0.426257*x+0.002662*x*x 19.418850-0.593832*x+0.007043*x*x-0.000031*x*x*x -------- Metoda nejmenších f čtverců lineární X+ % - regrese Obecný model Lineární modely - Vícerozměrná data - + ;*^-:^++ ♦ + í+*'5E-$-+.+ +_ 10 20 30 40 50 60 70 80 90 100 15/17 Lineární modely PA081: Programování numerických výpočtů A. Křenek ► tabulka singulárních hodnot pro různé řády polynomu Modelování experimentálních dat Metoda nejmenších čtverců řád Lineární 1 5.18 537.24 regrese 2 39654.25 3.51 134.10 Obecný model 3 31922200.00 66338.90 564.94 25.73 Lineární modely 4 2685350000.00 4133810.00 19913.70 272.78 99.50 Vícerozměrná koeficienty u xn pro n > 4 jsou téměř nulové 16/17 Vícerozměrná data ► místo dvojic (xuyt) máme (xuyt) ► x je /c-rozměrný vektor ► model M je funkce Rk — R ► jinak se nic nemění ► minimalizujeme vůči parametrům ► základní funkce se pouze vyhodnocují v Xi ► není třeba derivovat podle složek Xí PA081: Programování numerických výpočtů A. Křenek Modelování experimentálních dat Metoda nejmenších čtverců Lineární regrese Obecný model Lineární modely Vícerozměrná data 17/17