Lineární statistické modely I 1 Úvod Prednášky z predmetu Lineární statistické modely I nadväzujú na predmety Pravděpodobnost a statistika I, II a predpokladajú sa znalosti získane v týchto predmetoch. Odporúčaná literatúra k štúdiu je Andei, J., Matematicka statistika, SNTL, Praha, 1985. Rao, C., R., Lineérné metody statistické indukce a jejich aplikace, ACADEMIA, Praha, 1978. Zvara, K., Regresní analýza, ACADEMIA, Praha, 1989. Niektore poznatky si zopakujeme (povazujeme ich za "vzorce"). Majme náhodný vektor X = (Xi,X2, ...,Xn)', ktorý má distribucnú funkciu Fx(xi,xn). Nech T : Rn — 1Z1 je meratelne zobrazenie, potom stredna hodnota E (T ) = E (T (Xi, ...,Xn)) = / T (xi, ...,Xn)dFx(xi, ...,Xn) = J2(xi x ) T (xi, ...,xn)P(Xlt Xn), v prípade diskretneho nahodneho vektora, j-jín T(x1, ...,xn)fx(xi, ...,xn)dx1...dxn, v prípade spojiteho núhodneho vektora. Stredna hodnota /co xidFi(xi), disperzia (rozptyl) /co (xi -E(Xi))2dFi(xi), c kovariancia /CO t>OQ / (xi - E (Xi))(xj - E (Xj ))dFi j (xí,xj ) -oo J —co a korelacia cor(Xi,Xj ) = Q(Xi,Xj) cov(Xi,Xj) ^V(Xi)V(Xj) ak 0 < D(Xi) < oo, 0 < D(Xj) < oo. Len na pripomenutie /CO fCO ... fx(xi, ...,xn)dxi...dxi—idxi+i...dxn. -oo J —oo Xi—i — o Xi+1 — O Xn —>- OO 1 2 Matica náhodných veličín (náhodná matica) Znm je taká matica, ktorej prvky {Z}ij = Zi j sú náhodné veličiny. Jej stredna hodnota E (Z) je matica, ktorej (i, j)—ty prvok je E (Zi _ j) (predpokladáme, že všetky stredné hodnoty existujú a sú konecne). Veta 1.1: Nech Zi, Z2 sú nahodne matice, nech existujú matice E (Zi), E (Z2) a A, Bi, B2, Ci, C2 sú (nenahodne) realne matice vhodnúch rozmerov. Platí E (A + BiZi Ci + B2Z2C2) = A + BiE (Zi)Ci + B2E (Z2)C2, [E (Zi)]' = E (Zi). Dôkaž: Spravte ako cvicenie. Využite linearitu integralu, teda platnost vžtahov n n E (a + bX) = a + E (X), E aXi) = ^ aE (Xi) pre lubovole realne a, b, ci,cn a nahodne premenne X, Xi,Xn (ktore majú konecne stredne hodnoty) Q.E.D. Ak Xn i je núhodny vektor (Xi,Xn)', potom jeho stredna hodnota E (X) = (E (Xi),..., E (Xn))' (ak vsetky stredne hodnoty existuju a sú konecne). Ak vsetky Xi,Xn majú konecne disperzie, tak kovariancnú matica vektora X je / D(Xi) cov(Xi,X2) ... cov(Xi,Xn) \ cov(X2,Xi) D(X2) ... cov(X2,Xn) cov(X) = . . . . \ cOv(Xn,Xi) cOv(Xn,X2) ... D(Xn) j Z Vety 1.1 lahko dostavame Lema 1.2: E (ap , i + Bp , nX) = a + BE (X). Veta 1.3: (Vlastnosti kovariancnej matice cov(X).) Nech X je nahodnú vektor s konecnymi druhymi momentmi. Platí: 1. cov(X) = E [(X — E (X))(X — E (X))'] = E (XX') — E (X)[E (X)]', 2. (cov(X)) = cov(X), 3. cov(ami + Bmn X) = Bcov(X)B', ak a, B sú nenahodny vektor resp. nenahodna matica, 4. cov(X) je požitúvne semidefinitna matica. Doôkaž: 1. Spravte ako cvicenie. 2. Vyplúyva ž vlastnosti kovariancie cov(Xi, Xj) = cov(Xj, Xi). 3. cov(a + BX) = E{(a + BX — E(a + BX))(a + BX — E(a + BX))'} = = E (B(X — E(X)(X — E(X)'B') = Bcov(X)B'. 4. Podla predchúdžajúceho bodu pre lubovolne cni platú pre disperžiu nahodnej veliciny Y = c'X nerovnost 0 < D (Y) = D(c'X) = c'cov(X)c. Využívame aj požnatok, že disperžia každej nahodnej veliciny je nežúporne cúslo (ak disperžia existuje). Q.E.D. 3 Niektoré aplikácie predchádzajúcich tvrdení: Majme náhodne premenne Xi,X2 a poznúme ich kovariancnú maticu cov(X). Potom disperzie a ko-variancie medzi núhodnými premennúmi Yi = ciXi + c2X2, Y2 = diXi + d2X2, Y3 = eiXi + e2X2 lahko dostaneme z kovariancnej matice nahodneho vektora Y ( Cl C2 N ei e2 J XXl2 BX, keďže cov(Y) = Bcov(X)B'. Napríklad ak Y1 = X1 - X2, Y2 = X1 + X2, tak cov (Y) = cov ((:?)(s))=crn ( P(Xi) cov(Xi,X2) cov(X2,Xi) D(X2) - D(Xi) - cov(X2, Xi) cov(Xi,X2) -D(X2) D(Xi) + cov(X2,Xi) cov(Xi,X2) + D(X2) - / D(Xi) - 2cov(Xi,X2)+ D(X2) D(Xi)-D(X2) \ V D(Xi) -D(X2) D(Xi) + 2cov(Xi,X2)+ XTO,/ ' Majme dva núhodne vektory X = (Xi,Xn)', Y = (Yi,Ym)'. Nech existujú konecne kovariancie cov(Xi,Yj), i = 1 , 2,..., n, j = 1 , 2,..., m. Matica f cov(Xi,Yi) cov(XiY) ... cov(Xi,Ym) \ cov(X2,Yi) cov(X2,Y2) ... cov(X2,Ym) cov(X,Y) = \^ cov(Xn,Yi) cov(Xn,Y2) je kovarianďcnúa matica vektorov X, Y. cov(Xn,Ym) J n,m Veta 1.4: (Vlastnosti kovariancnej matice cov(X, Y).) Platí 1 . cov(X, Y) = E [(X - E (X))(Y - E (Y))'] = E (XY') - E (X)[E (Y)]', 2. cov(X, X) = cov(X), 3. cov(afcji+Bfc_nX, b;ii+C;_mY) = Bcov(X, Y)C', ak a, b, B, C su nenahodne vektory resp. nenahodne matice, 4. ak m = n, tak cov(X + Y) = cov(X) + cov(Y) + cov(X, Y) + cov(Y, X), 5. cov(J2 *=i Xi) = J2 ti=iY, tj=i cov(Xi, Xj), ak Xj GRn, i = 1 , 2,...,t, 6. [cov(X, Y)]' = cov(Y, X). 7. ETrAj.,1 Z;fc = TrAE (Z), ak A je nenúhodnú a Z nahodna matica. Dokaz: 1. Spravte ako cvicenie. 2. Vyplýva z definície. 3. cov(a + BX, b + CY) = E{[B(X -E (X))][C(Y = BE{(X - E(X))(Y - E(Y))'}C' = Bcov(X, Y)C'. E{ (a + BX - E (a + BX))(b + CY - E (b + CY))'} E (Y))]'} = E{B(X - E (X))(Y - E (Y))'C'} = 4 4. cov(X + Y) = E{(X + Y - E (X + Y))(X + Y - E (X + Y))'} = = E{(X - E (X) + Y - E (Y))(X - E (X) + Y - E (Y))'} = = E{(X-E (X))(X-E (X))'+(Y-E (Y))(X-E (X))'+(X-E (X))(Y-E (Y))'+(Y-E (Y))(Y-E (Y))'} = cov(X) + cov(Y, X) + cov(X, Y) + cov(Y). 5. Dokážte ako cvičenie. 6. [cov(X, Y)]' = {E(XY') - E(X)[E(Y)]'}' = E(YX') - E(Y)[E(X)]' = cov(Y, X), lebo [E(XY')]' E(YX'). 7. ETrAZ = E{E-=1 EJ=i{A}ij{Z}ji} = Eli £J=i{A}ijE{Z}U = TrAE(Z). Q.E.D. Nech existujá všetky korelačne koeficienty 1, 2,..., n, j = 1, 2,..., m. Matica cor(X, Y) = (gij) i=i,2,...,n = j = 1, 2 ,...,m f cor(Xi,Yi) cor(Xi,Y2) cor(X2,Yi) cor(X2 ,Y2) V cor(X„,Yi) cor(Xn,Yi) ša vola korelacna matica vektorov X, Y. Špeciálne ak X = Y, pášeme / 1 cor(Xi,X2) ... cor(Xi,Xn) \ cor(X2, Xi) 1 cor(Xi,Ym) ^ cor(X2,Ym) cor(Xn,Ym) J cor( X) = cor(Xn, Xi ) cor(Xn, X2) namiesto cor(X, X). Niekedy ša kovariancná matica piše cor(X2, Xn) cov(X) 0i,i 0i,2 02,i 02,2 01, n 02, n \ \ 0n,i an,2 í 02 (T i,2 0n,n J ( 2, . ( ,n 2 2 ... ( 2,n ( n, ( n,2 ( n2 teda aiii = t2 = D(Xj). Pri ožnacení D = Dx í Ti 0 0 02 00 0 0 (n diag(ai, 02,t n) platí lebo cor(X) = D"icov(X)D"i a cov(X) = Dcor(X)D, 0 0 -1 00 0 0 ri Ti,2 02,i \ 0n,i 0n,2 01, n 02, n 02n J 0 í ± 0 -i 00 1 5 Analogicky 0"2 0"2 ^ \ I L 0 2, je nahodny vyber z rozdelenia s konecnym rozptylom (disperziou) a2. Oznacme S2 1 n i n ^^(Xi - X )2 (váberovy rozptyl) a X = ~'^JXi (výberový priemer). n1 Ukazte, ze S2 = ^ ^(Xi - X )2 = nL1 (£ n=L X2 - nX ) a urcte E (S2). 1 0 6 Riešenie: S2 1 n — 1 1 n1 ]T(X2 - 2X*X + x2) 1 n 1 n — 1 ^ n i=1 j=1 n n — 1 \ z—' " n z—' l n , i=l i=l \ j = 1 1 ( Vv 1 —- v v-n—2 n 1 n2 Ěx) x n - 1 n( n - 1) (v'v - nv'n'V) = V = V'AV, n - 1 n( n pričom vektor (príslušného rozmeru), ktorého zložky šú šame jedničky budeme značit 1 a štvorcovú maticu (príslušného rozmeru), ktora mú všetky prvky rovne jednej budeme značit E. Platí teda E = 11'. Ked na núhodny vyber X1,X2,Xn pozeráme ako na nahodny vektor V = (X1,X2,Xn)', tak jeho štrednúa hodnota a kovarian čnúa matiča šuú E (V) í M \ (a2 0 ... 0 \ 0 a2 ... 0 = M1, cov(V) = 0 . . . 0 V M ) l 0 0 ... a2 J a2I, (e(x*) = m, D(Xi) = a2). Podla Vety 1.5 je E (S2) = [e (V)]'Ae (V)+TrAcov(V) = m21' í —— I n - 1 n( n ---EÍ1+Tr í —— I--—1-- E} a2I - 1) J |_\n - 1 n(n - 1) J _ 1 M2{ ^ n - 1 n( n - 1) n 1+ Tria2 -1— I i- Tra2 ——1-- E n - 1 n( n - 1) n - 1 n( n - 1) n - 1 n( n 2 Mnohorozmerné normálne rozdelenie n( n 2 1 2 1 a -n — a - n1 n1 2. Ak ma núhodna veličina X huštotu f x (x) e 2 0, tak X ma regulárne normálne rozdelenie š parametrami m a a2. Píšeme X — W(m, a2). Veta 2.1: Nečh X - W(0,1) a m G (-o, oo), a = 0. Platí U = m + aX - W(m,u2)-Dokaz: X ma huštotu fX = —== e 2 . (i) ak a > 0, tak dištribučna funkčia nahodnej veličiny U = m + aX je Fu (x) = F^+ax (x) = P {m + aX < x} = H X < {X-—-1 = / -^L e-^ dt (substitácia t = ^, dt = ^) /* 1 (u-,)2 fX 1 (u-,)2 / _ e 2a2 du = / _-e 2a2 du, Jx V2na J-00 V2n(—a) 1 (u-,)2 teda hustota U je v tomto prípade ^—1—r e 2a2 V obidvoch prípadoch je hustota U rovná fu (x) = ^22nn\a\ e = ^r^^e 2a2 , a teda U 1 (u-,)2 1 (u-,)2 _j:_p 2a2 - 1 2a2 lpadoch ie hustota u rovná f i i x ) - /-r—. . e ľ J ■> U \ / ^2n\u\ N (/,a2). Q.E.D. Charakteristická funkcia náhodnej veliciny X — N(0,1) je • 1 x2 1 I í00 x2 x2 (t) = f (eííX) = / eíte—=e-^dx = —= < / (costx)e—^ dx + (sintx)e—^ dx J-oo V2n V2n | J—oo *-v-' J—o--v-' párna (sudá) funkcia nepárna (lichá) funkcia i f00, , -xi, i vn — 4- —=2 1 (costx)e 2 dx = ,_ 2 —r- e 42 = e 2 Tu sme využili vásledok z analýzy />CO / 2 2 I (cos 5x)e—a x dx o ——e 4a2, ak a > 0. 2a Teda X — N(0,1) ma charakteristicku funkciu ipx (t) = e— i. Ak U - N (/i, a2), a > 0, tak U = /x + aX (kde X — N (0,1)) a preto ýU(t) = E (Vt(íí+ 0. Nahodna velicina X má regularne normálne N (/i,a2) rozdelenie, ked ma hustotu f (x) = ,—1 e 2<,2 a charakteristická funkciu e%lí 2 . Nech a = 0. Ak ma náhodna velicina X charakteristická funkciu ei^t, tak to je diskrétna nahodna velicina, ktora nadobuda (jedinu) hodnotu /i s pravdepodobnostou 1 (cize P {X = /i} = 1). Povieme, ze v tomto prípade ma X singularne normalne N (/i, 0) rozdelenie. Dospeli sme k (vseobecnej) definícii normalneho rozdelenia Definícia 2.2: Nech /i G (—00, 00), a2 > 0. Povieme, ze X — N(/x, a2) (teda, ze X ma jed- norozmerne normálne rozdelenie s parametrami /i G (—00, 00), a2 > 0), ak ma charakteristická funkciu ýX(t) = ei^t—^ŕ2, t G (—00, 00). Dokázte ako práklad, ze ak X — N (/i, a2), tak E (X) = /i a D (x) = a2. 8 Definícia 2.3: Nech fi G Rn a S = (aij) i=i,2,..,n je pozitívne semidefinitná symetrická matica. Povieme, ze náhodná vektor X má n—rozmerne normálne rozdelenie, ak pre kazdy vektor c G Rn je c'X — N (c'f, c'Sc). Píšeme X — Nn (f, S). Veta 2.4: Nech X — Nn(fi, S). Potom E (X) = fi a covX = S. Dokaz: Oznacme ej G Rn j—ty jednotková vektor (cize vektor, ktory má na j—tom mieste 1, inde vSade 0). Potom Xj = ejX — N(ej f = H, ejSej = pj,j), teda E (Xj) = , D(Xj) = ■ Platí, ze E (X) = fi a {S}M = D(Xi), i = 1, 2, „.,n. Uvazujme teraz vektor k G Rn, c j k = ej + ek, j = k. Platí cj , k X = Xj + Xk — N (c j , kff = Mj + Mk, cj, k Scj ik = pj j + p j, k + Pk ,j + Pk , k), teda D(cj,k X) = + Pk,k + 2<7j,k (1) Podla Vety 1.3, bod 3 (a = 0, B = cjk) a Vety 1.4, bod 5 je D(cj,kX) = D(Xj + Xk) = D(Xj) + D(Xk) + cov(Xj ,Xk) + cov(Xk ,Xj) = D(Xj) + D(Xk) + 2cov(Xj ,Xk). (2) Pretoze D(Xj) = (Tjj, D(Xk) = akik, dost avame z (1) a (1) a (2) = cov(Xj, Xk) a teda S = covX. Q.E.D. Veta 2.5: Nech X — Nn(p, S). Potom charakteristická funkcia V>x(t) = eit'»-1 t'St, t G Rn. Dôkaz: Pre dane t G Rn je ť X — N1(t'f, t'St) a Vx(t) = E [eit'x) = E (ei1(t'x)) = Wx(1) = ei1(t'^ = eit'»-it 'St. Q.E.D. Veta 2.6: Nech X — Nn(fi, S), a G Rm, Bmn realna (pevna) matica. Potom Y = a + BX — Nm(a + Bfz, BSB'). Dokaz: Pre dane t G Rm je V>Y(t) = E (eit'Y) = E (ée(a+BX)) = eit'aE (ei(t'B)X) = eit'a^X(B't) = eit'aeit'B»-i(t 'B)S(B 't) = = eit' (a+Bf*)-i t' (BSB ' )t co je charateristická funkcia m— rozmernej normálne rozdelenej nahodnej veliciny so strednou hodnotou a + B/lx a kovariancnou maticou BSB', cize Y = a + BX — Nm(a + B/lx, BSB'). Q.E.D. Oznacme / Xi \ Xn,1 Xk Xk+1 Xn (X:) 1 < k < n, cize X1 X1 Xk Xk+1 Xn GRn-k. (3) 9 Veta 2.7: Nech X - Nn(p, E). Potom X1 - Nk(p1, En), kde ^1 / í(X1) \ E11 0"1,1 &1,2 ■■■ &1,k 0"2,1 a2,2 ■■■ &2,k i S11 S12 \ (Poznamenávame len, že E = E21 E22 E22 je (n — k) x (n — k) matica.) Dokaz: X1 = ilk,k-0k,n-k )X => X1 - (I.0)/i, (I.Q)^ J \ ak,1 ak,2 ■■■ ak,k ) teda E12 je k x (n — k) matica, E21 je (n — k) x k matica a Čiže X1 - Nk(p1, En) Q.E.D. Poznámka: Môžeme za X1 vybrat lubovolnú k—ticu náhodných premenných z X1, ■■■,Xn, marginálne rozdelenie nahodneho vetora X1 je vzdy normálne s "prirodzenými parametrami". Veta 2.8: Nech X : XX12 Nn(fj,, E) (podla (3)), potom platí X1 a X2 sá nezavisle cov(X1, X2) = 0kn-k (sú nekorelovane)■ Dokaz: Ak sá X1 a X2 sá nezávisle Xi a Xj sá nezavisle pre všetky i G {1, ■ k}, j G {k +1, ■ n}, teda cov(Xi, Xj) = 0 pre vsetky i G {1, ■ k}, j G {k + 1, ■ n}, cize cov(X1? X2) = 0. Naopak, ak cov(X1, X2) = 0 E12 = 0, teda pre charakteristická funkciu náhodneho vektora X platí pre kazde t = (t1, t2)', pricom t1 G Rk, t1 G Rn-k, V>x(t) = elt'»- 1 t'st i(tí.t2) fc)-1 (tí,t2i*? i) (t:) = eltíVí-2tí,íítí eit'2^2-2t2S22t2 = (t1)^X2 (t2) (je sácinom charakteristickách funkcií subvektorov X1 a X2), teda (pozri Renyi, A., Teória pravděpodobnosti, ACADEMIA, Praha, 1972, str. 300) X1 a X2 su nezávisle. Q.E.D. Skor ako sa dostaneme k faktorizácii kovariancnej matice, zopakujme si niekolko poznatkov z algebry. Nech A je symetrická m x m (stvorcova) realna matica. det(A — AI) °= IA — XI\ =0 je charakteristická rovnica matice A. Je to rovnica m—teho stupna. Jej korene sá A1,A2,^^^,Am. Voláme ich vlastne (alebo charakteristicke) císla matice A. Ku kazdemu vlastneniu císlu existuje nenulovy vlastná (alebo charakteristická) vektor Pj, ze platí APi = AiPi. Platáí: I. Ak h(A) = r (hodnost matice A), tak nula je (m r)— na: ásobnym korenom rovnice |A AII 0. II. Vsetky vlastne císla sá reálne a aj vsetky vlastne vektory su realne. Mozeme vlastne císla teda precáslovat tak, aby A1 > A2 > ■■■ > Am. III. Pj, Pj prisláchajáce Ai = Aj su navzajom ortogonalne. Bez ájmy na vseobecnosti mozeme zvolit PjPj = 1 (ortonormálne). = e 10 IV. Ak A je požitívne definitnú, tak Ai > A2 > ... > Am > 0. Ak A je požitívne semidefinitna a h(A) = r, tak Ai > A2 > ... > Ar > Ar+i = ... = Am = 0. V. Existuje ortogonalna matica Pm 1, tak ž predchúdžajúceho S = PAP', kde 0 0 ... 0 \ A A Ar 0 ... 0 0 0 ... 0 0 0 ... 0 ÍVA-i 00 VAT 0 00 00 0. 0 0 0 (VATi ArPr) V 0 00 VAT 0 00 0 0 0 0 0 ... 0 P P P2 V Pm J Bn rBr r n a platí h(Bnr) = r. Rožklad kovariancnej matice Snn = Bnr BT n, pricom h(Bnr) = r, sa volú faktorižacia =r kovariancnej matice. 0 0 Veta 2.9: Nech X - Nn(/>x, S), h(S) = r > 1, S = Bn,rB', h(B) = r. Nech U = (Uu...,Ur)' -Nr (0, Irr). Potom X a fx+BU majú rovnaké rozdelenie pravdepodobnosti (z pravdepodobnostneho hladiska sú ekvivalentne, nerozoznúme ich). 11 Dôkaz: X — Nn(fi, S = BB'), U — Nr(0,1). Podla Vety 2.6 fi + BU - Nn(p, + B0 = f, Bcov(U)B' = S). Q.E.D. Poznámka: Ak X — Nn(f, S), h(S) = r < n, tak povieme, ze X má singulárně normálne rozdelenie (nema napr. hustotu na celom Rn). Popíšeme ho pomocou vektora U = (Ui,Ur)', kde Ui — N(0,1) sá nezávisle (pomocou Vety 2.9). Skor ako si odvodíme hustotu mnohorozmerneho normalneho rozdelenia, zopakujme si vetu o hustote transformovaneho náhodneho vektora. Veta 2.10: (O hustote transformovaneho náhodneho vektora) Nech náhodná vektor X = (Xi, ...,Xn)' má hustotu p(x) vzhladom k Lebesgueovej miere v rn. Nech t : rn — rn je regularne a proste zobrazenie na otvorenej množine G c rn, pre ktorá fGp(x)dx = 1, t.j. 1. (proste) xi g G, X2 g G, xi = X2 ==> t(xi) = t(x2), 2. (regulárne) G je otvorena podmnozina Rn, 3. (regulárne) pre kazde x G G existuje spojitá atgj, i, j g {1, 2, ...,n}, 4. (regularne) pre kazde x g G je Jakobián -Dt(x) °=' det (-d^r) = det / dti(x) ' dxi dt2(x) dxi \ dxi dti(x) \ dt2(x) dtn(x) = 0. Oznacme t : t(G) — G inverzne zobrazenie k t (teda (t(t(x)) = x pre vsetky x g G). Nahodny vektor Y = t(X) má hustotu vzhladom k Lebesgueovej miere rovnu q(y) Ip[t (y)]|£>T (y)|, 0 pre y g t(G), pre y g t(G). Dokaz: najdeme v Jarník, V., Integrální poCet I. II. Praha, NCSAV, 1955-1956, alebo Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 47. Veta 2.11: Nech Y — Nn(fi, S), h(S) = n. Potom existuje hustota vektora Y a rovná sa 1 iY(y) (2n) f V det S e-i(y-m)'s i(y-m), y g rn. Dokaz: Kovariancnu maticu faktorizujeme a dostavame S = BnnB', h(B) = n. Podla Vety 2.9 Y sa dá písat ako fi + BU, U = (Ui,...,Un)' — Nn(0, Inn), a podla Vety 2.8 sá Uj — Ni (0,1), j = 1, 2,...,n nezávisle. Majá hustotu (uj) = —k= e-t , j = 1, 2, ...,n. Hustota nahodneho vektora U je (2n)' e-i u'u, u grn. Nahodny vektor Y = fi+BU, teda Y je transformovaný vektor U. Zobrazenie t : rn — rn dane predpisom t (u) = fi + Bu je proste a regulárne na celom rn a Y = t (U). Naozaj, ak ui = u2 fi + Bui = fi + Bu2 (lebo B je regulárna matica). dui {B}jiUi + ... + {B}jnUn) dui {B}ji, i, j G {1, 2,..., n} 1 12 existuje a je spojte pre vsetky u G Rn. Jakobián -Dt(u) = det / ďť(u) ďť(u) \ du' "' dun dť(u) dt2(u) . dtn(u) dtn(u) . det B = 0 pre vsetky u Glln. Inverzne zbrazenie k t je t : Rn — Rn dane predpisom t (y) = B 1(y — (i) (lebo t (t(u)) = B 1(t(u) — (i) = B-1([( + Bu] — (i) = u pre vsetky u G Rn). Náhodná vektor Y = t(U) ma podla Vety 2.10 hustotu rovná fY (y) = V(t (y))^ (y)| = ttAíe-2 t (y)]'[t (y)I = ttAí e-2 (y-m)'(B-í)' det B-1| = (27r) 2 (2^) 2 _1_e-2 (y-m)' s-í(y-m) (2tt) í V det E ' lebo BB' = E =^> E-1 = (B')-1B-1, ale (B')-1 = (B-1)' (co vypláva z rovnosti B'(B-1)' = (B-1B)' = I), teda E-1 = (B-1)'B-1 a det B = det B', teda (0 <)det E = det BB' = (det B)2, cize | det B| = Vdet E, z coho dostávame | det B-11 = raehsr = TďStž. Q.E.D. Dôsledok 2.12: V prípade n = 2 dostavame hustotu dvojrozmerneho normalneho rozdelenia JK U 2 2^v/ľ—ŕ V D(X1)D(X2) f D(X1) cov(X1,X2) \ , s , s lebo E = je pozitávne definitná práve vtedy ak T>(X\] > 0, V(X2) > 0 a V cov(X2,X1) D(X2) J @2 = D0(x(xp(x2) = 1 a v takomto prápade (podla vzorca í J = ac-fe2 f J ) je í D(X2) — cov(X1,X2) \ V —cov(X1,X2) D(X1) J E-1 =_i_ i D(X2) —cov(X1,X2) D(X1)D(X2) — cov2(X1,X2H —cov(X1,X2) D(X0 1__Ľ_ D(Xí) y/V(Xí)V(X2) 1 — __. e 1 1 y/V(Xí)V(X2) D(X2) Poznámka 2.13: Ak ma náhodny vektor Xn1 = í X1 V kde X1 G Rk, X2 G Rn-k, hustotu X2 f (x1, x2), tak podmienene rozdelenie X1/X2 = x2 (v tomto absolátne spojitom prípade) má hustotu I i \ f(X1, X2) ^(x1/x2) = 7-77-7-J— ■ Jnk f (x1, x2)dx! 1 13 Lema 2.14: Nech S = je pozitívne definitná, tak 21 22 (i) S22 je pozitívne definitná matica, (ii) S11 — S12S221S21 je pozitívne definitná matica. DOkaz: (i) S je pozitívne definitna, teda Vy G Rn y'Sy > 0 a y'Sy = 0 y = 0. Z toho vypláva, ze Vx GRn-k (0', x')E í ° j = x'S22x > 0 a (0', x')E í ° )= x'E22x = 0 x = 0. 0 a )■ (I —S12 S- 2\ I je regulárna (lebo det L = 1), teda LEL' = ( 1 -S12S -1 )( S" E12 )( I 0 \ 0 I 21 22 - 2 21 21 I 11 - 12 2 21 21 0 I 0 = 21 22 - 2 21 21 I 11 - 12 2 21 21 0 I 0 = 11 - 12 2 21 21 0 21 22 - 2 21 21 I 0 22 je pozitívne definitna, teda 1 22 0 < det E = det(LEL') = det(En - E12E -2E21) det(E22) (4) 11 12 1 ) 2111 2122 - 2 I21 21 a preto det(Eu - E12E-21E21) > 0 a En - E12E-21E21 = (I. - E12E22 , , 21 22 je pozitávne definitna matica. Q.E.D. Lema 2.15: Platá l -1=(0S12f) a ^ 1=(°)=(l - Dokaz: je jednoduchá, spravte ho ako cvicenie. Lema 2.16: Nech x1, »1 G Rk, x2, »2 G Rn-k. Platá (x - »)'S-1(x - = (x1 - + S12S-21 (x2 - m2)])'(E11 - E^E-^)-1 (x1 - + S12S-21 (x2 - ^2)]) + + (x2 - ^2)'S-21(x2 - ^2). Dokaz: Pocítajme (x - »)'E-1(x - m) = (x1 - »'1, x2 - m2)L' (L')-1E-1(L)-1 i/ x1 - m1 1 _ A2 _ (L') "S 1(L) 1 L( M1 ) = N-v-' V x2 - »2 / (lsľ)-1 / I 0\( (E11 - S12S-21S21)-1 0 \ / I -S12 E-1 \ / x1 - »1 \ \ -S-21S21 I j\ 0 E-1 J V 0 I J\x2 - »2 J 2 2) ( - S12S-21S21)-1 0 \ / x1 - »1 - S12S-21(x2 - »2) A 2 2 V 0 S-21 / V x2 - »2 J (x1-M1-(x2-»2)S-2 S21, x . 14 = (xi — [f i + Si:S221(x: — fx2)])' (Sn — S^S-^)-1^ — [f i + Si2S-21(x2 — fi 2)])+ + (x: — f2)'S-21(x2 — f 2 )■ Q.E.D. Vyuzijác (4) a Lemu 2.16 lahko dostaneme Dôsledok 2.17: Nech Xnj1 = ^ — N (( ^ j ^ )) (oznacenie podla (3) a Vety 2.7), potom hustota X je fX (xi, x2) = k 1 e-Í (xi-[Ml+Sl2S-21(x2-M2)i)'(Sl1-Si2S-21S2l)-1(xi-[Ml+Si2S-21(x2-M2)])X ' (2ir) det(Sll-Sl2S2T2lS2l) i—k 4- e-2(x2-"2)'S—2"(x2-^2) = V(xi, x2)f2(x2). (2tt) 2 Vdet S22 Podmienene rozdelenie X1/X2 = x2 má podla Poznámky 2.13 hustotu f (xi, x2) _ ^(xi, x2)f2(x2) _ ^(xi, ^(x1/x2) f (xi, x2)dxi jnk ^(xi, x2)f2(x2)dxi V'fci, x2 )dxi ' Vidíme, ze pri pevnom x2 je ^(x1, x2) hustotou náhodneho vektora £ — Nk(p1 + S12S-2 (x2 — fi2), S11 — S12S221S21) a teda ^(x1, x2)dx1 = 1, cize hustota ^(x1/x2) podmiemeneho rozdelenia X1 /X2 = x2 je ^(x1, x2). Dokázali sme, ze X1/X2 = x2 — Nk (fJ, 1 + Si2S-21(x2 — fl2), S11 — S12S-1 S2i). (5) Dolezity je specialny propad n = 2. Ak X2 1 ma regularne dvojrozmerne normalne rozdelenie, teda X =( Xi\ — n(YM ( D(Xi) ' °-----------" ||,tak X2 \\M2 V ^D(Xi)D(X2) / D(Xi) ^ D(Xi)D(X2A\ V Q^D(XX)V(X2) D(X2) J/ (mi + ^ D^j^ — M2), D(Xi)(1 — g2) j X1/X2 = X2 — Ni [mi + g JDXy(x2 — M2),D(Xi)(1 — g2)) . (6) 3 Rozdelenie kvadratických foriem Definícia 3.1: Náhodna velicina X ma Gama rozdelenie s parametrami a, b, a > 0, b > 0 (oznacme X — T(a, b)), ak ma hustotu ÍT77TT e x , ak x > 0, r(b) . . 0, ak x < 0. Ponamenavame len, ze pre funkciu gama platí r(a) = J0°° e-xxa-1dx, a > 0, r(n) = (n — 1)! pre n prirodzene císlo, T (2) = y/Ť, aT(a) = r(a + 1) pre kazde kladne císlo a. S funkciou gama je uzko spätá funkcia beta (oznacujeme B(a, b), a > 0, b > 0), B(a, b) = /g1 xa-1(1 — x)b-1dx. Medzi funkciami gama beta platí vztah B (a, b) = rr(aa>+(bb)). 15 Definícia 3.2: Nahodna velicina Y ma xn roždelenie (chíkvadrút roždelenie s n stupňami volnosti), ak mú F (2, n) roždelenie. Teda Y ma hustotu e- 2 y 2—i, ak y > 0, f (y)= { 2*r(n) (O, ak y < 0. Veta 3.3: Nech Xi,X2, ...,Xn su nežavisle N(0,1) roždelene nahodne veliciny. Núhodnú velicina Y = X2 + X2 + ... + Xl maú x2n roždelenie. Dôkaž: (indukciou) Pre n =1, nech Xi — N(0,1) a x > 0, tak distribucnú funkcia FX2 (x) = P {X 2 0 hustotu . 2 2 r(n) Nech teraž X2 + X| + ... + Xn ma pre x > 0 hustotu i i —- e 2x2 i. Potom fX12+X22 + ...+X2i (x — v)fXl+1 (u)du 1 — x-u n —i 1 ——-— e 2 (x — u)2 i^—- 21 r( f) 2 2 r( e 2 (x — u)2 i—i--r— e 2 u 1 du /q 21 V( f) v 7 2 2 r( 2) +1 — / (x — u) ^ — i u—1 du = (substitúcia — = w, du = xdw) ^2 j.„. m i ^ i 1_ i, e 2 x 2 i „ I n 1 H1—i r Poznámka 3.4: Veta 3.3 je alternatívnoú definúciou xI roždelenia. 2 2 Veta 3.5: Nech Y — x2, Z — x2 sú nežavisle nahodne veliciny. Potom Y + Z — x2+s. Dôkaž: Y = X2 + X22 + ... + X;2, Z = X2+ i + X2+2 + ... + X2+s, pricom vsetky X i, X2,Xr+S sú nežavsle a N(0,1) roždelene. Preto Y + Z = X2 + ... + X2+s - x2+s. Q.E.D. Teraž si nieňco žopakujeme ž teúorie žovňseobecnenúych inveržiúí matúíc. Najprv si dokaúňžeme vetu, ktoruú budeme ňcasto pouňžúívaňt. Veta 3.6: Pre každú maticu DM platí M(D) = M(DD'), kde M (D) = {Du : u G U1} je vektorovy priestor generovany stlpcami matice D (podpriestor priestora Uk). Dôkaž: Ožnacme [M(D)]1- ortogonalny doplnok priestora M(D) v (celom) priestore Uk. Platí M(D) = M(DD') [M(D)]^ = [M(DD')]1. Budeme dokažovat rovnost priestorov [M(D)]^ a [M(DD')]1. x 16 Ak z G [M(DD')]1 => z'DD' = 0 =^> z'DD'z = 0 => (D'z)(D'z)' = 0 =^> D'z = 0 => z'D = 0 =^> z G [M(D)]1, teda [M(DD')]1 c [M(D)]1. Ak z G [M(D)]1 =^> z'D = 0 => z'DD' = O =^> z G [M(DD')]1, teda [M(D)]1 c [M(DD')]1 Doštavame, ze [M(D)]1 = [M(DD')]1. Q.E.D. Definicia 3.7: Majme matiču Amn. Matiču A- typu rozmerov n x m nazývame g-inverziou (zovšeo-bečnenou inverziou, pšeudoinverziou) matiče A, ak platí AA-A = A. Veta 3.8: Pšeudoinverzna matiča k matiči Amn vzdy exištuje. Nemuší byt jedinú. Dôkaz: (i) Ak A = 0, tak lubovolnú matiča typu n x m je A-. (ii) Ak h(A) = r > 1, r < min{m,n}, tak A mú r lineúrne nezúvišlyčh štlpčov. Vezmime tieto nezúvišle štlpče (v lubovolnom poradí) a doštaneme matiču Bmr. Kaz dy štlpeč matiče A, teda {A},*, i = 1, 2,...,n doštaneme ako lineúrnu kombinúčiu štlpčov matiče B, teda {a}.* = Bc*, i = 1, 2,...,n. Matiču (c1.c2. ... .cn)rn označme C. Teda A = BC, pričom h(B) = r. Pretoze h(A) = r < min{h(B), h(C)} < h(C) a naopak h(Crn) < min{r,n}, doštúvame h(C) = r. Prúve opíšanú rozklad matiče A Am,n = Bm,r Cr,n, h(A) = h(B) = h(C) = r (7) budeme čašto pouzívat. Matiča B'B je rozmerov r x r, pričom podla Vety 3.6 je M(B'B) = M(B'), teda aj h(B'B) = h(B') = h(B) = r. Matiča B'B je regulúrna. Exištuje inverzna matiča (B'B)-1. Uplne analogičky doštaneme, ze exištuje matiča (CC')-1. Preto exištuje aj matiča C'(CC')-1 (B'B)-1B' (typu n x m) a platúí AC'(CC')-1 (B'B)-1B' A = BCC' (CC')-1(B'B)-1B'BC = BC = A, čize C'(CC')-1(B'B)-1B' = A-. Q.E.D. Veta 3.9: Ak h(Anr) = r > 1, tak A-A = Ir pre lubovolnú A-. Dôkaz: Pre lubovolnú A- je AA-A = A, teda pre kazde x G Rr plati A(A-A - I)x = 0. Pretoze h(A) = r, šuú štúlpče matiče A lineúarne nezúavišlúe a z toho doštúavame Vx G Rr A[(A-A - I)x] = 0 => Vx GRr (A-A - I)x = 0, čize A-A - I = 0, alebo A-A = I. Q.E.D. Veta 3.10: Ak h(Anr) = r > 1, tak A'(A')- = Ir pre lubovolnu (A')-. Dôkaz: Pre lubovolnu (A')- je A'(A')-A' = A', teda pre kazde x G Rr plati x'(A'(A')- - I)A' = 0. Preto ze h(A ) = r, šuú riadky matiče A lineúarne nezúavišlúe a z toho doštúavame Vx G Rr x'[A'(A')- - I)]A' = 0 Vx GRr x'(A'(A')- - I) = 0, čize A'(A')- -1 = 0, alebo A'(A')- = I. Q.E.D. Veta 3.11: Ak h(Anr) = r > 1, tak A'(AA')-A = Ir pre lubovolnu (AA')-. Dokaz: Pre lubovolnú (AA')- platí AA' (AA' )-AA' = AA', teda A-AA' (AA')-AA'(A')- = A-AA'(A')-. 17 Vyuzijeme Vetu 3.9 a Vetu 3.10 a dostavame A '(AA ') —A = Ir. Q.E.D. Veta 3.12: Ak Ak,k je idempotentna (teda AA = A), tak h(A) = TrA. Dokaz: (i) Ak h(A) = 0, tak A = 0 a tvrdenie je zrejme. (ii) Ak h(A) = r > 1, tak podla rozkladu (7) Ak_k = Bk_rCr_k, pricom h(B) = h(C) = r. Pretoze A je idempotentna, postupne plat í AA = A BCBC = BC B—BCBCC— = B—BCC— a podla Vety 3.9 a Vety 3.10 CB = Ir. Dostavame TrA = TrBC = TrCB = TrIr = r = h(A). Q.E.D. Teraz sa vratme k rozdeleniam kvadratickych foriem. Veta 3.13: Nech X - Nn((i, S), h(S) = r > 1a nech S— je lubovolna g-inverzia matice S. Platí (X - ()'S—(X - n) - xl- Dôkaz: Faktorizujeme kovariancnu maticu a dostaneme S = Bnr B', pricom h(B) = r. Ak U - Nr (0, I) tak podla Vety 2.9 X = (i + BU - Nn(p, S), teda (X - 'S— (X - () = (BU)'S—BU = U'B'(BB') —BU = U'U - x2r podla Vety 3.3 a Vety 3.11. Q.E.D. Veta 3.14: Nech X - Nn((, S) a An,n je symericka pozitívne semidefinitna matica, AS = 0, ASAS = AS (idempotentna). Potom Y =(X - ()'A(X - - X2TrA*. Dôkaz: Pretoze AS = 0, je h(A) = r > 1a existuje matica Bnr s hodnostou h(B) = r, ze A = BB' (faktorizacia matice A). Teda Y = (X - ()'A(X - (j,) = (X - ()'BB'(X - () = (B'(X - ())'(B '(X - ()) = £ kde £ = B'X - B'(i — Nr (0, B'SB). Pretoze AS je idempotentna, pomocou Vety 3.9 dostavame ASAS = AS BB SBB S = BB S B—BB SBB SB = B—BB SB B SBB SB = B SB, cize matica B'SB je idempotentna a teda (B'SB)— = Ir (jedna jej g-inverzia). Je zrejme, ze h(B'SB) = TrB'SB = TrBB'S = TrAS > 1 (lebo AS = 0). Aplikujeme Vetu 3.13 na núhodny vektor £ = B'X-B'(i a dostúavame (B'X - B'(i - 0)'(B'SB) —(B'X - B'(i - 0) - xh(B'SB) 18 (X - fx)'BIrB'(X - f) ~ xTr AS (X - f/)'A(X - fi) ~ xTrAs- Q.E.D. Veta 3.15: Nech X ~ Nn(fi, S) a Ann, Bmn reálne matice taká, že BSA = 0, A je symetrická a pozitívne semidefinitna. Potom nahodny vektor Y = BX + b a náhodna veliCina V = (X - a)'A(X - a) sú nežavisie pre lubovolne vektory b G Rm a a G Rn. Dokaz: Ak A = 0, tak V je nezávislá s (lubovolnym) Y. Ak A = 0, h(A) = r > 1, tak faktorizujeme A = Cn_rC', h(C) = r. Nahodny vektor BX M B JX ~ \ \ B J^M B )S(C.B BSC BSB' Z predpokladu BSA = 0 postupne dostavame BSCC' 0 BSCC'(C')" = 0 a podla Vety 3.10 BSC = 0. Pretoze ccw(BX, C X) = BSC = 0 a I bx j je normálne rozdelenú, sú vektory BX a C'X nezávisle. Cize aj pre lubovolná vektory b G Rm a a G Rn sú b + BX a C'(X - a) nezavisle, ale aj (ich funkcie) Y = BX + b a (C'(X - a))'(C'(X - a)) = (X - a)'A(X - a) = V. Q.E.D. Veta 3.16: Nech X ~ Nn(fi, S) a Ann, Bnn sá reálne symetricke pozitívne semidefinitne matice take, ze BSA = 0. Potom náhodne veliclny Y\ = (X - a)'A(X - a) a Y2 = (X - b)'B(X - b) sá nezavisle pre lubovolne vektory a G Rn a b G Rn. Dôkaz: Stací uvazovat prípad h(A) = r > 1, h(B) = s > 1. Faktorizujeme A aj B, teda A = Cn_rC', h(C) = r a B = GnsG', h(G) = s. Z predpokladu BSA = 0 dostávame GG'SCC' = 0 a G"GG'SCC'(C')" = 0, cize (pouzijác Vetu 3.9 a Vetu 3.10) G'SC = 0. Teda G'(X - a) a C'(X - a) sá pre lubovolne vektory a G Rn a b G Rn nekorelovane a v tomto prípade (normality) aj nezavisle. Ale potom aj ich funkcie (C'(X - a))'(C'(X - a)) = (X - a)'CC'(X - a) = (X - a)'A(X - a) = Yx a (G'(X - b))'(G'(X - b)) = (X - b)'GG'(X - b) = (X - b)'B(X - b) = Y2 sá pre lubovolne vektory a G Rn a b G Rn nezavisle. Q.E.D. Teraz uvedme jednu ve lmi dôole zituá aplikáaciu predchaádzajuácich viet v statistike. Veta 3.17: Nech X1,X2,Xn je nahodná vyber z N (/x, a2). X = n ^ n=i Xi je výberová priemer a S2 = n~[ n=\(Xi - X)2 je vyberovy rozptyl. Potom platí (i) x ~ n (p, n), (ii) pre a2 > 0, n > 2 je n^S2 ~ x2TÍ-i, (iii) pre n > 2 su X a S2 nezavisle. Dôkaz: Podla Príkladu 1.6 ked oznacáme X = (Xi,...,Xn)', tak platí X ~ Nn(1p,a2Inn), kde 1 je n-rozmerny vektor, ktoreho kazdá zlozka je rovna 1. Potom ale X =( n, nn )X = n 1'X (8) n n n n a podla Príkladu 1.6 pre n > 2 je S2 = I —-X = I —-(9) n - 1 n( n - 1) n - 1 n( n - 1) 19 (n x n matica E má všetky prvky rovné 1). / 1 \ (i) Podlá Vety 2.6 dostávame X ~ Ni ((i, ±,n)1M = ^ (£, n, -, n)a2I V n / (ii) Z (9) dostávame pre n > 2 ^Ä2 = X' {^21 - ^11'} X = X'AX, priCom A1 = 11 - X, 1n = 0. -9 X - -T -L -L f -ŕV - _ŕV L/111.U111 JT\_ _L - -9 J.--9 - o2 na2 J 7 1 o2 na2 Preto ! i a2 na2 - S2 = (X - ( I - 11') (X - [ a2 na2 J Ukážeme, že A spĺňa predpoklady Vety 3.14. Platí A = A' (A je symetricka), pre každy vektor y G Rn je y'Ay = Ojy'(I - n 11')y = o2y'(I -n - n 11')y > 0 (A je pozitívne semidefintná), Aa2I = 0 a Aa2IAa21 = {I - n 11'} {I - nn'} = {I - n = Aa2I. Pretože TrAa2I = Tr {I - n = n - nTr11' = n - 1, priamo ž Vety 3.14 n n-1 dostáavame,ňže CT2 S ~ Xn-1' /■ 1 1 1 N (iii) Pretože (^, n,n)a2IA = n 1' ÍI - n 11'} = n 1' - 1= 0, podla Vety 3.15 sá X a S2 n n n n n n n2 nežávisie. Q.E.D. 4 Teoretické základy lineárnej regresie a korelácie Y, X1,X2, ...Xk nech sú náhodne veĺiCiny na tom istom pravdepodobnostnom priestore (íl, A, P) s koneCnymi druhými momentami. Nasim cieĺom je predikovat Y pomocou X. Predikciou rožúmieme (vhodná) náhodná veĺiCinú Y = g(X1,Xn), kde g : Rk — R1 je meratelne žobraženie. My sa budeme žaoberat ĺinearnuoú predikcioú Y = /3o + AXi + ... + /3k Xk = 3o + 3'X, teda ak g(x1, ...,xk) = 30 + i=1 3%x%. Kvaĺitu predikcie budme posudžovat strednou kvadratickou chybou E (Y - Ý)2. Veta 4.1: Nech Y,X1,X2, ...Xk sú nahodne veĺiciny na tom istom pravdepodobnostnom priestore (íl, A, P) s konecnymi drúhámi momentami a kovariancná matica náhodneho vektora X = (X1,Xn)' je požitívne definitná. Pre ĺinearnú predikciú Y = /0 + 3'X pĺatí E (Y - Y)2 = E (Y - 30 - 3'X)2 >D(Y) - cov(Y, X)[cov(X)] — 1cov(X, Y). Rovnost sa dosiahne prave ak 30 = E (Y) - f3'E (X) a 3 = [cov (X)]-1 cov (X, Y). (10) Dokaž: Pre ĺúbovoĺnú nahodnú veĺicinú £ s konecnám drúhám momentom pĺatí D(£) = E(£2) - E2(£), preto E (Y - ý)2 = D(Y - Ý) + E 2(Y - ý) > D (Y - ý) (rovnosňt nastane praáve ak E(Y - YY) = 0, teda práave ak / 0 = E(Y) - 3 E(X)) 20 = (v(Y )-P'cov (X, Y ).cov(Y, X)-f3' cov(X)) ^ ^ j = D (Y )-P'cov (X, Y )-cov(Y, X)P+P'cov(X)P = = D(Y) + [P - (cov (X))—1 cov (X, Y)]'cov(X)[P - (cov (X)) — 1 cov (X, Y)] - cov(Y, X)(cov(X)) — 1cov(X, Y) > (rovnost nastane práve ak P = [cov(X)]— 1cov(X, Y)) > D (Y) - cov(Y, X)[cov(X)]-1cov(X,Y). Q.E.D. Poznámka 4.2: Optimálna lineárna predikcia, t.j. lineárna predikcia s minimálnu strednekvadratickou chybou je Y = E (Y) - P' E (X) + cov(Y, X)[cov(X)]-1X = E (Y) + cov(Y, X)[cov(X)]-1(X - E (X)). Pre táto predikciu platí °y,x = E (Y - (E (Y) - P' E (X) + cov(Y, X)[cov(X)]-1X)) — = D(Y) - cov (Y, X)[cov (X)]-1 cov (X, Y) = = D(Y) - P'cov(X)P. (11) o\r x sa volá reziduálny rozptyl. Funkcia Y = E (Y) + cov(Y, X)[cov(X)]-1(X -E (X)) sa volá lineárna regresná funkcia. V prípade k = 1 je Y F(Y) cov(X,Y) cov(X,Y) X )+ ÍD(Y)X )) Regresná priamka preto je y = E (Y) + QxY^ĎjXi (x - E (X)) (x je realizácia X a y je realizacia Y). Obycajne teoreticke (skutocne) hodnoty E (X), E (Y), D (X), D (Y), Qx,Y nepoznáme, ale pouZijeme ich odhady E (X) = X, E (Y) = Y, D (X) = £ ľ=1(Xi - X )2, D(Y) = 1 y n (Y _ Y )2 = Eľ=i(X*-X )(Yi—Y) n —1 X^n (V V\2 x— — 2^;=i(Xi— x )(Yi — Y ) Veta 4.3: Platí 0 < < D (Y). Dôkaz: Obidve nerovnosti sá zrejme zo vztahu (11), prva nerovnost vypláva z toho, Ze a—X je stredná hodnota nezapornej nahodnej veliclny. Q.E.D. Poznámka 4.4: Ak sá Y a X nekorelovane, tak cov(Y, X) = 0, teda z (11) je a— X = D(Y). Z (11) vypláva, ze vzdy je a— X < D (Y), lebo [cov(X)] —1 je pozitávne definitná matica (lahko sa o tom presvedcáme). Definícia 4.5: Nech cov(X) je regulárna matica. Koeficientom mnohonásobnej korelácie medzi Y a X nazývame korelacny koeficient g(Y,Y) a znacáme g—X, pricom Y je optimálne linearna predikcia, teda Y = I30 + P' X, kde I30 = E (Y) - P' E (X) a P = [cov (X)] — 1 cov (X, Y). Ak D(Y) = 0 alebo D(Y) = 0, tak polozíme gYiX = 0. 21 Poznámka 4.6: D(Y) Veta 4.7: Pĺatí (i) QY,x > 0. Ak 0 < D(Y) < to, tak 2 = j3'cov(x)p qy,x = d(y) , 0 <=^ 3' cov(X)3 = 0 <=^ 3 = 0. cor(Y, X)[cor(X)] 1cor(X,Y), (iv) qy,x = 1 - i^Yr. Dokaž: (i) Ak je D(Y) = 0 & 3 = 0 aĺebo D(Y) = 0 & 3 = 0, tak priamo ž definície q(Y,Ý) = 0. Ak D(Y) > 0 & 3 = 0, tak podĺa Požnamky 4.6 je D(Y) = 0 a opät ž definície je g(Y, Y) = 0. Preto staň úvažovat D(Y) > 0, 3 = 0. V tomto prípade QY,x = Q(Y, Y) = cov(Y,3o + 3'X) = VD(Y )D(3o + 3'X) (1... 0 ) D(Y) cov(X, Y) cov(Y, 3'X) D(Y )3'cov(X)3 v j X),(0.3' j X)) VD(Y )3' cov(X)3 cov(Y, X) cov(X) ^JV(Y )3' cov(X)3 cov(Y, X)[cov(X)] — 1cov(X,Y) )(3) (p(Y )c"'(Y X)) ( 3 ) 0 3 y/D(Y )3' cov(X)3 3 cov(X)3 > 0. vD(Y )3' cov(X)3 a/D(Y )3' cov(X)3 (ii) Ak 3 = 0, tak podĺa Požnamky 4.6 je D(Y) = 0 a ž definície je qy,x = 0, aĺe takisto 3'cov(X)3 teda (ii) pĺatáí. Ak 3 = 0, tak (vyúňžijúác odvodžovanie v (i)) dostáavame 0, 0yx = Q2 (Y,Y) cov2(Y,3o + 3' X) D(Y )D(3o + 3' X) {cov(Y, X)[cov(X)] — 1cov(X,Y)}2 D(Y )3' cov(X)3 {cov(Y, X)[cov(X)]-1cov(X)[cov(X)] — 1cov(X,Y)}2 D(Y )3' cov(X)3 [3' cov(X)3]2 D(Y )3' cov(X)3 3' cov(X)3 (iii) Ak 3 = 0, tak cov(X,Y) = 0 aĺe aj cor(X,Y) = 0, teda cor(Y, X)[cor(X)] —1 cor(X,Y) = 0. Na drúhej strane v tomto prípade podĺa Požnamky 4.6 je D(Y) = 0, teda QyX = 0. Ak 3 = 0, tak podĺa (ii) qyx 3'cov(X)3 cov(Y, X)[cov(X)]-1cov(X)[cov(X)] — 1cov(X,Y) cov(Y, X)[cov(X)—1cov(X, Y) D(Y) (cov(Y,Xi). ... ..cov(Y,Xk) o D(Y) VD(Xi) o \ ív [cov(X)]-1 V D(Xi) o v D(Xi) o \ Xn) / o - , 1 / ^D(Xn) / ( cov(Xi,Y) \ cov(X2,Y) \ cov(Xk,Y) ) y/V(Y) cor (Y, X)[cor(X)] —1cor(X, Y) o o i x o o o o o o o 22 (využijúc známy fakt, že pre regulárne matice A, B platí (ABA) 1 = A 1B 1A x). (iii) Podla (11) pre reziduálny rozptyl platí 'y.x D (Y) - cov(Y, X)[cov(X)]-1 cov(X,Y), cize 'y.x D (Y) - 3'cov(X)3. Ked vydelíme túto rovnicu nenulovou hodnotou D(Y) dostaneme uy,x D (Y) 3' cov(X)3 D (Y) a pomocou (ii) konecne dostavame qy,x 1 'y,x D(Y). Q.E.D. Poznámka 4.8: Obycajne vyjadrujeme qYx pomocou prvkov korelacnej matice ' 1 cor(Y, XA . cor(X,Y) cor(X) / cor( Y, X) = Poznámka 4.9: (i) Ak Y, X sú nekorelovane, tak 3 = 0 a Y = E (Y), cize D(Y") = 0 a preto qY x = 0, teda qYix = 0. (ii) Ak Y> je optimálna linearna predikcia, teda Y = E (Y) - 3'E (X) + cov(Y, X)[cov(X)]-1X, 0 < D (Y) < oo a Y = 1", tak qyx = ;cot,(Y' Y^ = i. (iii) qYjx je ukazovatel (miera) Štatistickej väzby (stochastickej vazby) medzi Y a X. (iv) 100qYx udava v % variabilitu Y, ktora sa da vysvetlit variabilitou X. Veta 4.10: Nech 0 < D (Y) < to. Potom platí qy x = max \q(Y,<í + b'X)|, ' delí1 0 = beTik teda qYix je maximalny korelacnú koeficient (v absolútnej hodnote) medzi Y a lubovolnou lineárnou kom-binaciou d'X + d. Dôkaz: Nech d G R1, 0 = b GTZk. \Q(Y,d + b'X)| ;(1Y, d + b'X) VD>(Y )b'cov(X)b ;(Y, X)[cov(X)]-1cov(X)b 1 cov(1Y, b X) D(Y)b cov(X)b 1cov(Y, X)b ^/Dj)^ b'cov(X)b vD^Y^v7 b'cov(X)b Maticu cov(X) faktorizujeme a píseme cov(X) = BB', teda 3'cov(X)b vD>(Y V b'cov(X)b 3'cov(X)b vDYJv7 b'cov(X)b = |(B'3)' (B'b)|< vD>(Y V b'cov(X)b (pouzijeme Schwarzovu nerovnost, podla ktorej pre lubovolne dva vektory u, w G Rk platí | u'w| < Vu'u\/w'w) \J qQy, x < , 1 V/3'BB'3V/ b'BB'b = W vDT) Vb 'cov(X)b v y 3 ' cov(X)3 Qy, x 1 23 (použili sme Vetu 4.7 (ii) a (i)). Príklad 4.11: Vyjadrite g2Z(XY) pomocou "obyčajných" korelačných koeficientov.. Riešenie: Podla Vety 4.7 (iii) platí gZ.(x,Y ) = cor(Z, ,Z) = (QZ,X ,QZ,Y) í 1 gX,Y \ ( QX,Z \ V PY,X 1 J \ gY,Z J gX,Y (Qz,x, gz,Y) (Použili šme vzorec í 1 ~Qx,y \ í Qx,z \ V -&x,y 1 j V gy,z J ŕ a b \ 1 1 f c —b \ \ b c J = ac - b2 y -b a J ez,x + ez,y - 2Qz,x Qz,yQx,y @x,y a ak X = X, tak gZ X = gZ X.) Teraz ši zavedieme parcialny korelaCný koeficient. Nech Y, Z, Xi,Xk sU nýhodne veliCiny na pravdepodobnostnom priestore (íl, A, P), majý koneCne druhe momenty, D (Y) = 0, D(Z) = 0 a co-y(X) je regulýrna. Cielom je získat mieru štatistickej (stocha-stickej) vazby medzi Y a Z pri eliminýcii vlyvu X = (X1,...,Xk)' ("ocistenu zývislost"). V zhode s predchadzajýcim oznacením oznacme Y najlepsiu linearnu predikciu Y pomocou X, Z najlepsiu linearnu predikciu Z pomocou X, teda Ý = I30 + (3'X, kde /30 = E (Y) - f3'£ (X) a (3 = [cov(X)]-1cov(X,Y )a teda .Z = a0 + a'X, kde a0 = E (Z) - a'E (X) a a = [cov(X)]- 1cov(X,Z). Nýhodne veliciny RY = Y — Y, RZ = Z — Z volýme rezíduá. Definícia Veta 4.11: Nech platia oznacenia a predpoklady z predchadzajuceho odstavca. Korelacný koeicient g(RY,RZ) nazývame parciílnym korelačným koeficientom medzi Y a Z pri danom nýhodnom vektore X (niekedy sa povie "pri eliminacii vplyvu nahodneho vektora X"). Znacýme ho gYjZX alebo QY,Z.XlX2,...,Xk. Ak E (Y — Ý)2 = D(Y — Ý) = (tyx = 0 alebo E (Z — Z)2 = D(Z — Z) = a2ZX = 0 (teda ak gYiX = 1 alebo gZiX = 1), tak kladieme gYiZ,X = 0. Veta 4.12: Ak D(Y — Ý) = 0 a D(Z — Z) = 0, tak gYz — cor(Y, X)[cor(X)]-1cor(X, Z) v/(1 — gY,X)(1 — g2z,X) ' Dokaz: Platí gY,z.X (12) gY,z.X cov(Y — Y ,Z — Z) \Jd(Y — ý)v(z (13) ZÝ) Poďtajme cov(Y — Y Z — Z) = cov(Y — 30 — ('X, Z í Y \ = cov( (1.0. — 3' ao Z X a'X) = cov(Y — ('X, Z — a'X) í Y \ ,(0.1. — a') X Z X X (1.0. — 3' D (Y) cov(Y, Z) cov(Y, X) cov(Z,Y) D(Z) cov(Z, X) cov(X, Y) cov(X, Z) cov(X) 0 1 a 1 1 1 24 (v(Y) - 3'cov(X, Y).cov(Y, Z) - f3'cov(X, Z).cov(Y, X) - 3'cov(X) ( n \ = cov(Y, Z) - 3'cov(X, Z) - cov(Y, X)a + 3'cov(X)a = cov(Y, Z) - cov(Y, X)[cov(X)]-1cov(X, Z) - cov(Y, X)[cov(X)]-1cov(X, Z)+ + cov (Y, X)[cov(X)]-1cov(X)[cov(X)]-1 cov(X, Z) y/v(Y)v(Z) <; QYzZ í V (cov(Y,X1). ... ':cov(Y,Xk) 0 /V(Xi) 0 V^(X2) v o , 1 / [cov(X)]-1 0 V^(X2) /7 D(X() 0 V^(X2) 0 , 1 / v / cov(X1;Z) \ cov(X2, Z) 1 Vv(z ) cov(Xk, Z) > Dalej plati V^Y)2?(Z) {gYiZ - cor(Y, X)[cor(X)]-1cor(X, Z)} = cov(Y - Y,Z - Z) v(Y - ý) = v(Y - f30 - 3'X) = v(Y - 3'X) = 2?^ (1. - 3') ^ XJ j (14) =(1. - 3')( P(Y) cov(Y X) V1) cov(X, Y) cov(X) -3 (v(Y )-3'cov(X,Y ).cov(Y, X)-3'cov(X)) ( ^ ) v(Y)-3'cov(X, Y)-cov(Y, X)3+3'cov(X)3 V(Y) - cov(Y, X)[cov(X)]-1cov(X,Y) v(y){ 1 D(X() 0 V^(X2) (cov(Y,X1). ... .cov(Y,Xk) [cov(X)]-1 Vv(Xi) 0 V^(X2) o ; 1 I VD(Xn) / D(X() 0 V^(X2) 1 (X„) / \/D(Xn) 1 0 1 X 0 0 0 0 0 0 0 1 X 0 0 0 0 0 25 / , 1 0 ... 0 \ í cov{XuY) \ 0 - ... 0 VD(X2) cov(X2,Y) 1 V^(Y) i 0 0 ... , 1 , \ VD(Xn) / y cov(Xk,Y) ) > = D(Y){1 - cor(Y, X)[cor(X)]-1cor(X,Y)} = D(Y)(1 - qYx) = D(Y - ý). (15) (podia Vety 4.7 (iii)) Úplne analogicky dostaneme D(Z - Z) = D(Z)(1 - g|,x). (16) Dosadením (14), (15) a (16) do (13) lahko dostaneme QY,Z - cor(Y, X)[cor(X)]-1cor(X, Z) Qy,z.x = —;-, -. Q.E.D. ^(1 - í?Y,x)(1 - Ql,x) Poznámka 4.13: K vypCtu gYiZx potrebujeme vediet gYiZ, QY,Xj, QXi,Xj, QZ,x,, i = 1, 2,...,k, j = 1, 2,...,k. Poznámka 4.14: Medzi qy,zx a QY,Z nieje žiaden (všeobecný) vztah. Príklad 4.15: Vyjadrite gZ^XiY) pomocou "obyCajných" korelaCných koeficientov. Riešenie: Podla (12) platí Qy,z - Qy,x Qz,x QY Z X — - ' ' - qY,x)(1 - QZ,x) 5 Lineárny regresný model Príklad 5.1: Merajme neznamu dlžku stola (3 n-krat nezávisle s meradlami "rovnakej kvality", teda rovnakej (neznámej) standardnej neistoty a (smerodajna odchylka meradla). Merania modelujeme nahodnymi velicinami Yi, Y2, ...Yn, E(Yj) = ( - meracie prístroje sá bez systematickej chyby. To znamena, skutocne namerane hodnoty (císla) y1,y2, ...,yn sá realizáciami náhodných velicín Y1,Y2 ,...Yn. "Cele" meranie modelujeme observacnym (pozorovanym) náhodnym vektorom (vektorom meraní) Y = (Y1, ...,Yn)', ktorého stredná hodnota je E (Y) = 1(3 a kovariancná matica je a2I, teda modelujeme ho "trojicou" (Y, 1(3, a2I). Poznámka 5.2: V skutocnosti meráme tám istym meracím prístrojom, co spôsobuje "zavislost" medzi meraniami. Štandardná neistotu a2 meracieho prístroja môzeme poznat (napríklad z certifikátu prístroja), ale nemusáme poznat. Realny prístroj nie je bez systematickej chyby. Nas jednoduchy model merania nie je uáplne dokonaláy (je to len urŠcitáe pribláíŠzenie reality). Príklad 5.3: (Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 104.) Merajme medená trubku (nominálnej dlzky L0 = 1000mm pri 200C) postupne pri 300C, 400C, 500C, 600C, 700C, 800C. Vysledky meranáí suá At (zmena teploty) 100C 200C 300C 400C 500 C 600 C predlzenie AL [mm] 0,18 0,35 0,48 0,65 0,84 0,97 26 Zákon rozťažnosti (z fyziky) tvrdí, že AL = L0aAt, kde a je koeficient tepelnej roztaznosti (pre daný materiál), teda Y1 = L0a10 + £1 Y, = Loa20 + £2 priCom predpokladame, ze £1,£n sá nezávisle, E(^) L010 Y6 = Loa60 + £6, 0, i = 1, 2,..., 6 a V(£i) = a2, i = 1, 2,..., 6. Vektor observacií Y61 ma stredná hodnotu L020 a = Xa (X je znama matica a a neznamy parameter, L060 ktorého hodnota nas zaujíma). KovarianCna matica cov(Y) = a2I66. Teda "cele" meranie modelujeme "trojicou" (Y, Xa,a2I). Príklad 5.4: (Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 111.) U automobilu Trabant sa merala spotreba paliva (v litroch/100 km) v zavislosti na jeho rýchlosti (pri stale zaradenom 4. rýchlostnom stupni, aby boli rovnake podmienky jazdy). Rychlost povazujeme za bezchybne urcenú Konkrétne namerane spotreby y1,y2 povazujeme za realizacie nahodnych velicín Yi,Y2, pricom spotreba je (podla vyjadrenia odborníkov) kvadratickou funkciou rychlosti. Merania spotreby modelujeme ako Yi = a + bxi + + £i, i 1 2 7 kde xi je rychlost pri ktorej sa namerala spotreba yi — realizacia náhodnej veliciny Yi. Keby sme merali bezchybne, spotreba pri ráchlosti xi by bola vzdy a + bxi + cx2. Náhodne veliciny £i su náhodne chyby. O nich predpokladáme, ze sá nezávisle, majá nulová strednu hodnotu a rovnaká disperziu a2. Namerane hodnoty suá ráchlost (km/hod) 40 50 60 70 80 90 100 spotreba [l] 6,1 5,8 6,0 6,5 6,8 8,1 10,0 Observacná vektor (vektor meraní) Y71 Y1 Y2 \YrJ 1 maá strednuá hodnotu x1 x2 \ 1 x7 2 x2 J a b c X/3, pricom X je znama (pevna) matica a 3 je vektor neznamych parametrov, ktore nas zaujímaju. Kovariancna matica observacneho vektora je cov (Y) = a2I, teda "cele" meranie zase modelujeme "trojicou" (Y, X/, a2I). Príklad 5.5: (Andel, J., Matematická statistika, SNTL, Praha, 1985, str. 113.) Majme dvojrozmerná náhodná premenná X = (X, Y)', kde X — pocet detí v rodine, Y — vydavky na stravu v rodine. Namerane hodnoty suá pocet detí 2 0 2 3 1 2 vydavky na stravu v tis. 4 3 4 6 4 5 1 27 Môzeme predpokladat (napríklad z "vynesenia" bodov (xi,yi)), ze náhodna velicina Y/X = x má stredná hodntu E (Y/X = x) = a + bx. Teda hodnotu 4 tis. môzeme povazovat za realizaciu nahodnej premennej Y/X = 2, atd. V takomto prípade mozeme napísat model merania ako Y/X = xi = a + bxi + £i, i = 1, 2,..., 6, kde nezavisle chyby e1, ...^s majá nulove stredne hodnoty a (predpokladajme) rovnake disperzie p2. Ob- Y1 = Y/X = x1 1 2 Y2 = Y/X servacny vektor (vektor meraní) Y71 x2 máa strednuá hodnotu 10 12 V Y7 = Y/X = xr J Xf3, pricom zase X je znama (pevna) matica a 3 je vektor neznamych parametrov, ktore nas zaujímaju. Kovariancna matica observacneho vektora je cov(Y) = p2I, teda "cele" meranie opät modelujeme "trojicou" (Y, X3,p2I). Poznámka 5.6: Ak môzeme povazovat v predchadzajucom príklade nahodny vektor (X, Y)' za normalne ' Y)—N ((Z * j lD(Y) b = V(X), b = rozdeleny, teda , V , V je regularna, tak priamo z teorie vychadza Y/X N (a + bx, p2) (pozri (6) a odvoďte, ze a = my — M x g gfX), p2 = D(Y)(1 — g2)). D(X) > "Y D(X)' Príklad 5.7: Majme body A(/1 ,/2), B(0,00; 0,00) C(2365, 22; 0,00), D(3603, 67; 823, 35) v rovine. Meriame vzdialenosti AB, AC, AD a chceme zistit (odhadnát) suradnice (31 a (32 bodu A. Popíste model merania. Platáí AB AC = y/(/3i — 2365, 22)2 + (S2 — 0)2 AD — 3603, 67)2 + (S2 — 823, 35)2. Odmeriame AB, teda realizujeme Yi a nameráme y1 = 1980,102; odmeriame AC, teda realizujeme Y2 a namerame y2 = 2040, 243; a odmeriame AD, teda realizujeme Y3 a namerame y3 = 2598, 897. Z rovníc 1980,102 2040, 243 S2 + S2 (/1 — 2365, 22)2 + /3. vypocítame "priblizne" hodnoty //0 = 1131, 5; /32 = 1625, 0. (Na vápocet pribliznách hodnôt mozeme pouzit ďlubovoďlnáe dve rovnice.) Teraz (nelineaárne) vzdialenosti linearizujeme okolo pribliďznáych hodnôot pomocou Taylorovej vety, t.j. AB vV)2 + (S20)2 + ^ 1980,131 + 1131,5 (/1 /1+ / 1 ŕ° — 0 (AB) 0)2 + (S20)2 d/2 /3° — 0 A/ 2 1625 1980,131 +--—A/1 +-A/2 = 1980,131 + 0, 571A/1 + 0,821A//2. ' 1980,131 ' 1980,131 ' ' ' ' ' ' 28 Podobne dostaneme AC « 2040, 267 - 0, 605A/3i + 0, 796A//2 AD « 2598, 897 - 0, 951A/3i + 0, 308A//2. Tentokrát mame 3 merania, a síce Y1 —meranie AB, Y2 —meranie AC, Y3 —meranie AD. Náhodný vektor W /Yi\ U/ 1980, 131 2040, 267 2598, 897 ma strednú hodnotu A 2 Xô a kovarianCnú 0, 571 0, 821 —0, 605 0, 796 —0, 951 0, 308 maticu -v "V q/ 0 p.d.matica > (Y X ô)'(Y X ô), teda || Y X ô|| 2 = min || Y X || 2. Naopak, ak hladúme minimum S(3), tak v tomto minime nutne -—-— =0, m =1, 2,k. Pretože fl3 dfí ^ĽJ(Yi 53 x'ij 3j) „ 53 2(Yi 53 xijftj)( xim) 0=0 i= i j= i i= j= tak nutne nk Yi — "^xij/3j)(xim) =0, m = 1, 2, ...,k, i= j= ňco moôňžeme púísaňt k k k = 0, m = 1, 2, ... , k, (Yi — ij 3j )(x im) + (Y2 — ^x2j 3j )(x2m) + ... + Y — x^j /3j )(xnm) =0, m =1, 2, k, j= j= j= alebo aj Dostúavame postupne (Y — X3)'{X},m = 0, m =1, 2,..., k., (Y —X3)'X = (0,0,..., 0) i,k = 0 Y'X ô'X'X = 0 X'Y X'X ô = 0 ô = (X'X) X'Y. Q.E.D. Poznaímka 5.10: MNCň odhad ô parametrov je odhadom lineúarnym, lebo jeho žloňžky suú lineúarne funkcie (observaňcnúeho) naúhodnúeho vektora Y, ktoryú múame k dispožúícii pre odhadnutie parametrov . Poznámka 5.11: Pretože X'X3 = X'Y X'(Y — X/) = 0 Y — X3 L M(X) t.j. Y — X3 L {X}.^ i =1, 2,k, dostavame, že ||Y — X31|2 = min ||Y — X3||2 Y — X@ L M(X). Geometricky je v Un nahodny vektor X/3 ležiaci v M (X) ortogonalnou projekciou observacneho (nahodneho) vektora Y na M(X), t.j. maú od Y minimúalnu vždialenosňt. 30 Odhad získaný metódou najmenších štvorcov je odhad získaný optimalizačnou (numerickou) metódou. Vôbec sme pri jeho hladaní neuvaZovali o jeho pravdepodobnstnóch (štatistických) vlastnostiach. Vieme, Ze ak móme nóhodnó vektor Y = (Yi, ...,Yn)', ktorého rozdelenie pravdepodobnsti zavisí od (neznamych) parametra 3k 1; tak odhad (bodovó) tohto parametra je (lubovolne) meratelne zobrazenie g : Rn — Rk (ktorého predpis nezóvisí od 3) take, ze nóhodný vektor (niekedy sa pouzíva nazov štatistika) 3 = g(Y) v nejakom "rozumnom zmysle" aproximuje neznómy vektor paramerov 3k i. Majme lubovolnó (pevny) vektor c G Rk. 7 = c'3 je (linearna) parametricka funkcia vektora 3. Ak móme m (pevnóch) vektorov c1, c2,cm G Rk, tak C' c1 \cmj a j(3) = C'3 : (n(3)\ 72(3) \lm(3)) je vektorovóa parametrickaó funkcia. Definícia 5.11: Povieme, ze vektorovo statistika (nóhodnó vektor) T (Ti\ \Tm) T(Y) najlepší nevychýlený (nestranný) lineárny odhad - NNLO vektorovej parametrickej funkcie j T1(Y) \Tm(Y)J c13 \cm?J je = j(3) = C'3 ak (i) T = LmnY, kde L je realna matica (linearita odhadu), (ii) £@(T) = j(3) pre kazde 3 GRk (nevychylenost odhadu), (iii) ak T* je iny lineórny nevychólenó odhad parametrickej funkcie j, tak cov(T*) — cov(T) je pozitívne semidefintnó matica (niekedy sa píse cov(T*) — cov(T) > 0). Veta 5.12: Majme LRM (Y, X3,cr2I) plnej hodnosti a 3 = (X'X)"1X'Y je MNC odhad parametrov 3. Potom platóí (i) £p(3) = 3 pre kazde 3 GRk (MNC odhad je nevychyleny) (ii) cov(3) = a2(X'X)-1. Dokaz: (i) £p(3) = £p ((X'X)-1X'Y) = (X'X)-1X'X3 = 3 pre kazde 3 G Rk, (ii) cov(3) = cov ((X'X)-1X'Y) = (X'X)-1X'a2IX(X'X)-1 = a2(X'X)-1. Q.E.D. Veta 5.13: V LRM (Y, Xnk3, cr2I) plnej hodnosti je j = Cm k33 NNLO vektorovej parametrickej funkcie j = C'3, pricom 3 = (X'X)_1X'Y je MNC odhad parametrov 3. Dôokaz: C'3 = C'(X'X)"1X'Y je lineóarny odhad, pri com 2 £ (c'3) = £ (c'(x'x)-1x'y) = c'(x'x)-1x'X3 = c'3 y3 g nk, 31 teda je nevychýlený. Nech 7* = L*Y je lubovolny nevychýlený odhad vektorovej parametrickej funkcie 7, tak e (l*y) = L*X3 = c'3 y3 €izk l*x = c'. cov(j*) — cov(Ý) = LV2I(L*)' — C'(X'X)-1X'a2IX(X'X)-1C = a2L*(L*)' — a2 ^C^(X'X)-1 ^ = L* X X'(L*)' = a2 {L*(I — X(X'X)-1X')(L*)'} > 0, lebo I — X(X'X)-1X je symetricka a idempotentna, teda pozitívne semidefinitna matica. Teda j = c'3 je NNLO vektorovej parametrickej funkcie 7 = C'3. Q.E.D. Poznámka 5.14: Ak v predchadzajýcej vete C' = ei, tak 3i = ei(X'X)-1X'Y je NNLO parametra 3i. Definícia 5.15: Reziduálny súčet čtvorcov je nýhodný velicina se(3) = (y — x3)'(y — x3). Je to miera kvality odhadu v danom LRM. Veta 5.16: Platý Se = Y'(I — X(X'X)-1X')Y = Y'Y — y'x3. DÝokaz: Se = (Y — X3)'(Y — X3) = (Y — X(X'X)-1X'Y)'(Y — X(X'X)-1X'Y) = = Y'(I — X(X'X)-1X')'(I — X(X'X)-1X')Y = Y'(I — X(X'X)-1 X')Y = Y' Y — y'x3. Q.E.D. Veta 5.17: Štatistika s2 = —!— Se = -1— y' (I — X(X'X)-1X')Y n — k n — k je nevychýylenýym odhadom a2 . Dôkaz: Podla Vety 1.5 dostavame E (s2) = E (y'\ -^—r(i — X(X'X)-1X')1 y] \ \_n — k j J 3' x' —— x(x'x)-1x') nk X3 + Tr -^—r(i — X(X'X)-1X') a2I: \_n — k 22 a -Tr (i — X(X' X)-1X')^^— (n — Trx' X(X' X)-1) = a2. Q.E.D. n — k K n — k' Poznámka 5.18: Nahodný vektor Y = X/3 je "aproximaciou" bezchybnych meraný, teda NNLO vektora strednyých hodnÝot X , ŠciŠze YÝ = X . Niekedy sa mu hovorýí vektor vyrovnanýych hodnÝot. Definícia 5.19: Vektor Y — Y0 = r volýme vektor rezíduí alebo reziduálny vektor. Jeho i— tu zlozku (suradnicu) volame i — te rezíduum. Poznámka 5.20: Rezidua sý jedným z prostriedkov diagnostikovania modelu, teda posýdenia vhodnosti modelovania nameraných udajov danym modelom. Kecl si nakreslime graf rezíduí, t.j. body (i,ri) (tu ri je hodnota (realizýcia) i—teho rezýdua), tak tato postupnost nesmie vykazovat pri sprývnej volbe modelu Šziadnu systematiŠcnosŠt . 32 Doteraz sme nic nepredpokladali o rozdelení pravdepodobnosti observačného (náhodného) vektora Y. Pri dalSíčh Statistických inferenciách (odvodzovaniach) budeme predpokladat, Ze Y - Nn(X3,a2I), čo je to iste ako predpoklad e - Nn(0,a2I). Veta 5.21: Majme LRM (Y, Xnk 3,a2I) plnej hodnosti a e - Nn(0,a2I), 3 je MNC odhad f. Potom platáí (i) 3 - Nk(3,a2(X'X)-1), /. .\ n k 2 Se 2 s = ^2 - xí-k, (iii) 3 a s2 sá nezavisle. Dokaz: (i) Z predpokladov platí Y - Nn(X3,a2I). Pretoze 3 = (X'X)-1X'Y, podla Vetý 2.6 je 3 - Nk(3,a2(X'X)-1). (ii) Nahodna velicina '"—J^- s2 = Y' 1 (I - X(X'X)-1X') a2 Y = (Y - X3)' (I - X(X'X)-1X') a2 (Y - X3) = (Y — X3)'A(Y — X3) je kvadratickou formou náhodneho vektora (Y — X3) - Nn(0, a2I) s maticou kvadratickej formý A. Pretoze platí, ze A = -^-(I — X(X'X)-1X') je symetrická, pozitívne semidefinitna, a2 Aa2I = 0, Aa2IAa2I = Aa2I, podla Vetý 3.14 "—^s2 - xTrA**I. Ale TrAa2I = Tr (I-X(X'X)-1X') = n k 2 2 n - k, teda —s2 - xi-k■ a2 (iii) Platí, ze 3 = (X'X)-1X 'Y = BY, s2 = Y ' —'—(I - X(X'X)-1X') Y, pricom n - k --(I - X(X'X)-1X') je symetrická a pozitívne semidefinitna a Y - Nn(X3, a2I). Pretoze 2 (I - X(X'X)-1X') = (X'X)-1X'(I - X(X'X)-1X') = 0, podla Vetý 3.15 sá 3 a s2 n - k n - k n - k nezávisle. Q.E.D. Nech c G Rk je daná vektor, teda majme parametrická funkciu 7 = c'3. Veta 5.22: Majme LRM (Y, Xnk 3, a2I) plnej hodnosti, e - Nn(0, a2I) a 7 = c'3 (funkciu parametrov). Nech 3 je MNC odhad vektora 3. Potom c'3 - c'3 T =— = - tn-k, ak c = 0. sv7 c'(X'X)-1c Dôkaz: Pretoze c'3 - N(c'3,a2c'(X'X)-1c), je -c 3 c 3 - N(0,1). Podla Vetý 5.21 (ii) Vc'(X'X)-1c K ' K ' a —— s2 = -2 - xn-k a podla Vetý 5.21 (iii) su 3 a s2 su nezavisle, teda aj c '3 (ako fukcia 3) a s2 sá nezávisle. Potom ale (priamo z definície Študentovho t-rozdelenia) c ' 3 - c ' 3 T = ^^^^ = c 3 -c 3 - tn-k. Q.E.D. l(n-k)S2 s V c' (X'X)-1c a2 n - k Z Vetý 5.22 výpláva, ze pre dane a G (0,1) pítn-k (a) < d3 - c '3 < tn-k (1 - a) J = 1 - a, (17) 33 kde tg (() je (3—kvantil Študentovho t rozdelenia s g stupňami volnosti. Teda ak náhodná veličina T — tg (T má Studentovo t rozdelenie pravdepodobnosti s g stupnami volnosti), tak tg(() je take číslo, pre ktore platí P {T < tg (()} = (. Upozornujeme len, ze v niektorej literature (napr. v knizke Andel, J., Matematická statistika, SNTL, Praha, 1985) sa pracuje (na rozdiel od tohto textu) s kritickými hodnotami a nie s kvantilmi. Zo vztahu (17) ápravami dostaneme P{tn-k( f) V c'(X'X)-1c < c'h — c'P < tn-k (l — |) s^J C (X'X)-1cJ =1 — a, P { c ' p — tn-k (l — f) syl c' (X'X)-1 c < c' p < c' p + tn-k (l — f) c' (X'X)-1cj = 1 — a (lebo pre kvantilý Študentovho rozdelenia platí tg(() = —tg(1 — (3)) a teda 100(1 — a)%— ná interval spolahlivosti (konfidencný interval) pre 7 = cP je (c' P — tn-k (1 — f) c' (X'X)-1c, c ' p + tn-k {} — f) ^ c' (X'X)-1^ . (18) Vetu 5.22 použijeme pri testovaní hýptezý o hodnote lineárnej funkcie 7 = cp. Majme LRM (Y, XnkP, a2I) plnej hodnosti, pričom e — Nn(0, a2I), (a2 nepoznáme), p = (X'X)-1X'Y (MNC odhad). Dalej majme daná 7 = c'p (linearna funkcia parametrov p). Test hýpotáezý H0 : c 'p = 70 (dane císlo) < H1 : c ' p = 70 (19) realizujeme pomocou testovacej statistiký To = —? p , 70 = — tn-k (za platnosti Ho). s y c ' (X X) 1c Ak \T0\ > tn-k ^1 — => H0 zamietame, ak \T0\ < tn-k ^1 — H0 nezamietame. Podla Vetý 5.22 má tento test hladinu významnosti a. Dolezite specialne prípadý testu (19) sá testý o hodnote jednotlivých zloziek vektora parametrov. Pretoze (3j = ej p, j = 1, 2, ...,k, ak v teste (19) za c vezmeme ej a za 70 vezmeme (30 (dane císlo), dostávame nasledujuáci test. Test hýpotáezý H0 : (j = (j0 (dane císlo) < H1 : (j = (0 (20) realizujeme pomocou testovacej statistiký (j — 3° T0j = — — tn-k (za platnosti H0). {(X'X)-1}jj Ak \T0j \ > tn-k ^1 — fSj => H0 zamietame na hladine významnosti a, ak \T0j \ < tn-k ^1 — => H0 nezamietame na hladine váznamnosti a. 34 Z (18) (pri volbe c = ej) okamžite dostávame, že 100(1 — a)%— ny interval spolahlivosti (konfidencný interval) pre (3j je (ľj — tn-k (l — f) V Í(X'X)- 1 'Á' + (l — f) V {(X'X)- 1 ■ (21) Ak (3j = 0, tak môžeme "vynechat" j —ty stlpec matice plýnu, teda dostaneme jednoduchší model (s menej parametrami). Vektor Y nezaleží od parametra (j. Teraž si odvodíme (1 — a)—predikčný interval pre nýhodný velicinu (meranie) Yc = c'f3 + e, ktora mý (skutocný) strednú hodnotu (bežchybný hodnotu) c'3, disperžiu a2 a je nežývisla od Y1, ■ ■■,Yn. (1 — a) — predikcny interval pre Yc = c'3 + e je nahodny interval (Dc, Hc), pre ktorý platí P[Yc G (DC,HC)} = 1 — a. Nýhodný velicina Yc = c' 3 — e, pricom MNC odhad 3 a nýhodný chyba e ~ N (0, a2) su nežavisle, mý stredný hodnotu E (YC) = c'3 a disperžiu D(YC) = a2c'(X'X)-1c + a2, ciže Yc ~ N (c'3,a2(c'(X'X)-1c + 1)) . Podla Vety 5.21 (iii) su s2 = n-kY'(I — X(X'X)-1X')Y) a MNC odhad 3 nežavisle a e je nežavisla s ô c ' 3 — c '3 Y (teda aj s funkciami Y, co su s2 aj 3). Nýhodna velicina -, - ma N(0,1) roždelenie, a je V ' a^J c' (X'X)-1c K ' nežavislý s —2— s2, ktora mý x2n-k roždelenie. Potom ale Yc — c '3 a v7 c' (X'X)-1c + 1 = Yc — c'3 = c ' 3 — e — c'3 n — kg2 s V c ' (X'X)-1c + 1 V c' (X'X)-1c + 1 nk A —tn-k (1 — f) < — e — - < tn-U (1 — f)) = 1 — f, \ V 2J- syj c ' (X'X)-1c + 1 " V 2) f ' P { —tn-k (1 — f) c ' (X'X)-1c +1 — c ' 3 < —c'3 — e < tn-k (1 — |) ^ c ' (X'X)-1 c +1 — c ' 3 J = 1—f, odkial dostývame P j c'3 — tn-k (1 — f) s^c '(X'X)-1c + 1 < ?33+^ < c'3 + tn-k (1 — f) s^c '(X'X)-1c +1 j =1 — a. Preto (1 — a)— predikcný interval pre YC, c G Rk je (c'3 — tn-k (1 — |) sylc'(X'X)-1c +1, c '3 + tn-k (1 — |) ^c '(X'X)-1c + 1^ ■ (22) 35 Poznámka 5.23: Ak za c zvolíme (xi1,xi2, ...,xik)' = [X']i,, tak z (22) dostaneme (1 — a) — predikcny interval pre nove (nezavisle zopakovane) meranie Yi. Ak m G {1, 2,k — 1}, rozdelme 3 na 2 casti, a sýce na 31 = a analogicky rozdeŠlme ÝÝ12 S = (X'X) —1 (S11 S12| S21 S22 Veta 5.24: Majme LRM (Y, Xn s2(k — m)Fk—mn—k(1 — a) H0 zamietame, ak F0 < s2(k — m)Fk—mn—k(1 — a) H0 nezamietame, pricom Fk—mn—k (1 — a) je (1 — a) kvantil Fisherovho-Snedecorovho F rozdelenia s k — m a n — k stupnami vo lnosti. Pod la Vety 5.24 maý tento test hladinu výyznamnosti a. Poznámka 5.26: Z Vety 5.24 dostývame, ze teda P f (32 — 32)'S—21(32 — 32) < F (1 )\ ^\-(k—m)S2-- Fk—m,n—k(1 — a)j {(3 2 — 32)'S—21(32 — 32) - S2(k — m)Fk—m,n—k (1 — a)} 1 — a, 1 a. (24) 36 Vztahom (24) je určená (1 — a)100%—ná konfidenčná oblast (oblast spolahlivosti, konfidenčný elipsoid), ktorý s pravdepodobnostou 1 — a pokrýva (neznamý) vektor 32. Poznámka 5.27: Nie je podstatne delenie (3 na abý {1, 2,k} = Í2, ...,im] U {ji,J2, ...,jh-m}- (33 mozeme vziat 31 Pi2 , 32 Pj2 Špeciálne regresně modely a) Jednováberový t—test. Majme nahodný výber Y1, ...,Yn z N(/i,a2) rozdelenia, /i ani a2 nepozname. LRM je Y Y1 Y2 MNC odhad /t=(1'1)-11/Y = Y, s2 1 1/ + e, cov(e) = a21. Y/(I — 1(1/1)-11/)Y 1 n — 1 n — 1 cvičenie). Ked aplikujeme Vetu 5.22 a zvolíme c = 1,70 = /i0 (dane číslo), dostávame Test hýpotezý H0 : /i = /i0 (dane číslo) < H1 : /i = /i0 realizujeme pomočou testovačej dstatistiký Tľi=1(Yi — Y)2 (dokážte ako 1fl — 1/0 Y — M0 r- , , , , Tj \ T0 = — =-\Jn ~ tn-1 (za platnosti H0). 1 1 1 (25) a Ak \T0\ > tn-1 (1 — ^J => H0 zamietame, a \ ak \T0\ < tn-1 [í — ^J => H0 nezamietame. Podla Vetý 5.22 ma tento test hladinu významnosti a. b) Dvojvýberový t—test. Majme náhodná výber Y1 = (Y11, ...,Y1ni)/ z N(/1,a2) rozdelenia a nezávislý s nám nahodná výber Y2 = (Y21,Y2n2)/ z N(/2, a2) rozdelenia. LRM je Yni+n2,1 ÍYÁ = /1m,1 Oni.A AíA + íeÁ \Y2j \On2A W/ W \e2) cov( Y) = cov ee12 a2I . a Ini+n2,ni+n2 . S 37 Matica plóanu X i n N 1ni,1 0ni,1 X Y \ 0n2,1 1n2,1( Presvedcte sa, ze platóí X X V 0 m) : ô2 Y2 aplikujeme Vetu 5.22 a zvolíme c = (1, —1)' a 70 = 0, dostavame (X'X)-1 = í;1 l) n2Y 2) n2 Keď Test hypotezy Ho : H1 = H2 realizujeme pomocou testovacej ďstatistiky H1 : M1 = M2 (26) T0 \ Y1- Y 2 Y1 — Y 2 "4 + n2 nm ' tni+n2-2 (za platnosti H0). Ak |To| > tn1+n2-2 (1 — 2) =^ Ho zamietame, ak |T01 < tni+n2-2 (^1 — ^J H0 nezamietame. Podla Vety 5.22 ma tento test hladinu vyznamnosti a. c) Zovseobecnenie na k vyberov Majme nahodnó vyber Y1 = (Y11, ...,Y1ni)' z N(^1,a2) rozdelenia, nahodnó vyber Y2 = (Y21, ...,Y2n2)' z N(^2,ff2) rozdelenia, nahodnó vyber Yk = (Yk1, ...,Yknk)' z N(^k,a2) rozdelenia. Vsetky vybery su nezavisle. Testujeme H0 : ^1 = ^2 = ... = [ik. Je to óloha analózy rozptylu, budeme sa ďou zaoberat v prednóske LSM 2. d) Regresna priamka. Majme nezóvisle nahodne veliciny (merania) Y1, ...,Yn, pre ktore platí Yi = //0 + faxi + £i, i = 1, 2,n, n > 3. (Bezchybne merania lezia na priamke y = (30 + (31x, hodnoty xi, i = 1, 2,n pozname bezchybne (óplne presne)). LRM je 1 x1 Yn,1 1 x2 \\ + £n,1 = x( ^ J + e, cov(Y) = cov(e) = a2In,n. / 1 / 1 1 xn Opät sa presvedcte, ze platí X X n in=1 xi in=1 xi in=1 xi2 (X X)-1 in=1 xi2 — ( in=1 xi)2 — in=1 xi n s s 1 n 38 3 = (x'x)-1 x'y = —2-1-—,—^( en= x2 en=1 xA( En=1 Y0 , preto Ô = ^i=1 xi Z^j=1 Y i=1 Xi Z^j=1 xiY (27) Ô0 ^n=1 x2 - En=1 Xi)2 , (27) ô = nSn=1 xiY - Sn=1 xi Sj=1 Y = Si =1(xi - x)(Yi - Y) (2o) Ô1 = n£n=1 x2 - En=1 Xi)2 = En= (x x)2 . (28) Pretodze platáí (tiedz sa presveddcte výápodctom) /3q + /3i x = Y, (29) obýcajne sa najprv spocíta Ô1 a potom Ôo = Y - Ô1x = — {E ™=1 Y - Ô1 E i=1 xi}. Este potrebujeme -. 1 / n n n \ s2 = ^(Y 'Y - 33'X 'Y) = ^ E Yi- ?q E y - äE x tn-2 ^1 - => H0 zamietame, ak \T\ < tn-2 (1 - |) Ho => Hq nezamietame. Podla Vety 5.22 ma tento test hladinu významnosti a. Overte výpočtom, ze platí (0, 1)(X X) ( ] v-^n 2 /V^n \2 v^n / —\2 n 2 —2 ^ (32) VV n£i=ix2 - Ei=i xi)2 Ei=i(xi- x)2 Ei=ix2 - nx2 Z (18) dostaneme 100(1 - a)%-ný interval spolahlivosti pre Ô1 Ô1 - tn-2 (1 - a ) . s =J1 + tn-2 (1 - a ) . s = ^ . (33) Analogický odvoclte test hýpotezý H0 : Ô0 = 0 (dane císlo) < H1 : Ô0 = 0. (34) Ketí aplikujeme Vetu 5.22 a zvolíme c = (1,x)',70 (x dane reálne císlo, y0 je hýpteticka hodnota Ô0 + Ô1x), dostaávame: 39 Test hypotézy Ho : 3o + 3\x = 70 (dané číslo) < H : f30 + fi\x = 70 (35) realizujeme pomocou testovacej Statistiky i0 =-. -~ ín-2 (za platnosti H0). /1 (x — x)2 V n l^i=i x2 — nx Ak \T0\ > tn-2 (l — —^J => H0 zamietame, ak \T0\ < tn-2 ^1 — => H0 nezamietame. Podla Vety 5.22 ma tento test hladinu významnosti a. Overte výpočtom, ze platí 'Í\ = 1 (x — x)2 + n 2 —2 n Ei=i xi — nx Z (18) dostaneme 100(1 — a)%— ny interval spolahlivosti pre ff0 + ff1x (1, x)(X'X)-1 Q = 1 + vJ" ŕ nx2 . (36) (a a / a\ /1 (x — x)2 a a / a\ f0 + Ax — tn-2 ^ — 2J ^ n + En=1 x? — nx2 ,f0 + Äx + tn-2 l1 — 2 J S V 1 (x — x)2 A A — \ /1 (x — x)2 \ s\l- + -2-=2 ,fA0 + f1x + *n-2 1 — 77 SW- + -2-=2 . n > x2 — nx2 v 2/ U n l^i=1 x2 — nx I (37) Poznámka 5.28: Ak vynesieme (37) pre kazde x G R1, dostaneme 100(1 — a)°%—ný pás spolahlivosti okolo regresnej priamky, ktory pre kazde x (zvlast) pokryva skutočný (bezchybný) hodnotu ff0 + ff1x s pravdepodobnostou 1 — a. Najuzsí je pre x = x. Jeho sírka sa dý ovplyvnit vyberom bodov x1,xn, t.j. dizajnom experimentu. 100(1 — —)%— ný pas spolahlivosti pre celú regresnU priamku je (Á, + P1 x — S, 2F2,n-2(1 — —)(-+^ }x —2 -2 ) , 30 + Á1x + ^/2F2,n-2(1 — —) f1 + x^n(x^x)^2 M . (38) V Vn Ei=1x2 — nx2JJ Pokryva s pravdepodobnostou 1 — a celý priamku f0 + f1x (celý teoretičku regresný preiamku). Je sirsí ako pas spolahlivosti okolo regresnej priamky. Odvodíme si ho neskôr. Pozri Obr. 2, str. 106 v knihe Andel, J., Matematická statistika, SNTL, Praha, 1985. 40 Poznámka 5.29: Ak vynesieme (22) pre c = (1,x)' pre kazde x G R1, dostaneme 100(1 — a)%—ny predikCny pús (pús spoláhlvosti pre jednotliví merania), ktorý pre kazde x (zvlýst) obsahuje meranie v bode ( s pravdepodobnostou 1 — a: ß° + ßiX - tn-2 ( f) V1+1+ (x — x)2 En 2 —2 i=i x2 — nx2 ß° + ßix + i tn-2 i1 — f) S/ ^ sv1 + n + ěíu _2 nx2 (39) e) Dvojica regresnyých priamok. Majme skupinu nahodnych velicŕn (meraný) Y1, ...,Yn, pre ktoré platý Yi = 30 + 3ixi + £i, i = 1, 2,...,n, n > 3 a od nich nezýavisluý inuý skupinu nýahodnýych veliŠcýn (meraný) Y1*, ... , Yn* , pre ktorýe platý Yi* = 3*o + 3*x* + £*, i = 1, 2,..., n*, n* > 3 LRM pre prvuý skupinu meraný je (Y, X , a2I) a pre druhuý skupinu meraný je (Y*, X* *, a2I), (a2 je pre obe skupiny meraný rovnakaý), teda 1 x1 1 x2 II , ■ .... 31 31 Yn,1 1°) + £n,i = X [ ß° ] + e, cov(Y) = cov(e) = CT2In,n, ßi ßi 1 xn A xf\ Yn*,i = 1 x* 1 xí* i)+en1=X u J + e*, cov(Y*) = cov(eO) = a2In*,n*, pricom cov(e, e*) = 0. Oznacme MNC odhady v jednotlivych LRM 3 a 3 , dalej (podla (30)) s2 1 n - 2 (Y'Y — ß X'Y) 1 n2 \i=i Y2 — ß°]T Yi — ßi]T xiYi E xiYi] s*2 n 2 (Y*' Y* — (ß*)'Xi'Yi) n 2 (n n n \ i=i i=i i=i y n 2 n* 2 Podla Vety 5.21 je —2~~ s2 ~ xn-2 a -2— s*2 ~ -2, su nezávislé a preto (podla Vety 3.5) a2 n 2 2 n* s2 + n 2 n* 2 Podla Vety 5.21 (iii) —s2 +--s*2 a2 a2 (pomocou Vety 5.21) dostýavame 2s*2 = - [(n — 2)s2 + (n* — 2)si2j ~ *-4-a2 L J (40) (41) (42) nezývisý od 3 ani od 3 (ktoré sý tiez medzi sebou nezývisle) a 7 = /3i — ~ W(ßi — ß*, a2{(X'X)-i}22 + a2{(X*'X*)-i}22), 1 41 ci ze (1 - 3* - (d - 3*) ^a2[{(X'X)-1J22 + {(X*' X*)-1J22] \ > (1 - 3* - (d - 3*) + m2 Eľ=1(x*)2 - n*x* 2 N (0,1). (43) Zo vztahov (42) a (43) dostavame, ze statistika /ô1 - h - (31 - 3*) \ > + nx2 En=1(x*)2 - n*x**2 \(n - 2)s2 + (n* - 2)s*2l a2__ n + n* - 4 [3- /?* - (31 - 3*)] V n + n* - 4 V^n - 2)s2 + (n* - 2)s*2 + En=1 x2 - nx2 En=1(x*)2 - n*x*2 Test hypotáezy H0 : 31 = 3*i < H1 : (1 = 3** realizujeme pomocou testovacej statistiky T0 V^n - 2)s2 + (n* - 2)s*2 (Ý - 3í) V / Vn + n* - 4 (44) (45) 1 ' ín+n*— 4 (za platnosti H0). + En=1 x2 - nx2 E"=1 (x*)2 - n*x*2 Ak |T0| > ín+n*—4 1 ak |T0| < tn+n*—4 [1 Test má hladinu váznamnosti a. => H0 zamietame, => H0 nezamietame. Podla Vety 5.21 (i) P - N (P, a2(X'X) — 1) a P* - N (P*,a2(X* 'X*) — 1). Tieto odhady sá nezavisle a preto Ý - p* - N (P - P*, a2 [(X'X) —1 + (X* 'X*) —1]) (k dôokazu sta cáí napr. vhodne pou zi t Vetu 2.6). Pod la Vety 3.13 je [P - P* - (P - P*)]'^2 [(X 'X) —1 + (X*' X*) —1 ] —1[P - P * - (P - P*)] a2 a samozrejme je táato náahodnaá veli cina nezáavisláa s X2 1 a2 \n - 2)s2 + (n* - 2)s*2] - xl+n*—4. Lahko dostáavame, ze statistika - Pô - (P - [P - P* - (P - P*)]'[(X'X) —1 + (X*' X*) —1] —1[P - P * - (P - P*)] n + n* - 4 F = -;-^-;-;-———---- — F2,n+n*—4. (n - 2)s2 + (n* - 2)s*2 2 1 1 1 1 1 1 1 42 Test hypotezy (o totoznosti (celých) teoretickych regresných priamok) - ö=c*) F2n+n*-4(1 — a) H0 zamietame, ak F0 < F2n+n*-4(1 — a) H0 nezamietame. Test ma hladinu významnosti a. Nech v "nehviezdiCkovom" LRM je disperzia nahodnych chýb a2 a v "hviezdiCkovanom" a*2. Podla Vety n - 2 2 2 n* - 2 *2 2 2 *2 5.21 je —i— s2 ~ Xn-1 a -2— s* ~ Xn*-1- s2 a s* , su nezavisle, preto a2 a*2 F = -^-2- ~ Fn-2,n*-2. s*2 a*2 Test hypotýezy H0 : a2 = a*2 < H1 : a2 = a*2 (47) realizujeme pomocou testovacej statistiky s2 Fo = —2 ~ Fn-2,n*-2 (za platnosti Ho). s*2 Ak F^1 > Fn-2,n*-2(1 - |) alebo F^1 < Fn-2,n*-2(|)=> Hq zamietame, inak H0 nezamietame. Test mýa hladinu vyýznamnosti a. Poznámka 5.30: Obidva LRM ("nehviezdickovaný" a "hviezdickovaný") sa dajý modelovat jediným LRM, a sice ß (y\ (ln,i x 0n,i On, A ßi fe\ ffe\\ 2t [Y*) = (^M 0n.,1 ln.,1 ß* + [e*) , C0V{ {**)) = aIn+n.,n+n.' kde x = (xi,xn)' a x* = (x*,x*n*)'• Všetky testy uvedené v bode e) sa dajú odvodit v tomto modeli. f) Regresnú parabola (kvadratickú regresia). Majme nezavisle nahodne veliCiny (merania) Y1, ...,Yn, pre ktore platí Yi = f30 + ^ixj + ^x2 + £i, i = 1, 2,n, n > 4. 43 (Bezchybne merania lezia na parabole y = 30 + 31x + 32x2, hodnoty xí, i = 1, 2,n pozname bezchybne (uáplne presne)). LRM je 1 Yn,1 2 x1 x1 1 x2 x22 1 xn x2n /ßo\ ßl ß2 + en,1 = X /ßo\ ßl ß2 + e, cov( Y) = cov(e) = a2In,n. Samozrejme ß = (X 'X) —1X 'Y a s2 Test hypotýezy 1 n3 (En=lY2 -ßoEn=lY -ßlY.n=lxY -ß2Y,n=lx2Yi #0 : 32 =0 < H1 : 32 =0 realizujeme pomocou testovacej Šstatistiky (48) T2 2 V {(X'X) —1}33 tn—3 (za platnosti Ho). Test hypotýezy Ho : (£)=(3 p + 2. (Bezchybne merania lezia na polynome p-teho stupna y = 3o + 31x + 32x2 + ... + 3pxp, hodnoty xí, i = 1 , 2, ... , n poznaáme bezchybne (uáplne presne)). LRM je Yn,1 1 x1 x21 1 x2 x22 1 xn x2n 1p pn /ßo\ ß1 ß2 ßp + en,1 = X /ßo\ ß1 ß2 ßp + e, cov(Y) = cov(e) = a2In,n. Testy dostaneme analogicky ako v práípade regresnej priamky alebo paraboly. h) Model s dvomi vysvetŠlujuácimi premennáymi. 44 Majme nezóavislóe nóahodnóe veliďciny (merania) Y1, ... , Yn, pre ktoróe platóí Yi = //0 + /1Xi + ^2^i + £i, i = 1, 2,...,n, n > 4. teda bezchybne merania lineórne zóvisia od dvoch (vysvetlujócich) premennych x a z. Hodnoty xi a zi, i 1 , 2, ... , n poznaóme uóplne bezchybne. LRM je Yn,1 l x1 z1 l x2 z2 l xn zn ißo\ ß1 ß2 + en,l = X ißo\ ß1 ß2 + e, cov(Y) = cov(e) = a2In,n. Odhady ß = (X 'X)-1X 'Y a s2 Test hypotóezy l ns (E n=l Y2 - ßo £ n=l Yi - ßlJ2 n=l xiYi - ß2j2 n=l ZiYi). realizujeme pomocou testovacej ďstatistiky T2 = — /Ô2 ~ tn-3 (za platnosti H0). sV {(X'X)-1}33 (5O) Test hypotóezy H0 : / 1 = 0 < H1 : / 1 = 0 realizujeme pomocou testovacej ďstatistiky T1 / 1 —, ~ tn-3 (za platnosti H0). {(X X)- }22 (5l) Test hypotóezy - £2)=0 < hi : £2)=(o) realizujeme pomocou testovacej ďstatistiky ô ) /{(X'X)-1}22 {(X'X)-1}23)-1 (ßl\ 1,ß2)\ {(X'X)-1}32 {(X'X)-1}3^ (52) F0 2s2 V{(XXr X}32 {(XX)" 6 Výberový korelačný koeficient F2_n_3 (za platnosti Ho). Majme naóhodnyó vyóber XY11 , XY22 ,... , XYnn z dvojrozmerneho rozdelenia s distribucnou funkciou F (x, y; 6). Definícia 6.1: Nech X = — £n=1 Y = — V^-, Yi só vyberove priemery. Štatistiku n i=1 n i=1 Sxy n - l i=1 (Xi - X)(Y - Y) l 45 nažúvame váberovou kovarianciou, s- 1 X n1 E(Xi — x )2 1 n1 n — 1 i= (Yi — Y )2 1 n1 ĚY? — nY) sú výberové rozptyly. Výberový korelačný koeficient je r'XY = r = _= Eľ=i(Xi — X )(Yi — Y) Sx Sy ^En=i(Xi — X )2 En=i(Yj — Y )2 TV /T„ -ŕ-_____j-,* En=i XiYi — nX Y X2 — nX2) (En=i ^ — nY2) Poznámka 6.2: Da sa ukúžat (požri napr. Andel, J., Matematická statistika, SNTL, Praha, 1985, str.116), že ak mame núhodny vyber rožsahu aspoň 2 ž absolútne spojiteho roždelenia, tak rXY je definovany s pravdepodobnostou 1. Veta 6.3: Nech (Ux\ í D(X) 6y/ D(X )D(Y )\\ \\vy) ,\gVD(X)D(Y) D(Y) j) je naúhodnyú vúyber ž regulúarneho N2 ' ' VyJ' \eVD(X)D(Y) 2 = 1. Ak = 0 tak D(Y) T = vr——r2 roždelenia, n> 2, 0 < D (X) < to, 0 < D (Y) < to, Dokaž: Uvažujme podmienene roždelenie Yi/Xi = xi °='(xi)l/, i = 1, 2, ...,n. Podla (6) (xť)Yi — N í vy + e D(Y) D(X) 3q = Vy — Vx e (xi — vX), D (Y )(1 — e2) ]. Ak ožnacíme FĎ(Yj FĎiyj VD(X) a 3i = ^ DX)' tak dostavame, že — N (3q + 3-xí, D (Y )(1 — e2)), i = 1, 2,..., n, pricom (x^Y-,^) Y, ,...,(x„) Yn nežúavislúe. Múame teda LRM Ax1)Y-\ (X2)Y2 \(x„ )Yn/ 1x 1 x2 1 xn + (x)£, (x)£ — Nn(0, D(Y)(1 — e2)In,n). V tomto LRM platí e = 0 3- =0. Z (28), (29) a (30) dostúvame 3ô = E n=-(xi — x)((xí)yí — (x) 1 ELi(xi — x)2 Y) Á) =(x) Y — 31X, (x)Y = ~53 (xi)Yi, (x) S2 1 n — 2 Za platnosti = 0 (teda 3i = 0) Zi=ni i=i (xí)Yí2 — 3o 53 (xi)Yi — 3 i 53 xi (xi)Yi i=i i=i (x)T 3i y3(xi—x)2 y^x2 — nx2 — tn-2 (53) (požri (31) a niňžňsie) 1 r 46 Ešte upravme výraz pre (x)s2: 1 (x)s2 = n^zW^(xi)Yi-(x)ßo^2 (*i)Yi-(x)ß Xx (Xi)YA = \i=i i=i i=i y (n n n \ (Xi)Yi2 - ((x)Y -(x) ßi X) 5ľ (Xi)Yi "(x) ß 1 XI Xi (Xi) Yi i=i i=i i=i n n \ X (xí) Yi2 " ((x)Y "(x) ßiX) n(x)Y "(x) ßi X Xi (xí)Yi J = i=i i=i (n ľ n ~| \ X(xí)Yí2 " n(x)Y +(x) ßi nX(x)Y Xi (xíY ) = n - 2 1 n - 2 \ = 1 = n - 2 1 (Ž ((xí)Yí -(x) Y)2 -Eľ=i(^X)2-(x) Y} [ŽXi (xí)Yí - nX(x)YJ j n - ^u-^ Eľ=i(Xi - x)2 ^ (Ž ((xi)Yi -(x) Y)2 -En=i(Xf- XX(-X)2-(x) Y) [í> - X)((xi)Yi -(x) Y)l) i=i i=i i i=i = 1 EI=i(Xi - X)^n=i ((x, )Yj -(x) Y) 2 - (E n=i(Xi - x)((xí)yí -(x) Y)) 2 n - 2 En=i(Xi - X)2 ' Dosadením do (53) doštavame Eľ=i(Xi - x)((Zí) Yi -(x) Y) I- (x)T / 1 En=i(Xi - x)2 En=i ((x3)Y -(x) Y)2 - (En=i(Xi - x)((xí)Yi -(x) Yjf ^ §(Xi X) V n - z En=i(xi - x)2 En=i(xi -X)((xi)Yi -(x)Y) = \JEn=i(xi - x)2 En=i ((x, )Yj -(x) Y)2 - (En=i(xi - x)((xi)Yi -(x) Y ))2 En=i (xi - X)((xi)Yi -(x) Y) V™ . ((x ) Y -(x) Y)2 _ Vn - 2 ~ ín-2- \ En=i(xi - x)2 E^i ((x, ) Yj -(x) Y) 2 Eľ=i(xi - x)((xí)Yí -(x) Y) En=i(xi - x)2 E ((x, )Yj -(x) Y) 1 2 Teda (x)T ~ ín-2 Pre lubovolné x = (xi,x„)'. To je ale to isté, ako tvrdenie T = y/n — 2 ~ t„_2 V 1 — r2 ((x)T je podmienene T za podmienky X = x, ale nezáleží na podmienke, teda "nepodmienene" T má rovnake rozdelenie ako podmienene (x)T). Q.E.D. X1 X2 Xn Majme naáhodnyá váyber Y1 , Y2 , ... , Yn z dvojrozmernáeho regulaárneho normáalneho rozdelenia. Pomocou Vety 6.3 testujeme hypotáezu o nezáavislosti X a Y. 47 Test hypotóezy H0 : g = 0 < H1 : g = 0 (54) realizujeme pomocou testovacej ďstatistiky T0 = Vn — 2 — tn-2 (za platnosti H0). V1 — r2 Ak |T0| > tn-2 ^1 — 2) => H0 zamietame, ak |T0| < tn-2 ^1 — => H0 nezamietame. Tento test móa hladinu vyóznamnosti a. 1 1 + x Poznámka 6.4: Zobrazenie z : ( — 1,1) — R : z(x) = - ln-sa nazyva Fisherova Z—transformácia. Bez dôkazu si uvedieme nasledujóce tvrdenie: X1 X2 Xn Veta 6.5: Majme nóhodny vyber 1,1 ,z dvojrozmerneho regulórneho normalneho Y1 Y2 Yn rozdelenia s korelacnóm koeficientom g a vóberovym korelacnym koeficientom r. Platí 1, 1+ r (1 1 + g,_Q 1 ' Aproximaócia je poďziteďlnóa pre n > 10 a g nie blóízke 1 alebo —1. Veta 6.5 sa aplikuje v nasledujuócich próípadoch a) Test hypotóezy H0 : g = g0 < H1 : g = g0 (55) realizujeme pomocou testovacej ďstatistiky Z- 1ln1 + g0 g0 — — - — U =-2-1 , ^ 2(n—1) - N(0,1) (za platnosti H0). n3 Ak |U0| > u(1 — f) => H0 zamietame, ak |U0| < u(1 — f) H0 nezamietame, + g 1 pricom u (1 — f) je (1 — -f) — kvantil N(0,1) rozdelenia. Test ma hladinu vyznamnosti priblizne rovnó a. 'í1 — f) je (1 — f) " e n je Zk,n{ 1 ln1- Pre velke n je Z « N - ln \2 1 — g n — 3 b) Majme dva nezavisle vybery, kazdy z dvojrozmerneho regularneho normalneho rozdelenia. Ich rozsahy n1 a n2 só aspon 30. Korelacnó koeficient u prveho rozdelenia je g1, u druheho je g2. Vyberove korelacne 1 1 + r1 1 1 + r2 koeficienty só r1, r2 a Z1 = - ln-, Z2 = - ln-. 2 1 — r1 2 1 — r2 Test hypotóezy H0 : g1 = g2 < H1 : g1 = g2 (56) realizujeme pomocou testovacej ďstatistiky Z1 Z2 U0 = — : — N(0,1) (za platnosti H0). + 1 n1 — 3 n — 3 48 Ak \U0\ > u(1 - a) H0 zamietame, ak \U0\ < u(1 - a) H0 nezamietame, Test máa hladinu výáznamnosti priblidzne rovnuá a. Definícia 6.6: Majme nahodný výber X1 /xm\ , X2 X. 2,2 /Xn,A Xn Xn \X1,pJ \X2 p J \Xn,pJ z p-rozmerneho rozdelenia so strednou hodnotou fi = ...,/j,p)' a kovariancnou maticou S. je výberový priemer, Sx = S = X 1 n1 Xi i 1 ]T(Xi - x)(Xi - X)' i 1 je výberová kovariančná matica a RX = R = (diagS) 1 S(diagS) 1 f{S}-J je výberová korelačna matica, pricom (diagS) 2 Poznámka 6.7: 0 0 {S} 2,2 0 (i) Namiesto S sa niekedý pouzíva M = — En=1(Xi - X)(Xi - X)' 0 0 {s}p,P J -1 S. (ii) {S}jjk je výberova kovariancia i = j, {S} 1 (iii) {S}j,j je výberový rozptýl {S}j,j 1 n1 5ľn=1(Xi,j'-Xj )(Xi,k-X k ), Xj = 1 E Xi,j ^ n1 (iv) D = (X1 ^ X2 . ... ^ Xn) je datová matica (matica dat) týpu p x n. 1 n 1 2 n Veta 6.8: Nech X1,..., Xn je nahodný výber z p-rozmerneho rozdelenia so strednou hodnotou fi a kovariancnou maticou S. Potom (i) X je nestranný odhad /lx; (ii) cov(X) = 1 S; n (iii) S je nestranný odhad S. Dokaz: (i) E (X) = E f- EL1 xA = - EL1 E (Xi) = - EL1 f = f; (ii) cov(X)= E ((X - f)(X - fi)') = = E ( 1 (X1 - f + X2 - fl + ... + Xn - H)~ (X1 - f + X2 - f + ... + Xn - fl)') = nn 49 ^E ((Xi — /x)(Xi — fi)' + (X2 — /i)(X2 — f)' + ... + (Xn — M)(Xn — A*)') n2 (lebo E(Xi — fx)(Xj — fi)' = 0 pre i = j) 1 n 1 1 n2 n2 n (iii) E ((n — 1)S) = E (En=i(Xi — X)(Xi — X)') = E (ELi(Xi — f — (X — fx))(X — f — (X — f))') {n n n ^ E(Xi — fx)(Xi — f)' — E(Xi — fx)(X — f)' — E(X — f)(Xi — fi)' + n(X — f)(X — fi)'\ = i=1 i=1 i=1 = ^ E (Xi — f)(Xi — f)' — n(X — f)(X — fi)' — n(X — fx)(X — f)' + n(X — f)(X — = (lebo En=i(Xi — fi) = n(X — fij) = E ^E — f)(Xi — — nE ((X — f)(X — = nE — n cov(X) = (n — 1)S. Q.E.D. Poznámka 6.9: Z Vety 6.8 vyplyva, ze E{S}iij = {E}iij Nech X1 = ( Y^ Xn = (Yn ), kde Yi G Rk, Zi G Rp—k, i = 1, 2,..., n, je nahodny vyber z ZJ \Zn, YZ11 ,... , Xn = YZnn (:) (Sy.y Sy,z \ sz,y sz,z / — k) matica. (Sy,y Sy,z\ Sz,y Sz,z / p—rozmerneho rozdelenia so strednou hodnotou fi = ( fy ], pricom fxy G Rk, fiZ G Rp k a kovariancnou f (Sy y Sy z , kde Syy je k x k matica, Syz je k x (p — k) matica, Szy je (p — k) x k kez,y Ez,zy matica a EZZ je (p — k) x (p — k) matica. i Sy y Sy z i Úplne rovnako rozdelme vyberový kovariancný maticu S = ' tak, ze Syy je k x k matica, Sz,y Sz,zy Sy,Z je k x (p — k) matica, SZY je (p — k) x k matica a SZZ je (p — k) x (p — k) matica a tiez vyberový (Ry y Ry z \ tak, ze RYjY je k x k matica, RYZ je k x (p — k) matica, RZY je Rz,y Rz,z J (p — k) x k matica a RZZ je (p — k) x (p — k) matica. Maticu SYZ nazyvame výberová kovarianCní matica níhodných výberov Y1,Yn a Z1,Zn. Platí 1 n — — Sy,z = —^(Yi — Y)(Zi — Z)' i=i a podla Vety 6.8 (iii) je E(Sy z) = Sy Z. A fYZ f Yn Z Definácia 6.10: Ak ,...,[ , kde Yi G R, Xi G Rp, i = 1,2,..., n, je nahodny vyber z X1 Xn (p + 1)—rozmerneho rozdelenia s regularnou vyberovou korelacnou maticou RXjX, tak výberoví koeficient mnohnasobnej korelacie rYX je definovaný ako take nezýporne císlo, pre ktore platí rY,x = ry,xrx1xrx,y . Poznámka 6.11: Vyberovy koeficient mnohnýsobnej korelýcie rYX je akysi vyberovy "protajsok" teo-retickeho koeficientu mnohonasobnej korelacie £>YjX (pozri Vetu 4.7 50 Veta 6.12: Nech XY11 ,... , XYnn je nýhodny vyber z (p + 1)—rozmerneho regularneho normalneho Y1 X1 Xn rozdelenia s koeficientom mnohonasobnej korelacie gYiX = 0. Ak n > p +1, tak statistika F - p - l p ' Y,X l r2 1 'y,x Fp,n- p- 1 . Dôkaz: Pomcou vhodného LRM, pozri Andél, J., Matematická štatistika, SNTL, Praha, 1985, str. 125. Test hypotézy H0 : Qy,x = 0 < H1 : qy,x = 0 realizujeme pomocou testovacej statistiky (z Vety 6.12) (5T) n - p - 1 rY,x p l - r2 Fpn-p-l (za platnosti Ho). y,x Ak F0 > Fpn-p-1(1 — a) H0 zamietame, ak F0 < Fpn-p-1(1 — a) H0 nezamietame, Test mýa hladinu vyýznamnosti rovnuý a. Definícia 6.13: Ak Y1 Zl X1 Yn Zn Xn kde Yi G R, Zi G R, Xi G Rp, i = 1, 2,...,n, je nýhodný vyber z (p + 2) —rozmerneho rozdelenia s regularnou vyberovou korelac nou maticou R( x r 1 ry,z Ry,x rz,Y 1 Rz,x \^Rx,y Rx,z Rx,x J tak výberový koeficient parcialnej korelácie (výberový parcialný korelačný koeficient) je ry,Z — Ry,xRXlXRx,Z rY,Z.x = —;= ' (1 — rY,x)(1 — <Í ,x) kde ryx = RyxRX1xRX,y, r2ZX = RzxRX1xRX,z, pokial menovatel nie je rový nule. Poznámka 6.14: Vyberový koeficient parciýlnej korelýcie rYzx je akysi výberovy "protaj sok" teore-tickeho parciýlneho korelacneho koeficientu gYiz.X (pozri Vetu 4.12). Y1 Yn Veta 6.15: Nech Z1 X1 Zn je nahodný vyber z (p + 2)—rozmerneho regularneho normalneho Xn rozdelenia, ktore ma parciýlny korelacný koeficient qy,zx = 0. Ak n > p + 2, tak statistika rY,Z.x lr 1 ' Y,Z.X \jn - p - 2 ~ tn-p-2. Dokaz: Pomcou vhodneho LRM, pozri Andel, J., Matematicka statistika, SNTL, Praha, 1985, str. 128. T 51 Test hypotýezy H0 : Qy,z.x = 0 < Hi : qy,z.x = 0 (58) realizujeme pomocou testovacej statistiky (z Vety 6.15) T0 = — y,z.x _ n — p — 2 — tn—p—2 (za platnosti H0). y 1 — rY,z.x Ak |T0| > tn—p—2 ^1 — ^ => H0 zamietame, ak |T0| < tn—p—2 ^1 — H0 nezamietame, Test maý hladinu vyýznamnosti rovnuý a.