MULTIVARIÁTNA ANALÝZA 2 1. Kvadratické formy Deflni cia 1.1. Nech X\,X2, ...,Xn sú nezávislé, N(0,1) rozdelené náhodné veličiny. Potom Y = Xl+X22+... + X2n má rozdelenie Xn (centrálne chi kvadrát rozdelenie s n stupňami volnosti). Veta 1.2. Nech Y ~ xl- Y má hustotu Íl _JL Hl ——-—-e !»! 1 pre y > 0, 2*r(§) 0 inde. Dôkaz. Pozri [Anděl, str. 79]. Poznámka. Xn rozdelenie je špeciálny pripad gama rozdelenia s parametrami a, p (a > 0,p > 0), ktoré má hustotu -e^axxv^x pre x > 0, 0 inde. Označujeme ho T(a,p). Piati, že xj; je rozdelenie T (-|, ( r(p) =/"e-**"-1^, p> 0.) Definícia 1.3. JVec/i X\, X2,X„ sm nezávislé, Xi ~ A(/íí,1), z = 1,2, ...,n. iVec/i A = Sľ=i M? 7^ 0- Náhodná veličina Y = Xl+Xl + ... + X2n má necentrálne x2 rozdelenie s n stupňami volnosti a koeficientom necentrality A. Označujeme ho Xn \ - Veta 1.4. Nech Xi, X2, Xn sú nezávislé, Xi ^ N(iii,í), i— 1,2,..., n. Rozdelenie pravdepodobnosti náhodnej veličiny Y — Yľi=i X?', (teda Xn \, kde A = X)ľ=iAí?j závisi len od n a X (nezávisí od jednotlivých /ii, ...,/in). Dôkaz. Pozri [Anděl, str. 80]. Lema 1.5. JVec/i X ~ A (/i, 1). Náhodná veličina X2 má hustotu e^i + ^ + ^ + ...) *>0, 0 í ^ 0 1 2 Dôkaz. X2 má distribučnú funkciu pre t > O •y/i /-Vi \/2tt Preto je hladaná hustota pre t > 0 Fx;2(í) = P{X2 < í} = P {-Vi < X < Vi} — í -^er^^^dx. J-Jl V2tt „ . . dFx4t) 1 1 (Vt-m)2 1 1 (-vt-m)2 /x2(í) = —X-l-L = _____e--2— + ^^=e--s- = dí 2Vf^V^ŤŤ 2Vf^V^ŤŤ 2VtVŽŤř V^a/í v 2! 4! Samozrejme pre í 5= 0 je fx2(t) — 0. □ Poznámka. Použili sme vzorec d ľ13^ ľ13^ d f (x v) — f(x,y)dx= ^yidx + p>{v)mv)}V]-a>{v)f[a{v)}V]. dy Ja(v) Ja(y) ÔV Počítajme teraz charakteristickú funkciu náhodnej veličiny £ — X 2 oo eltx e ~ io V2~kV% Postupne pre prvý člen Jo 2„ l.,2„\2 1 ľ°° itx !c+f'2 -i r e 2 / -a;fi-íť) -i r e e 2 x 2dx— —==■ / e 12 ;x 2dx — '2tt Jo V2tt (substitúcia aľ(| — ií) = w) e ^ r00 W2 i 1 dw =-;-e-^r(^). _ / e — dw —-== 2 Pre druhý člen -±=\ e^e-^x-i^dx^^^L í er<^xi^dx V^ Jo 2! 2\V^ Jo (substitúcia aľ(| — iť) — w) 21V2K Jo ' ^(I-íí)3^ 2\V2^^J{\-itf ^ f°° e- ý'" dw =-f e-^r(l). 3 Pre treti člen itx -^L _l{h2)2x2 (/i2)2 e e e 2 x 2iľl-l—dx — 2tt Jo 4! 4!V2tt e ^ 'l>i2 1dx (substitúcia aľ(| — ií) = w) (M2)2e-^ W2 e — zdw : (M2) 2\2 =e--r(|), atď. Dostávame e 2 r(l)(M2)0 , r (f) (m2)1 , r(|)(M2)2 0!(±-it)* 2!(I-it)* 4! (i-i*)1 e 2 2\0 ^(m2)1 (M2)2 V^(m2) 0!(|-ií)° ' 2.1!(I-zí)1 ' 4.3.2! (I-zí)2' 2 2 2' 6.5.4.3! (i - íí)3 8.7.6.5.4! (§ - íí)4 e 2 (M2)0 (M2)1 ,2\2 (M2) 0!4° (i - it)° + 1Í41 (i -ít)1 + 2!42 (i - ít)2 (1.1) g- —g2(l-2it) VI - 2zt VI - 2zť Ak máme Xi,X2, ...,Xk nezávislé, Xj ~ N(/Aí, 1), tak charakteristická funkcia (1.2) MV = el-2l,t VI - 2zí a charakteristická funkcia náhodnej veličiny Y — X2 + X^ + ... + X\ je (1.3) Vy (í) = ýx?(Wx?(t)...ýxi(t) it Vfe u2 (í-2itp (1 — 2zí)f kde A = Ej=iM2- 4 Veta 1.6. Nech náhodné premenné Xi, X2, ■■■jXn sú nezávislé, Xi ~ N(/Aí, 1), i — 1,2,n. Potom n n i=l i=l má xi s rozdelenie práve vtedy ak (i) 7i — O aře&o 1 pre i — 1,2, ...,n, (U) ak 7i — 0 =>• 6i = 0 pre z — 1, 2,n, (Ui) c=£"=16?. v4fe sm podmienky (i),(U) a (Ui) splnené, tak k — X)ľ=i 7i « S — X)ľ=i 7í(^í + Mi)2- Dôkaz. Porovnáme charakteristické funkcie iJjt(-) a i/>y(.), kde y ~ %| á. Piati V>:r(t) = £(eiťT) =S í V 5ľ}=l 7^32+2E"=i b3X3+C+2E™=1 73#0 73#0 73=0 £"=1 7i(^ + ^-)^+c-E ,=1 S7+2E =1 'Í=l 73#0 i=i . j=l "ó^-ó 73=0 73#0 £ e tí=° i=i it~/j I X j + - . V" -i. c 2^ ,-=l -y. ■ 3 = 7^0 n v>íÄ-t) n ^(7^), i=i 73=0 i=i 73#0 kde & ~ ÍV (^i + 1) ak 7i ^ 0 a & ~ ÍV (/íí, 1) ak 7i = 0. Podlá (1.2) je (1.4) tj;T(t) = e ^ 'e tí=° tí=° : 1 Il"=i V1 - 2ií7i 73#0 e 73#o Podlá (1.3) pre charakteristickú funkciu Y ^ xt s piati 1 itS (1.5) n u VT^M 5 Porovnaním (1.4) a (1.5) musí platit pre každé t g 72 n k j=l 1=1 a súčasne e V 7j#0 /g 7j=0 7j=0 g 7^0 _ ei-2it z čoho je jasne vidiet, ako dokončime dôkaz. □ Veta 1.7. Nech ^ ~ Nn(fj,,T), An,n je symetrická, b g 72.™ a c g 72. Náhodná premenná T — £'A£ + 2b'^ + c má %| á rozdelenie práve vtedy ak (1) A2 — A, (ii) b g n(A), (iii) c — b'b. Ak sú podmienky (i),(U) a (iii) splnené, tak k — h(A), ô — (b + /x)'A(b + /x). Dôkaz. Pre A existuje ortogonálna matica P, že piati P'AP = A (diagonálna matica), P'P = PP' = I (pozri napr. Rao, str. 62). Potom rj = P'| ~ iV(P'/x,I) a £ = Píy. Preto T = £'A£ + 2b'| + c = í?'P'APí? + 2b'Pí? + c = í?'Aí? + 2b'Pí? + c. Podlá vety 1.6 má T rozdelenie x2. s práve vtedy ak (i) {A}ll = 0 alebo 1 pre'í = 1,2,...,n ^ A2 = A 4^ P'APP'AP = P'A2P = P'AP ^ A2 = A, (ii) {A}íí = 0 =>• {P'b}i — 0, čo je ekvivalentné s tým, že P'b g /z(A) •<=> PP'b = b g m(PP'AP) = /i(AP) = /z(A), (iii) c = (b'P)P'b = b'b. Ak sú podmienky (i),(ii) a (iii) splnené, potom podlá vety 1.6 k — ~Yľl=i{A}a — trA = h(A) = ^(PAP') = h(A) a 5 = Eľ=i{Ak({p'b}í + {PW*)2 = (b'P + /x'P)A(P'b + P'/x) = (b + /x)'PAP'(b + /x) = (b + /x)'A(b + /x). □ Veta 1.8. Nech ~ Nn(fi,'S), An,n je symetrická, b g 72™ a c g 72. Náhodná premenná T — A£, + 2b'^ + c má x2. á rozdelenie práve vtedy ak (i) SAEAE = SAS ^ (SA)3 = (SA)2, (ii) S(A/x + b) g /i(SAS), fmj (A/x + b)'S(A/x + b) = /x'A/x + 2b'/x + c. Ak sú podmienky (i), (U) a (iii) splnené, tak k — tr (AS) aô— (b +A/x)'SAS(b + A/x). Dôkaz. Faktorizujeme maticu S — JJ', kde J je typu n x /i(S) (pozri Anděl, str. 64). Vieme, že P{£ = /x + j í?} = 1, kde 77 ~ A^(S)(0, I) (Anděl, str. 76). Teda T = £'A£ + 2b'í + c = (/x + Jt7)'A(/x + Jt?) + 2b'(/x + Jrj) + c = = tj'J'AJt? + 2(A/x + b)'Jí? + /x'A/x + 2b'/x + c. Podia vety 1.7 má T rozdelenie \k s práve vtedy ak (1) J'AJJ'AJ = J'AJ, (2) J'(A/x + b) e m(J'AJ), (3) (A/x + b)'JJ'(A/x + b) = /x'A/x + 2b'/x + c. Ďalej piati J'AJJ'AJ = J'AJ JJ'AJJ'AJJ' = JJ'AJJ', čiže SASAS = SAS, a tiež naopak SASAS = SAS => JJ'AJJ'AJJ' = JJ'AJJ' => (J'J) ij'.JJ'AJJ'AJJ'.JtJ'J) 1 = (J'J)^J'.JJ'AJJ'.JÍJ'J)-1, čiže J'AJJ'AJ = J'AJ, čo dokazuje prvú časí (i). Ekvivalencia SASAS = SAS ^ (SA)3 = (SA)2 je jedným smerom (=>•) zrejmá. Ku opaku potrebujeme nasledovné tvrdenie (1.6) 3 DKj„ : SAS = SASAD. Tvrdenie (1.6) dokážeme takto: /i(SAS) = /i(JJ'AJJ') ^ ^((J'J^J'.JJ'AJJ'.J^'J)-1) = /i(J'AJ). Podia Anděl, str. 62 je (1.7) /i(J'AJ) = /i(J'AJJ'AJ) ^ /i(JJ'AJJ'AJ) = /i(SASAJ), ale /i(SASAJ) = /i(JJ'AJJ'AJ) ^ /i((J'J)-1J'.JJ'AJJ'AJ) = (1.8) = /i(J'AJJ'AJ) = /i(J'AJ), a preto z (1.7) a (1.8) /i(SAS) = /i(SASAJ) ^ /i(SASA) ^ /i(SAS), teda /i(SASA) = /i(SAS). Pretože zrejme /i(SASA) C /i(SAS) a hodnosti matic vytvárajúcich tieto pod-priestory sa rovnajú, piati /z(EAEA) = m(SAE) 7 a dostávame vztah (1.6). Z predpokladu (SA)3 — (SA)2 pomocou (1.6) dostávame SASASAD = SASAD => SASAS = SAS, čim sme (i) úplne dokázali. Podme teraz dokázat (ii), čiže dokázat, že J'(A/x + b) e /z(J'AJ) ^ S(A/x + b) e /z(EAE). Ak J'(A/x + b) e m(J'AJ), tak JJ'(A/x + b) e m(JJ'AJ) = /z(EAJ) = = ^(SAJJ'AS) = ^(EAEAE) = /j(SAS) (podlá (i)). Naopak ak S(A/x + b) e /z(EAE), tak (J'J) 1 J'.JJ'(A/x + b) = J'(A/x + b) e /i((J'J)_1 J'.JJ'AJJ') — /i(J'AJJ') C /i(J'AJ), čim sme dokázali (ii). Samozrejme (iii) už máme dokázané (je ekvivalentné (1)). Dôkaz vety už dokončime jednoducho. Podlá vety 1.7 je totiž k = /i(JJ'A) = ír(SA) = ír(AS) aä = ([J'(A/x + b)]'J'AJ[J'(A/x + b)]) = (A/x + b)'EAE(A/x + b). □ Uvedieme bez dôkazu vety o nezávislosti kvadratických foriem. Podrobnejšie pozri [Rao, Mitra, kapitola 9]. Veta 1.9. Nech Y ~ Np((jl, S) a Qi = Y'AY, Q2 = Y'BY dw kvadratické formy. Nutné a postačujúce podmienky nezávislosti Q\ a Q2 sú (a) SASBS = 0,EAEB/x = 0, EBEA/x = 0 a /x'AEB/x = 0, ak A a B sm symetrické, nemusia byt pozitivně semidefinitné, pričom S nemusi byt regulárna. (b) ASBS — 0, AEB/x = 0, afc A je pozitivně semidefinitná. (c) ASB = 0, ak A aj B sm pozitivně semidefinitné. (d) ASB = 0, ak S je regulárna, A a B sm symetrické, nemusia byt pozitivně semidefinitné. Veta 1.10. JVec/i Y - Np((i, E) a Qi = Y'AY+2a'Y+a, Q2 = Y'BY+2b'Y+/3 dw lineárne-kvadratické formy. Nutné a postačujúce podmienky nezávislosti Q\ a Q2 sú (a) SAEBS = 0, EASb = 0, EBSa = 0a a'Eb = 0, ak /x = 0, pričom S nemusi byt regulárna. (b) ASB = 0, BSa = 0, ASb = 0 a a'Eb = 0, afc S je regulárna, pričom /x môže byt aj nenulový vektor. 2. WlSHARTOVO ROZDELENIE 2.1. ÚVODNÉ POZNÁMKY A DEFINÍCIA Majme Uj ~ A^/x^E), í — í,2,...,k, ktoré sú nezávislé, E je pozitivně deŕinitná matica. Označme Uj = (Uu,U2i, ■■■,UPi)', Y j = (Uj±,Uj2, ■■■,Ujk)', j — 1,2, ...,p a /Ull ^12 ^13 ■■■ ^lfe\ ^21 ^22 ^23 ■ ■ ■ t^fc V Upi up2 up3 ... upk J 8 Teda w iu,:u,:...:u/,: Vy'/ ďalej označme Ml / Mu M12 Mi3 ■ ■ ■ Mife ^ M21 M22 M23 ■ ■ ■ M2fe (/xi:/x2: ■ ■ ■ :/ife)- V /ipl /ip2 Mp3 ■ ■ ■ Mpfe / Pre pevný vektor 1 G 1ZP sú náhodné veličiny l'Ui - ÍV(1'mí, l'Sl = o}), i = 1,2, ...,k nezávislé (lebo Uj sú nezávislé). Náhodný vektor U\ — íY^i je lineárna kombinácia normálne rozdelených nezávislých náhodných vektorov, pričom (2.1) lY-iVfcíMl.ffflfc.fc). ak b — (b\, 62, bk)' je vektor konštánt, tak (2.2) U'b = 61U1 + ... + 6fcUfc - ATp(M'b, b'bS). Poznámka. Nech / «11 «21 ain \ «2n V «ml Kroneckerov súčin matic A a B je ; Br,s /&11 Ď21 \6rl b2s * br„ J A (8> B = / anB ai2B «2iB a22B V«miB am2B ai„B \ «2nB «mnB / mr Vlastnosti Kroneckerovho súčinu matic pozri napr. v [Rao]. ak napíšeme "pod seba" stĺpce matice K, povieme, že sme vykonali na matici operáciu vec. Teda U2 » wecW = UfcPji = w 9 Ukážte, že (2.3) vecU' = U ~ Nkp(vecM', Ifcjfc IptP)vecUŕ - Np{{b' IPtP)vecM'', (b' Ip,p)(Ip,p ® Ep,p)(b IPjP)). Poznámka. Nech bi 7^ b2, bi,b2 g 7?.fe. Piati cov(U'b1,U'b2) = (K (8) Ip,p)(I® S)(b2 ® = b'1b2 ® £ = b^E. ak b'1b2 = 0, t.j. ak bi a b2 sú ortogonálně, tak Wbi a Wb2 sú neskorelované, t.j. v tomto prípade nezávislé. Podlá predchádzajúcej poznámky lahko dokážeme nasledujúcu lemu Lema 2.1. Ak bi,b2, ...,br, r ^ k tvori ortonormálny systém v 7Zk, tak Vi =W'bi,...,Vr =U'br sú navzájom nezávislé a majú normálne rozdelenie, pričom Vj ~ Aŕp(M'bj, S), lahko dostaneme aj nasledujúci dôsledok Dôsledok 2.2. Ak Tik,k je ortogonálna matica (BB' — B'B — I), tak Vj = (U, i...;!.),.:}!?!., = W'ÍB}., ~ Wp(M'{B},,£), z = 1,2,..., Ä; a co^V^Vj) = ({B};4 ® IPjP)(I ® S)({B}.j ® I) = {B};i{B}.J- ® S = 0 pre 3, teda V1;Vfc sú nezávislé. Definícia 2.3. Združené rozdelenie prvkov matice Sp,p — EÍLi u^u^ — U'IÁ sa nazýva Wishartovo rozdelenie s k stupňami volnosti a znači Wp{k, S, M). Ak M — 0, jedná sa o centrálne rozdelenie, označujeme ho Wp(k,'S). Poznámka. (i) {S}„- = {EÍLi U'Uí} = Eti UuUji = YíYj = {W'W}ý-, lebo / Eti^i' Ef=i^i^2í ... Y,LiUuUpl\ c — \Eti^^« Ylt=1uplu2l ... eÍLi^í / (ii) Pre p = 1 a /in = /ii2 = ... = /iifc = 0 sú Ut = C/H ~ ÍV(0, cr2), i = 1, 2,k nezávislé, W'W = E*=i Ul ~ Wi(*> ^ Pretože ^ ~ iV(0,1), má E*=i $ ~ 4 rozdelenie a ~ íj2Xfc rozdelenie. (iii) Pre k p existuje hustota Wp(k, S, M) rozdelenia, ináč nie. Dôkaz je naznačený v [Rao, str. 641]. 10 2.2. Niektoré vlastnosti Wishartovho rozdelenia Lema 2.4. Nech S ~ WP(A;, S,M) a 1 G Kp, l ^ 0 je vektor konštánt. Potom Dôkaz. S = Etiuiuí. Preto ľS1 = EtiľUiUÍ1 = EtiO'Ui)2 = iY' iY ~ °\xí,Ä, kde 5 l'M'Ml lebo iY - ATfc(Ml, Ife,fe)- ak M = 0, tak 5 = 0. □ Lema 2.5. JVec/i Uj ~ -/Vp(0, S), z = 1,2, sm nezávislé, Aj^a, reálna symetrická matica. W AU — Wp(r, S) práw tJČedy afc V 1 G TZP, 1 7^ 0, iY'A iY — alxl, { A2 = A a v tom prípade r = /i(A) = ír(A). Naopak ak V 1 G W {Y'A {Y = l'W'AWl - cr2x2, čo je podlá vety 1.8 ekvivalentné tomu, že A2 — A, pričom v tom prípade h(A) — tr(A). A je reálna symetrická matica, idempotentná a h(A) — r. Teda A je pozitivně semideŕinitná a preto existuje ortonormálny systém vektorov bi,e 7Zk, že A — Ej=i Ajbjbj, I — Ej=i bjbj (reálne čisla Ai ^ A2 ^ ... ^ Ar > 0 sú vlastné čisla matice A a bi,br im prislúchajúce charakteristické vektory). Z rovnosti A2 = A dostávame r r r E AA-b; E A*b*b* = E A*b*b*< j=l s=l t=l Afbibí + AÍ;b2b2 + ...A2brb; = Aibibi + A2b2b2 + ...Arbrb;, z čoho vyplýva, že A2 — \, i — 1,2, čiže Ai — A2 = ... = Ar = 1 (lebo Ai > 0). Môžeme písat A = E^=i bibí a tiež W'AW = E^i^'b^W = Ej=ivjV^, pričom podlá lemy 2.1 Vj ~ ^(0, S) a Vi, V2,T^. sú nezávislé. Z definície preto W AU ~ Wp(r, S). □ Veta 2.6. JVec/i S ~ Wp(k, S) a BPíg matica konštánt. Potom B'SB ~ Wq(A;, B'SB). Dôkaz. B'SB = B'W'WB, kde /U'A ' Uí > WB /Vi \ B V V'/ Uj ~ ^(0, S) sú nezávislé. Preto /Vi\ /UÍB\ ' v 1 ' U2B > V vi/ Vu^b/ má riadky nezávislé, cov(B'Ut, B'Uj) = B'ccw(Ui, U,)B = 0 a B'U4 - ATg(0, B'SB). Platí B'SB = Eľ=i v4V^ - B'SB) (priamo z definície). □ 11 Dôsledok 2.7. (a) Diagonálne submatice matice S majú tiež Wishartovo rozdelenie, lebo ak g _ / Sn S12 kde Sn je rozmeru l x l, tak (IM OjS^'^Sn. f&j afc S - Wp(/í,I) a afc pre Bp,g piati B'B = I, poíom B'SB - Wg(A:,I). Veta 2.8. Nech S ~ Wp(k, S) a a e 7?.p je tofcý vektor konštánt, že a'Sa 7^ 0. Potom ——— ~ ví. a'Sa A/" Dôkaz. Podia vety 2.6 piati, že a'Sa ~ Wi(fc,a'Sa), čo znamená podlá poznámky a'Sa (ii) pod definíciou 2.3, že -~ □ a'Sa Veta 2.9. JVec/i U1;U„ je náhodný výber z Np(0, S) fteda - Wp(n, S)j, je symetrická matica. Piati U'CU ~ Wp(r, S) <ŕ=> C2 = C. K takomto prípade r — tr(C). Dôkaz. Podlá lemy 2.5 je W'CW - Wp(r, S) 4^ V 1 g 7?.p iY'C iY - cr2^2, (cr2 = l'Sl, iY = U\). V tomto prípade r = /i(C) = ír(C). Pretože podlá (2.1) je Y Y' Y 1 ^(0,1), je podlá vety 1.7 iY'C iY - crfxr ^ ~)=C^= ~ xl ^ Vl'Sl " 1 Vl'Sl Vl'Sl C2 = C. V tomto prípade r = /i(C). □ Lema 2.10. Nech S]^ ~ Wp(n1, S), S2 ~ Wp(n2, S). Si a S2 sm nezávislé. Potom S! + S2 - Wp(n!+n2,S). ^az. Si = wíwi, s2 = w^w2, kde w{ = íu,;...;u„ =. w2 = (u„1+1:...:u„1+„2) a Uj ~ Np(0,Y^),í — 1,2, + n2 sú nezávislé. Preto ak označíme U' — (WÍÍW£)p,ni+n2, tak Si + S2 = (WÍWi + z^w2) = w'w - Wp(ni + n2, S). □ Veta 2.11. Nech Cn^n — C je p.s.d. matica konštánt, Uj ~ -/Vp(0,S),z = 1, 2,n nezávislé. Piati, žeUpnCU ~ Eľ=i AjWp^(l, S), kde\i,...,Xn sú vlastné čisla matice C a Wp^l, S),Wp"^(l, S) sm nezávislé. Dôkaz. Môžeme pisat C — J]™=1AiPip-, I = E™=iPiPÍ, pričom Ai ^ ... ^ A„ ^ 0 sú vlastné čisla matice C a pi, ...p„ ortonormálně vektory. Teda U'CU — Eľ=i WPiPft = Eľ=i <^viví, kde V, - Np(0, S) a sú nezávislé (lema 2.1). Z vety 2.9 vieme, že W'p.p^W = V,V^ - Wp(i)(l, S). □ 12 Lema 2.12. Pre matice príslušných rozmerov piati (2.5) vecABC = (C A)uecB, ír A B = (uecB')WA. Dôkaz. Lemu dokážte ako cvičenie. Veta 2.13. Nech U4 ~ A?p(/x, S), 1,2, Ui,U2 U„ sm nezávislé, Ci, C2 symetrické a idempotentné. U'C\U a WC2U sú nezávislé •<=> C1C2 — 0. Dôkaz, ak W'Ci a WC2 sú nezávislé, tak sú nezávislé aj U'C\U a U'C^U. U'C\ a WC2 sú nezávislé práve vtedy ak sú nezávislé JLÍ'Ci a IWC2 a to je práve vtedy ak sú nezávislé veciVJ'Ci) a veciVJ'C^), čiže podlá lemy 2.12 ak sú nezávislé vektory (C[ £p,p). Pretože (Ci <8> I)(I <8> S)(C2 <8> I) = (CiC2 <8> S) = 0, sú W'Ci a WC2 nezávislé. Teraz už lahko dokončime dôkaz. □ Veta 2.14. Nech S ~ Wp(k, S), S je regulárna, k^p-í. Platí: (a) ^fe-(p-i) a nez<ívisi od {S}íj- z 1,2, ,P-1, J = 1,2, ...,p-l. f&j Pre fcaádý 1 g 1ZP ,1 ^ 0 je l'S-1! Xfc-(p-i)- Dôkaz. S = Eľ=iUíUí> u U2i u, s = u fe,l Up-iti V Upi / S21 S22 Up2 \upJ u* y, pi Np(0,Y^), Uj nezávislé, 1,2,...,*;, U* ~iVí,_1(0,Sn), kde A(SU) = p — 1. Ďalej označme "2 Wfc(0,{S}ppIfcjfc), u, = i = 1,2, S = /EtiU*(u*)' EtiU^p Podlá lemy 4, Anděl, str. 121, P{Eľ=i U*(U*)' je pozitívne deŕmitná} = 1, ak k^p-í, teda P{/i(Eľ=i uI (uI)') = p - 1} = 1. Pre maticu X = ' u12 U22 >"lfc U2k up-1,1 \ Wp-1,2 piati ^Ui< = X'X, ^t/píu^U'X a ^u^^X'U. 13 (a) {s-1}^ = íE vl É(u*)'^»(É u.*(u.*)r1 E wr1 = i=l i=l fe {u'u - E(u*)'^(E u^u.*)')-1 E W*}-1 i=l i=l i=l (pozri anděl, str. 66). Podmienené rozdelenie UP\/\J\ — ui,...,U£ — Uk je to isté ako Upi/Ul — Ui (lebo Upi nezávisí od Uí;, ...,U£) a teda UP\/\J\ — Ui ~ ÍV(0 + SaiS^ui, S22 - S21Sn1S12), čo je A(E^E^m, {E-1}^1). analogicky t/pí/U* = iii ~ A (E^E^u,, {S-1}^1), i = 2,3,k (pričom Č7pí, pre i ^ j sú nezávislé). Preto í = U/U? =Ul,...,U£ = ufc ~iV( pričom podstatné je aj to, že S2iEn u2 VSaiS^Ufc/ (2.6) S2lS11 U2 u2^ll X7. Dostávame, že rozdelenie 1 ——/\J\ — Ui,U£ — Ufc je rozdelenie {S 1}PP k í'í - E u^(E uiuí)_1 E u^ = w - x(x'x)-!x')e 2 — 1 J—1 í — 1 Podlá vety 1.8 má kvadratická forma — X(X'X)_1X')£ rozdelenie {E-1}^1;^ ^ktoré vďaka (2.6) nezávisí od podmienky (teda od {S}jj, i, j g {1, 2, ...,p — 1}) a je preto aj nepodmieneným rozdelením. Dostávame, že ^ 2 rc-ii ~Afe-(p-i)-i° spp Pretože dôkaz sme úplne analogicky mohli urobit pre rU — {Ur\, t/r2,Urk)', r g {1,2, ...,p} piati, \ ^ ^ }t*t* 2 r "i T^ľľTT--Xfe-(P-i)> r g {1,2,...,p}. t3 frr (b) Vezmime ortogonálnu maticu B, ktorá má prvý riadok ľ. Podlá vety 2.6 piati BSB' - Wp(/í,BSB'). Pretože (BSB') 1 = BS "1B'J (BSB')"1 = BE^B' 14 dostávame z (a) {BS-'B'ln _ MťS~ 1 Xfc-(p-i) (ortogonálnou transformáciou sa príslušné hodnosti v dôkaze (a) nemenia). □ K dôkazu vety 2.16 potrebujeme nasledujúce tvrdenie: Lema 2.15. Nech X ~ \m a Y ~ Xn si* nezávislé. Potom X*Y ~ £? f )■ Dôkaz. Pozri Rao, vztah (3b.1.12), dokážte ako cvičenie, (náčrt dôkazu: U ~ Xm> ^ ~ tak /[/(m) /y («) t : 22t(f) f y z ~2V2 1 pre v > 0, 2-r(^) e 2 -u 2 1 pre u > 0, m + f DT(j,,z) = det((_Zz ^J)^ /u,v(«,«)=/u(«)/v(«), ft(u,v)(y,z)= [2^r(f)]"1e-^(zy)^-1x [2fr(f)]-1e^[z(l-y)]f-1z /(y) = /cT /(j/. = 5^ň)^_1d - y)^1 Veta 2.16. Nech Si ~ Wp(&i,E), S2 ~ Wp(k2, S) sm nezávislé, S je regulárna. I s 1 ^ ^ / / / / ak ki p — 1, íafc |g[+g2| rozáelenie ako súčin r]i...r]p nezávislých náhodných veličin, rji ^ B íkl~ľ+l, % ) a nezávisí od {Si + S2}íj, í, j g {1, 2,p — 1}. Z?ÔÄaz. Označme Si = E^i U^, S2 = E^t+i U,U^ kde U, ~ Np(0, S), 1, 2,&i + &2 a nezávislé. / Í7ii \ U, S = tf2 Up-iti V Upi / ju S12 u* y, p2 i = 1,2,A;i + fc2, U* ~ iVp_i(0, Sn), kde ^21 S22 dalej označme U MSh) = p-i. í upl \ <~Jp2 fei+fe2,l í Uli \ U2- ^(1)ufela Wfel+fe2(0,{S}ppI), z = l,2,/íi + k2 15 1 \ ^fcl T"?" /TT*V V^&l T 7-2 pi ÄiMu*)' Efii^3 Sil S12 S21 S22 s , s = / EľiT 2 (Uí)' Eľii U^pi \ / (Si + S2)n (Si + S2)12 2 VEttfe2Mu*)' Eľit*2^ y l(Si + s2)2i (Si + s2)22 Podia lemy 4, anděl, str. 121, P{EÍli U*(U*)' je pozitívne deŕmitná} = 1, (pretože ki ^ p — 1), teda f {/i(E^Íi U|(U*)') = p — 1} — 1. (Samozrejme aj +^2 i=l U*(U*)') mu "21 ■ ■ "12 "22 ■ ■ "lfcj "2fei ■ ■ "p-1,1 \ "p-1,2 Up-1m ' X2 = X = / "l,fei+l "2,fei+l "l,fei+2 "2,fe!+2 ^"l.fei+fes "2,fe1+fe2 Xi X2 "p-l,fcl+l \ "p-l,fei+2 "p-l.fei+fes úplne analogicky ako vo vete 2.14 (a jej dôkaze) dostávame J2 ^< = x'iXi, J2 up>< = (1)u'xľ E= xí(1)u< E ^ = (1)u'(1)u 2 — 1 2 — 1 2—1 í — 1 a &1 +&2 2=^+1 Konečne 1 -|-ŕL'2 &1+&2 /i'l-|-«:2 ťl-l-t'2 / (1)tt\ E uíU^X2X2, E C^uí= (2)U'X2, E = X2 (2)U, E t/2 =(«U';(2)U')( (2)U) 2=^+1 &1 + &2 E 2=^+1 &1 +&2 E i=k1+l (2)U I {SI%P = {(1)u' Wu-^íud'^^ukudo^E^u?}-1, 2 — 1 2 — 1 2 — 1 {(Si + s2)-1}PP = {( wu'i (2>u')( Su)- ^1+^2 fci+Äľ2 fci+Äľ2 - E (u*)'t/pí( E uku*)')-1 E ^ua-1- Pretože piati (anděl, str. 66) {S — (S22 — S2iS111Si2) 1 — |E22 — S2iS111Si2| 1, čiže ,-in _ IS11I _ |Sii| |Sn||S22 — E2iEn S12I 16 dostávame (2.7) {sr1};^^^ Wu' «u - ^(u*)'[/p!(X; u*(u*)r1E ypiu*, (2.8) {(Si + S2)-1}-1 = |S1 + S2| , ,ir: Uľí (2)U J (Si + S2)n| - x; (u*)'^( e ^(u.*)')-1 e i=l i=l i=l Zhodne ako vo vete 2.14 sa ukáže, že ^*1+*2( / £2i£iiV \ S2iSn u2 \S2iS111ufcl+fc2 / pričom je &i rozmerný a ^2 je k2 rozmerný náhodný vektor. Preto podmienené rozdelenie {(Si + S2)-1}pp1/UÍ = u1;U*i+fc2 = ufel+fe2 je rozdelenie kvadratickej formy i'i - í'xíx'x)-1^^ ~ {s-^^^+^-p+i, pričom nezáleží na podmienke a preto je totožné s nepodmieneným rozdelením. Rozdelenie {Sr^pp/UÍ = ui> ■■■> ufei+fe2 = u*i+*2> ktoré je rozdelením kvadratickej formy ílťi-ílx^x'.xo-'xlťi" = <^> {{l o) - O) Wl.)-WiO)) (|) =ťAí ~ nezávisí na podmienke a je preto totožné s nepodmieneným rozdelením. Podlá vety 1-8 je {(Si + S2) }pp - {S1 }pp/JJ\ = ui,U*kl+k2 = ufcl+fc2 = , f / o o \ _ / X![(xiX! + x^x,)-1 - (xíx^-^xí 4 Ho i*,,*J V X2(X'1X1 + X2X2)-1X'1 Xi (X^Xi + X2X2) 1xí> X2(X^Xi + X2X2) 1xí> 17 ^Í'BÍ-ÍS-1}-^, nezáleží ocl podmienky a je preto opät totožné s nepodmieneným rozdelením. Mimo toho lahko sa ukáže, že {(Si + s2)-i}pp1 - {sr1}-1/^ = Ul,U£1+fc2 = ufcl+,2 nezávisí od ísi }PP /uí - ui> ufei+fe2 - Ufel+fe2 (lebo AB = 0). Preto i^l }pp_ /tT* _ tt* _ ii-i _ rq-ii-i i rc-ii-i / ui — ui> ■■■> ufei+fe2 - ufei+fe2 {(Si + S2) 1}PP - {S1 }pp + {S1 }pp je rozdelené ako Xfci-p+i (2-9) , , , Afc!-p + l ^ Afc2 pričom a x^-p+i v (2-9) sú nezávislé. Podlá lemy 2.15 má preto —{Sl 'IZi-í rozdelenie B (fcl~p+1, ^) a nezávisí od {Si + S2}íj, í, j g {1,2, (CH C12 ••• Clr C21 C22 ••• C2r ] ako crl cr2 ... cr |C|r, r e {1,2,..Využijúc (2.7) a (2.8) dostávame, že rozdelenie l^1' / tt* — tt* — Ui — ui,Ufcl+fc2 - ufcl+fc2 - |Si + S2|/ |Si|p IsiIp-i lSl|p-l__lSllp-2 lSl|l /tT*-ii tt* -n |Si + S2|p |S1 + S2|P_1-|S1 + S2|1/ 1 Ul'-'u*i+fe ufci+fc2> |Si + S2|p_i |Si + S2|p_2 pričom |Si|p _ lSllp-l /tT*-h tt* -i, (kj-p+l k2 ~ |Si + s2|p / Ul - Ul' Ufe^ - Ufel+fe2 s ž ' T |Si + S2|p_i a nezávisí od IsiIp-i lSilp-2 / t T* _ „ t i* _ „ |Si + s2|p_i/ Ul " Ul' -'ufe1+^ " Ufei+fe-|Si + s2|p_2 ktoré má B ^fcl~P+2; hz^J rozdelenie nezávislé od podmienky, atď. Teda |g|^g2| má rozdelenie ako súčin rji...rjp navzájom nezávislých náhodných veličin, pričom 18 Veta 2.17. ak Ui,...,U„ sú nezávislé, -/Vp(/x, E) rozdelené, S — — EiLi(Uj — U)(Ui-U)', fcdeU=±£"=1Ui, ťafcnS~Wp(n-l,£). Dófcaz. (pozri aj Vetu 2.9) nS = Eľ=i(Uí-U)(U,- U)' = Eľ=i U,U^-nU U' = U'U- \U'\nA\'lnU = W'(I -\W)U = W'AW = Ú'MA, kde Z? = (Ui - /x,U„ - /x), lebo (/x,...,/x)A = 0. Podlá lemy 2.5 W'AW - Wp (r, S) •<=> VI g 72.p ľW'AWl ~ (l'Sl)x2, pričom v tomto prípade r = /i(A) — tr(A). Pretože Wl = (U2 -V(U„-/x)'l/ = iÝ~iVn(0,(ľSl)I) (pozri (2.1)), má l'Ú'MAl rozdelenie \r (podlá vety 1.8) práve vtedy ak A2 — A. V tomto prípade r — h(A) — tr(A). Je zrejmé, že v našom prípade A2 — A a h(A) = ír(A) = n - 1, preto nS ~ Wp(n - 1, S). □ Veta 2.18. ak Ui,U„ sú nezávislé, Np(fi, S) rozdelené, tak U = ^ Eľ=i a nS = Eľ=i UjU^ — nU U stí nezávislé, pričom U ~ Np((jl, — S) a nS ~ Wp(n — 1,S). Označme Dôkaz. Nech C„ „ je ortogonálna matica taká, že jej n—ty stĺpec je "^O'- Potom V -7-(Ui íu,;...;u„:c .:v,;...;v,,:. .. + U„) = ^ U resp. U = ^V /Ui\ n u' S = yjuiU<-nUu' = (Ui:...:Un) 2 i=l n—V —V = (v1:...:v„)cc /vi \ V u;/ n n —1 v v' = Y^vv' v V = Y^vv' i t—± t—± V v / Pretože Vi,V„ sú nezávislé, dostávame tvrdenie lemy (pomocou vety 2.17). □ 3. hotellingovo t2 rozdelenie Nech SpP je matica náhodných veličin (náhodná matica) dpi náhodný vektor nezávislý na S, S~Wp(A;,E), d ~ Np(8, c-1 E). Hotellin gova zovšeobecnená štatistika T2 je definovaná ako T2 = cJfcďs-M = , cd'E M. d'S !d V nasledujúcom budeme uvažovat á = 0, c — 1, E = I, teda S ~ Wp(k, I), d ~ A?p(0,I). Hotellingovo T2(p, /s) rozdelenie je T2 = fcďs-M a pišeme kd'S 1d ~ T2(p, /s). 19 Veta 3.1. Nech X ~ Np((jl, E) a S ~ Wp{k, S) sú navzájom nezávislé, S regulárna. Potom Jfc(X - m)'S_1(X - /x) - T2 (p, jfc). Dófcaz. S = UAU', I = UU'.A = dm^Ai,Ap}, Ai ^ A2 ^ ... ^ Xp > O, = Udiag{\^ ,...,\p^}U', £5 = Udm^Af,A|}U'. Položíme d* = S"5(X- /x), S* = £-5S£-5, teda (S*)-1 = S^S"1!:^. Zrejme d* - Np(0,I), T2{p, k). □ S* - Wp(Ä:,I) a preto podlá definície k{d*)'{S*)'1 d* = k(X - /x/S"1 (X - /x) Dôsledok 3.2. Majme U!,...,U„ nezávislé, Uj ~ ./V^/x, E), S regulárna, U = (n - 1)(U - /x/S^U - M) = n(U - /x/S^U - M) ~ T2(p, n - 1). Dófcaz. U ~ Np(fjb, ^E), teda U ~ Np(^/ňfj,, E), S* = ^S, čiže (n- 1)S_1 = nS^1, ďalej nS ~ Wp(n — 1, S) (pozri vetu 2.17), U a S sú nezávislé (veta 2.18), teda (n - ^^(U-^'^S)-^^-/!) = (n - l)(U-/x)'S-1(U-/x) = = n(U-M)'S-1(U-M,~T2(p,n-l). □ Veta 3.3. 2 mp T (p, m) = -—-Fp,m_p+i. m — p + 1 Dôkaz. Podlá definície má T2(p,m) rozdelenie náhodná veličina md'S_1d, kde d ~ Np(0,T), S ~ Wp(m, I). Teda náhodná veličina (3.1) d'd = m- d'd ďd d'S-M Podlá vety 2.14 (b) menovatel v (3.1) nezáleží od d a má Xm-p+i rozdelenie (pre lubovolnú realizáciu náhodného vektora d má Xm-p+i rozdelenie), čitatel v (3.1) má podlá vety 1.7 Xp rozdelenie. Preto (3.1) je podiel dvoch nezávislých náhodných veličin, s x2 rozdelením, a sice rozdelenie (3.1) je Xp 2 mp—^ t2/ n mXP _p_ mp T{p,m) = —- = -g- = — Fp,m-p+i- □ Xm-p+l , , , n Xm-p+1 m P + 1 (m — p+1)--— m — p + 1 20 Lema 3.4. Súčin k navzájom nezávislých náhodných veličin s rozdelením B {p/i, 5i), i — 1, 2,k takých, že 7^ — 7^+1 + i — 1, 2,k — 1 má rozdelenie £?(7fc, 5i + ... + 5fc). Dôkaz. Pozri viac v Rao, 3a.3. Lema 3.5. Nech d ~ ./Vp(0,I) s S ~ Wp(m, I) sm nezávislé, teda md'S^'d ~ T2 (p, m), m^p—l. Piati 1 | ľ2(p,m)\ |S| ^m-p+1 p |S + dď| V 2 '2 Dôkaz. Podia anděl, str. 63 pre determinant štvorcovej matice [ ^, ^ ) piati S d ď -1 = -|S + dď| = -|S|(1 + d'S^d) teda T2(p, m) \ (í + ďs-M)-1 |S + dď pričom S ~ Wp(m,T), dď ~ Wp(l,I), (nezávisí od S) a podlá lemy 2.10 S + dď ~ ISI Wp(m + 1,1). Preto podlá vety 2.16 má ^ ^ rozdelenie ako súčin navzájom nezávislých náhodných veličin s rozdelením beta a parametrami m — p+l 1\ fm — p + 2 1\ /m 1 2y V 2 2y ' v 2 2 Podlá lemy 3.4 má tento súčin B (---, — J rozdelenie. □ Dôsledok 3.6. Nech X a S je aritmetický priemer a výberová kovariančná matica z výberu rozsahu n z rozdelenia Np(fi, S). Potom (X - /x/S-1 (X - /x) ~ Fp,„_p. p Dôkaz. Podlá dôsledku 3.2 má (n— 1)(X — /a)'S_1(X — fi) ~ T2(p,n— 1) rozdelenie, čiže podlá vety 3.3 má ^(X - /x/S-^X - M) ~ -f^-T2(P, n 1) = p p(n — 1) n — p p (n — 1) p(n — l)n — 1— p + í rozdelenie. □ 21 4. Ine rozdelenia vyskytujúce sa pri multivariátnych štatistických analýzach Definícia 4.1. Nech A ~ Wp(m, I), B ~ Wp(n, I) sm nezávislé, m^Ĺ p — 1. Potom hovoríme, že náhodná veličina má Wilksovo lambda-rozdelenie s parametrami p, m, n. Označujeme ho A(p,m,n) Veta 4.2. Wilksovo A(p,m,n) rozdelenie, m p — \, je totožné s rozdelením súčinu r/i...r/p nezávislých náhodných veličin, pričom r/i ~ B ^-7f~~ > ~^ Dôkaz, ak A ~ Wp(m,T), B ~ Wp(n, I) sú nezávislé, tak podlá vety 2.16 má rovnaké rozdelenie ako súčin rji...rjp nezávislých náhodných veličin, pričom rji Poznámka, ak Si ~ Wp(&i, I), S2 ~ Wp(/í2,1) sú nezávislé, &i ^ p — 1, tak A= ——— |Si + S2| má rozdelenie rovnaké ako súčin r)\...r)p nezávislých náhodných veličin, pričom rji B ^——2 '' "2~^ ' ^° ^e Poc^a vety 2.16 to isté ako rozdelenie IGil IGi + G9 kde Gi ~ Wp(ki, S), G2 ~ Wp(/í2, S) sú nezávislé, S je regulárna a &i ^ p — 1. Teda A nezáleží od S a môžeme ju zadeŕinovat ako A 'Gl' |G! + G2| kde Gi ~ Wp(/íi, S), G2 ~ Wp(/í2, S) sú nezávislé, S je regulárna a &i ^ p — 1. Poznámka, ak S ~ Wp(n — 1, S), d ~ Ap(0, S) sú nezávislé, tak Wilksovo lambda-rozdelenie s parametrami p, n — 1,1 je to isté ako rozdelenie náhodnej veličiny c| ^ f _ p p |S + dd,|, teda (podlá lemy 3.5) B y—^, ^ Zo vztahov medzi beta rozdelením a F rozdelením možno odvodit vztahy medzi A s. F rozdelením: (a) 1 — A{p, to, 1) p A{p, to, 1) m p+íFp,m-p+1 22 1 - A(l,m,n) n y°) —77j-T- ~ ~ŕr A(l,m,n) m 1 - y/A(p,m,2) p F ^A(p,m,2) m-p+l l-y/A(2,m,n) i/A(2,m,n) m - 1 (d) -/./,-. ' ~ ~-7-F12n,2(m-l)- Pre ostatné hodnoty n a p za podmienky, že m je velké, možno použit Bartlettovu asymptotickú aproximáciu 1 2( -\m- -(p-n+ľ) \\iíA(p,m,n) ~ xlp- Pri hladani simultánnych intervalov spolahlivosti parametrov multivariátnych lineárnych modelov sa používa nasledovné rozdelenie. Definícia 4.3. Nech A ~ Wp(m, S), B ~ Wp(n, S) sm nezávislé, m > p — í, S je pozitivně definitná. Rozdelenie najväčšej vlastnej hodnoty 9 matice (A + B)_1B označujeme 9(p, m, n). Podlá Rao, str. 588 toto rozdelenie nezávisí od S. Poznamenávame tiež, že 9 môžeme definovat ako najväčší koreň rovnice |B-0(A + B)| =0. ak A je vlastná hodnota A_1B, tak ^ je vlastná hodnota (A + B)_1B. Keďže ide o monofónnu funkciu premennej A, ŕ? je dané vztahom 9- Al kde Ai znači najväčšiu vlastnú hodnotu matice A_1B. Pretože Ai > 0, piati 0 < 9 < 1. Vztahy medzi rozdeleniami 9, A a F sú: (a) 9(p,m,n) a 9(n,m + n—p,p) majú rovnaké rozdelenie, 9(1, m, n) 1 — A(l, to, n) n (P) 1 žJTi Ä ~ TTl Ä ~ rn m, 1 — 9(1,m,n) A(l,m,n) m 9(p,m, 1) ^ 1 - A(p,m, 1) ^ p p l — 6(p,m,l) A(p,m,l) m—p + 1 p'm p+1 5. Met'oda maximálnej vierohodnosti a test pomerom vierohodnosti Združenú funkciu hustoty rozdelenia náhodného výberu X„p i — (X'1; ...,~X.'n)' uvažovanú pri danom x (realizácia X g 1ZP) ako funkciu vektorového parametra 6 g lZq nazývame funkciou vierohodnosti L(x;0) = l[f(xi;0), 23 resp. jej logaritmus, teda n Z(x,0) = Z(x1,x2,...,xn,0) = liiL(x;0) = ^ln/fo; 0). i=l Vierohodnostnými rovnicami rozumieme systém £«i!fef)=0i i = 1,2i...,,. 2 — 1 Majme náhodný výber X = (X'1; X2,X^)', kde Xj ~ Np(fi, E), S je regulárna. Potom L(x; /x, S) = |27í£rí ^ľ=i(x* - m)'S_1(xí - m) j n 1 ™ Z(x; /x, S) = lnL(x; /x, E) = ln |2ttE| - - ^(x, - /x/S^x, - /x). Piati (X, - /x)'E 1(xi - /x) = (x* - x + x - /x)'E 1(xi - x + x - /x) = = (x, - x/E-^Xi - x) + (x - M)'S_1(x - /x)+ +2(Xi -x/E-^x-j*), ^(Xí - /x/S^x, - /x) = ^(xí - x/S^x, - x) + n(x - /x/S^x - /x)+ i=l i=l 2 J^(xí - x/E-1 (x - /x) = ír J^(xí - x/ST1 (x4 - x) + n (x - /x/ST1 (x - /x) = -n(x-/x)'E_1(x-/x) = Ír lebo S-1^(xí-x)(xí-x)' u=l v = nír {s-^™0')} + n(x - /x/S^x - /x), . n n s(real) = -Y,^-*^-*y a 2£(xi-xyS-1(x-M) = i=l i=l = 2 jrJ- ^ x-E_1(x - /x) - nxE_1(x - /x) j = 0. Dostávame Z(x; /x, S) = - ^ ln |2ttE| - |ír {s^S^ } - \tr {S^x - /x)(x - /x)'} ak n ^ p + 1, tak odhady met'odou maximálnej vierohodnosti sú fi = X, S = S (pozri Rao, str. 575,576). 24 Definícia 5.1. X — (X'1; X2,X^)' je náhodný výber z rozdelenia závislého od parametra 0. Testujeme H0 : 0 g f2o x i?i : 0 E íl± — ÍIq (íl i je oblast v lZq, í2q je podoblast v íli hodnosti s). Test pomerom vierohodnosti hypotézy Hq oproti Hi má testovaciu štatistiku (LR-štatistiku t.j. likelihood ratio statistiku, presnejšie jej realizáciu) ^(x) — — maxee^o LW L max0en1 L(0) Jeho kritická oblast na hladine významnosti a je R — {x : A (x) < c}, kde c je určené tak, aby supeeqo P{x g R} — a. Veta 5.2. Nech A je testovacia štatistika pre test pomerom vierohodnosti Hq : 0 g f2o x Hi : 0EÍli — í2q (íli je oblast v lZq). Za určitých podmienok regulárnosti pre každý 0 g f2o má —2ln A asymptoticky (pre n —> oo) rozdelenie Xq-S> ked í2q je podoblast íli hodnosti s, {q > s),{ q — s možno chápat ako počet reštrikcii na parametre (91;6q). Ilustrácia: (a) Nech X = (X'1; X2,X^)' je náhodný výber z Np((jl, S), S je známa pozitivně deŕinitná matica. H0: fi — fíg x ífi : /i^0. Potom L(x; = |27rSrfe_^^=i(Xí_/x)'S_1(Xí_/x) = = |2^rfefír{^1S(rea0}e-f(x-^S_1(x-^'. ak piati ií0, tak /x = /x0 a max L (x; /x, S) = iO(x; (jlq, S) = (je to jediné čislo). ak /x "nie je ohraničená", q — p, teda maxMe7jP L(x;/x, S) sa dosahuje pre /x — fi — x a preto max L(x; /x, S) = L(x; /x(reaí), S) = = |27rSr?e_tír[S_ls(rea0]e_f (x~ A(rea°)'S_1(x- /x(reaí)) = Preto testovacia štatistika (vlastne jej realizácia) je -21nA(x) = -21m n(x - /x0)'S_1(x - /x0). 25 Je to realizácia statistiky «(X — /xo)'E X(X — /xo), ktorá má za platnosti ifo podia vety 1.8 Xp rozdelenie. (Poznamenávame len, že /i(í2o) — s — 0, teda aj podia tvrdenia vety 5.2 sedi pre asymptotiku, že q — s — p — 0 — p.) (b) (Hotellingov jednovýberový T2—test.) Majme náhodný výber X — (X'1; X2,Xjj)' z Np((i, E), S je neznáma pozitivně deŕinitná matica. ií0 : /x = /x0 x ífi : /x 7^ /x0. S sa musi odhadnut vzhladom na ÍTq ako aj "bez ohraničenia". Dá sa ukázat, že odhady získané met'odou maximálnej vierohodnosti (ich realizácie) sú za platnosti H0 : fi^real^ = /x0, ±ireal) = S(reaí) + dď, kde d = x /x0, "bez ohraničenia": /x(rea') = x, í](reaí) = s(reaí). Dostávame, že za platnosti Hq max L(x; /x, S) = L(x; /x0, S(reaí) + dď) = =_i_e-§ {ír(S(rea') + dď)_1S(reai) + d'(S(rea') + dď)_1d} = (27r):Ťr|S('-ea0+dď|f = _l_e-f fr(S^'eaŕ) + dd')_1(S(rea^ + dď) = 1 _Z2£ e 2 . (2TT)-t\S(real) +dd ďalej max L(x; /x, E) = L(x; x, S(reaí)) = g-fíríS^"'))-^^)) - (x-xyíS^'^-^x-x) (2-)If\S(real)\^ teda testovacia štatistika (LR - štatistika) je -21nA(X) = -2 ln np ■e" 2 , |S + (X-/x0)(X-/x0)'| (5.1) =-nln(-=-- V|S + (X-/x0)(X-/x0)'| Za platnosti iŕ0 je y/ň (X - /x0) - 7Vp(0, E); podlá vety 2.18 nS ~ Wp(n - 1, S) pričom y/ň(X — /xq) a nS sú nezávislé. Preto podlá poznámky za vetou 4.2 |nS + n(X - /x0)(X - Mo)'| |S + (X - /x0)(X - /x0)'| 26 má A(p,n — 1,1) rozdelenie. Podia lemy 3.5 je to totožné s rozdelením (1 + T ^"í"1^)-1' ^° Je rozdelenie náhodnej veličiny (1 + (X — /xo)'S_1(X — /xo))-1 (ti — p p\ (pozri dôkaz lemy 3.5) a podia poznámky za vetou 4.2 to je B ( —-—, — J rozdelenie. asymptoticky má teda podia vety 5.2 -21nA(X) = -nlnf |S' --) = nln(l + (X-/Xo/S^X-Mo)) \|S + (X-/x0)(X-/x0)'|/ rozdelenie. ak chceme použit ne asymptotický test, tak za platnosti Hq má náhodná veličina (i + (x-At0)'s-1(x-At0))-1 B ( —-—, — J rozdelenie, alebo podia dôsledku 3.6 má za platnosti Hq štatistika ^-^(X-mo/S^ÍX-mo) FPtn-p rozdelenie, (c) Hypotézu ( /x nepoznáme), pričom máme výber z Np((jl, S) rozdelenia o rozsahu n testujeme tak, že získame odhady met'odou maximálnej vierohodnosti. Za platnosti H0 : (í(real) = x, S = S0, "bez ohraničenia" : fi^real^ = x, £(reai) = s(reaí). Preto za platnosti Ho je max Z(x; /x, S) = Z(x; x, S0) = ln2^ - J ln |S0| - ^tr^S^) s — 2j i j Z Z Z a "bez ohraničenia" je maxZ(x;/x,S) = Z(x; x, S^) = _^m2^ - 2ln|S(«oi)| - ^. Teda testovacia LR - štatistika je -21nA(X) = nt^E^S) - nln ISE^I - np. Táto náhodná veličina má zložité rozdelenie, ale asymptoticky má Xm rozdelenie, kde m — \p(p + 1). (d) Hypotézu Hq ■ S12 — 0 ( /x nepoznáme), pričom máme výber z Np((jl, S) rozdelenia o rozsahu n testujeme tak, že normálne rozdelený náhodný vektor rozdelíme na podvektory s pi a P2 27 zložkami, p\ + P2 — P- Predpokladajme rovnaké delenie kovariančnej matice S — ( ^n ^12 ) . Dá sa ukázat, že odhady met'odou maximálnej vierohodnosti za V ^21 ^22 / platnosti Hq sú: fi — X, É — ( _^ ) (Sn a S22 sú príslušné submatice V U *22 / matice S). Test pomerom vierohodnosti má testovaciu štatistiku -21nA(X) = 2{-^ln27T- ^ln|S| - ^(S^S) + y ln 2tt+ S^1 0 \ /Sn S12\\_ 1 lSnllS22 +-in|Sll||s22| + ^^ ř ^j^;; s;;j)-m. |q| = -nllíl^lk-l = _nlJSn||S22-82^2^ _n]n|I_ s-iS2lS-iSl2|. |»ll||»22| |e>ll||e>22| Tato štatistika má asymptoticky x2 rozdelenie s P1P2 stupňami volnosti (piP2 — q, a = 0). (e) Hypotéza Hq : S — diag (špeciálny pripad (c)) ( fi nepoznáme), pričom máme výber z Np((jl, S) rozdelenia o rozsahu n je tá istá ako hypotéza H0: R = I (R je korelačná matica). Tvrdi, že zložky vektora X sú nezávislé. Test pomerom vierohodnosti má testovaciu štatistiku (jej realizáciu) -21nA = -nln|RXjX| (Rx,x je výberová korelačná matica). Táto štatistika má asymptoticky x2 rozdelenie s \p{p — 1) stupňami volnosti (q — p^p2l~1-> + p, s — 2p). 6. Lineárny model a met'oda najmenších štvorcov 6.1. úvod Majme lineárny regresný model (LRM) (6.1) YKíi — X„íP/3Píi + £„,i, £{e) = 0, cov(e) = cr2I. Veta 6.1. Eľ=i e? ~ £'£ ~ (Y ~~ X/3)'(Y — X/3) nadobúda minimum (vzhladom na (3) pre (3, ktoré je (lubovolným) riešením normálnych rovnic (6.2) X'X/3 = X'Y. Tbčo minimum je rovnaké pre všetky riešenia rovnic (6.2). 28 Dôkaz. /z(X') = m(X'X) X'Y e /z(X'X) =4> (6.2) sú vždy riešiteíné. Ich lubovolné riešenie označme (3. Piati (Y - X/3)'(Y - X/3) = (Y - X/3 + X/3 - X/3)'(Y - X/3 + X/3 - X/3) = (Y - X/3)'(Y - X/3) + (/3 - /3)'X'X(/3 - /3) ^ (Y - X/3)'(Y - X/3). Teraz už dôkaz lahko dokončime. □ Označme ešte Ý = X/3 a í?q = (Y — X/3)'(Y - X/3) = Y'(i - X(X'X)"X')Y. 6.2. Matica plánu X má plnú hodnosť Nech /i(X„íP) — p ^ n. Veta 6.2. Majme LRM (6.1), pričom h(X) — p. Piati (a) /3 = (X'X^X'Y, £($) = /3 f&j co-y/3 = cr^X'X)-1. Dôkaz. Pozri anděl. Veta 6.3. Pre lubovolné p g 72.p má odhad p'/3 = p'/3 minimálnu disperziu zo všetkých lineárnych nevychýlených odhadov funkcie p'/3. Dôkaz. Pozri anděl. Veta 6.4. s [ _?L) = CT2 Dôkaz. e ( -^L^) = _L_^(y'íi-xíx'xí-^oy) = \n — p J n — p = —!— {IČ'X'ÍI-XÍX'X^XOXČ + trKl-XÍX'X^XV2!]} = cr2. □ n — p Veta 6.5. 1/ Li?M fč.ij nec/i Y - Nn(X(3, cr2i), /i(x) =p^n PZafó fa;/3^A„(/3,(T2(x'x)-1); ÍÍq (c) 0 a Rq sú nezávislé, (d) (/3 - /3)'x'x(/3 - /3) ~ cr2x2 a nezávisí od i?2,. Dôkaz. (a) zrejmé; ^ = y,i-x(x'x)-1xy = _ i-xcx'x)-^' _ m, X^i-xcx'X)-^') rozdelenie podlá vety 1.8; 29 (c) (X'X^X'Y a y^-X^'^y sú nezávisié; iebo I-TO^X' j_XÍX'X)—1X' pozitívne semideŕinitná matica a (X'X)_1X'(72I---— 0, teda podlá ŕj anděl, str. 81 (alebo podlá vety 1.10) sú /3 a i?2, nezávislé; (d) (/3 - /3)'(/3 —/3) = (y —X/3)' X(X'x) X' (y - X/3) má podia vety 1.8 a2 a2 Xp rozdelenie; i?2, = (y — X/3)'(y — X/3) = (y-X^'ŕJ-XŕX'X^X'xy-X/S) a podlá vety 1.9 sú (/3 — /3)'X'X(/3 — /3) a i?2, nezávislé. □ Poznámka. Hypotézu H0 : (3 — (3q x Íri : /3 # A) testujeme štatistikou (/3-/30)'X'X(/3-/30)n-p i?2 P ' ktorá má za platnosti Hq rozdelenie Fp^n-p. Zadefinujme R2H= min (y-X/3)'(y-X/3). 0: A3=c Veta 6.6. JVec/i Agp má hodnost h(A) — q, c g PZaíi (za predpokladu normality rozdelenia y j (a) R2H-R2 = (A/3 - c/ÍA^'X)-1^)-1^ - c), (b) £(R2H - Rl) = z ktorej vyplýva, že p[^Ei)=l-P = 1-P MJsf Ul-£(1-P(£i)), čo vyplýva zo subaditivnosti pravdepodobnostnej miery P, a sice P ^UÍLi Eťj = Eí=i Pomocou Bonferroniho nerovnosti dostávame P ^fj |a^/3 e (a^/3 ± ín_p(l - f )av/AÍ(X'X)-iA^ |^ 1 - = 1 - a. (b) Meťoda maximálneho modulu. Nech Ai/3,AJ,/3 sú nezávislé, t.j. A£(X'X)_1A'- = 0 pre i ^ j, A'[3 — Ci ti — - 1 ~ í77-t), i — 1, 2,/s, nech dalei f (/s, n—r>, a) ie a—kritická s^A^X'X)-1^ P hodnota rozdelenia max^^ |íj|, teda 1 — a = P -j max |íj| 5= t>(/j, n — p, a) f — P {|íj| 5= f (/j, n — p,a) Vi}. Pravděpodobnost, že /j intervalov A^/3 ± n - p, cťlsy'A^X'X)-^, í = 1, 2,A: súčasne pokryje všetkých k lineárnych kombinácii A^/3 je 1 — a. Hodnoty v (k, n — p, a) sú napr. v Lamoš, Potocký, tab. VII. ak sú A^/3 lineárne závislé, treba v nahradit inou hodnotou, pozri napr. Hahn, Hendrickson, Biometrika 58, 1971. Intervaly v tomto prípade zostanú rovnaké. (c) Scheffeho meťoda. Je založená na vete 6.8, ktorá zase vychádza z nasledujúcej lemy Lema 6.7. Nech Mtít je pozitivně definitná matica. Pre lubovolný x£Ä! piati x'Mx | — l — a. (A''\ Dôkaz. Označme A' — (Ai:...:Afc), teda A — I : I , pričom k(A) — k. Podlá \Afe/ k,p vety 6.6 (c) má (n - p)(A/3 - A^A^'X)"1 A')_1(A/3 - A/3) _ A; (n — p)s2 _ (A/3- A^^AÍX'X)-^')"1^- A/3) &s2 rozdelenie. Teda P í (A/3 - A/3)'(A2(fXrlA,rl(A/3 - A/3) S U = 1 - « a podia lemy 6.7 je P h'(A/3 - A/3) 2 ^ [ib2Pfcj„_p(l - a)]h'A(X'X)-1A'h Vh e ftfe j = 1 - - a, P | (A'h)'(/3 - /3) 2 ^ ib2pfc,„_p(l - aXA'h/tX'X^A'h Vh e ftfe j = 1 -« čo je to isté ako p{(A'/3- A'/3)2 ^ ä:s2pfcj„_p(l - oOA'ÍX'X^A VA e/í(A') = 1-a. □ 6.3. Matica plánu X nemá plnú hodnosť Nech /i(X„íP) — r < p ^ n. Normálne rovnice majú veia rôznych riešení, pričom jedno riešenie (3 nemôžeme považovat za odhad (3. Treba odstranit nejednoznačnost. Robi sa to nasledujúcim spôsobom. Uvažujme maticu Bp_rp, ktorej riadky sú nezávislé, t.j. h(B) — p — r, pričom tieto riadky nezávisia od riadkov matice plánu X. Preto h ( ^ j —p V / n-\-p—r,p (matica plnej hodnosti v stĺpcoch). Pre maticu ( j^~n'p J — F„+p_rp piati, že V *^p—r,p J h(F) = p. Preto p x p matica F'F = (X' B') ( g ) = x'x + B'B Je regulárna 34 (/z(F'F) — /z(F'), čiže aj h(F'F) — h(F') — h(F) — p). K normálnym rovniciam X'X/3 = X'Y pridáme rovnice B'B/3 = 0 a dostávame X'X/3 + B'B/3 = F'F/3 = X'Y, ktorých riešenie /3 = (F'F)_1X'Y je jediné. Pre toto /3 piati £($) = (F'F)_1X'X/3 = (F'F)_1(X'X + B'B)/3 = /3. Dostávame teda "zúženie" systému normálnych rovnic, ktorý má takto jediné riešenie (postup pri analýze rozptylu). Definícia 6.9. A'/3 je lineárne nevychýlené odhadnutelná ak existuje pre ňu lineárny nevychýlený odhad, t.j. ak existuje 1 g lZn, že ^(l'Y) — A'/3 V/3 g 1ZP. Lenia 6.10. A'/3 je lineárne nevychýlené odhadnutelná práve vtedy ak A g /i(X'). Dôkaz, nájdete v anděl. Veta 6.11. Nech A'/3 je lineárne nevychýlené odhadnutelná, (3 je lubovolné riešenie normálnych rovnic, t.j. X'X/3 — X'Y. Potom (a) A'/3 je jednoznačný, (b) A'/3 je NNLO (najlepší nevychýlený lineárny odhad) A'/3, t.j. pre každý iný lineárny nevychýlený odhad A'/3 funkcie A'/3 pla'ti 2?(A'/3) — 2?(A'/3) ^ 0. Dôkaz. Nájdete v anděl. Skôr ako ukážeme test hypotézy H : A/3 — 0, dokážeme si dve lemy. Lenia 6.12. Nech A.m^, B^fc sú lubovolné pevné matice, h(B) — r ^ min{n, k}. Piati (6.4) Ä ( B ) " ~ B'(BB) Bl + h(B). Dôkaz. Matica (B':I — B'(BB')~B)fcín+fc má hodnost k, lebo každý stĺpec matice B', teda B'e^ je kolmý na všetky stĺpce matice I — B'(BB') B, teda na (I — B'(BB')-B)ei, j — 1,2, ...,k. lebo e^B(I - B'(BB')-B)ej = 0, j = 1,2,...,k. Teda B' má r lineárne nezávislých stĺpcov, I — B'(BB') B má k — r lineárne nezávislých stĺpcov (lebo h(I — B'(BB')~B) = k — r). Tiež B'e^ je kolmé na (I-B'(BB')"B)ej, j g {1,2, ...,k}, teda (B':I-B'(BB')"B)fcj„+fc má k lineárne nezávislých stĺpcov, teda /i(B':I — B'(BB')~B) = k (plná hodnost v riadkoch). Teraz h I -AB'(BB')"\ /AB' A(I- B'(BB')B) 0 I { BB' 0 BB' A(I_B'0BBrB))=MB) + MA(I-B'(BB'rB)]. □ 35 Lema 6.13. ak /i(X„íP) — r < p ^ n, AqtP má hodnost h(A) — q, ^l(^^j~r^1 (riadky A sú lineárne nezávislé s riadkami X), tak lubovolné 6 g /x(X) sa dá pisat ako X8, kde A8 — 0. Dófcaz. Zrejme /z(X) D /z(X(I-A'(AA')_A)). ale podlá (6.4) je hodnost /i(X(I-A'(AA')-A)) = Ä(a) ~ h^ = r + q-q = r = h(X), teda íí(X) = íí(X(I -A'(AA')"A)) t.j. každé 0 e /x(X) sa dá pisat ako Xô, kde Aá = 0. □ ak chceme testovat H : A/3 — 0 keď /i(X) — r < p, h(Aqp) — q, pričom /i^^^j — r + q, tak podlá lemy 6.13 R2„ = min (Y-X/3)'(Y-X/3) =min(Y-X7)'(Y-X7)' = i?2 " (3: A/3=0 -y U a ií0 nevieme testovat (podia vety 6.6). Definícia 6.14. Hypotéza H0 : A/3 — 0 je testovatelná, ak riadky matice A sú lineárne kombinácie riadkov matice X, t.j. ak existuje matica Mgjn, že A — MX. Poznámka. Hypotéza H0 : A/3 — 0 je testovatelná, ak každá lineárna kombinácia A^/3 — {A}ij3 je lineárne nevychýlené odhadnutelná. Poznámka, ak máme H0 : A/3 — c, tak vezmime /30—lubovolné riešenie systému A/3 — c a vytvorme S — (3 — /30. Model Y — X/3 + e prepíšeme na model Y—X/3o — X(/3—X/3o)+e, čiže (pri označeni observačného vektora Y* — Y X/3o) dostávame model Y* — XS + e. V tomto modeli testujeme hypotézu AS — 0. Pôvodná hypotéza Hq : A/3 — c je teda testovatelná práve vtedy ak hypotéza AS — 0 je testovatelná v "novom" modeli, teda ak A — MX. Veta 6.15. Nech Hq : A/3 — c, kde AqtP má hodnost h(A) — q ^ r, je testovatelná, t.j. A — MX (Y je normálne rozdelený). Nech Rl = min(Y - X/3)'(Y - X/3), iž^ = min (Y - X/3)'(Y - X/3). /3: Af3=c ak Hq piati, tak (a) R2H-R2 = (A/3 - c)'{A{X'X)-A')-1^^ - c), kde /3 je lubovolné riešenie normálnych rovnic X'X/3 — X'Y, n-rR\-R2 ( 1 q R2 q'n-r-Dôkaz, pozri anděl. 7. Viacrozmerná regresná analýza 7.1. úvod Na každom z n objektov robime merania p znakov. Výsledky merani na z—tom 36 objekte sú realizácie náhodného vektora Y- = {YllYl2...Ylp) = (xllxl2...xlq) /Pn P12 Pii P22 PiP\ Pip ^Pql Pq2 ■■■ Pqp' pričom Yu je meranie l—tého znaku na z—tom objekte. Všetky merania dávajú maticu Y„p náhodných veličin (jej i—ty riadok znači p merani na z—tom objekte), teda Yu Yyi Y21 Y22 \Yni Yn2 Y lp \ /Xu x12 ... xlq\/Pu p12 X21 X22 ■■■ x2q II P21 P22 Y2p Ynp / V Xn\ Xn2 Pip\ /e'i \ P2p W Pq2 ■■■ Pqp (7.1) Yri5p — X^gBgp -\- £n,p- V modeli (7.1) je X„ g daná pevná známa matica, B matica neznámych parametrov, £i — {£n£i2---£ip)' je chybový vektor na z—tom objekte a / £11 £12 £11 £12 £n2 £lp -np je matica náhodných chýb. Piati Si ~ Np(0, S), Si,£2, sú navzájom nezá- vislé, BgíP — (/3i,/3p). Vektor merani í—teho znaku je (YiiY2i...Yni)' — Zj G 72™, í = 1,2,...,p. Teda G 729, ccw(Zí; Zj) COv(Zj) = (Tjjl, j = 1,2,..., p, /cov(Yii,Yij) cov(Yii,Y2j) ... cotj(Yh, Y„j) \ cou(Y2i, Yij) cov(Y2i,Y2j) ... cov(Y2i, Y„j) \cou(Y„i, Yij) cou(Y„j,Y2j) ... cov(Yni, Ynj) J í (y i j 0 0 au VO 0 ° \ 0 ' CTijJ 37 Iné vyjadrenie modelu je /ZA /X 0 ... 0\ //3i\ vecY — Z„Pji = Z2 Vzp/ o x - vece, Vo 0 ... X/ \/3p/pgl uecY = X„jg)recB + uece, cof(fecY) = Spp (S>I,j,n. ak /i(X) — q 5= n, tak najlepší lineárny nevychýlený odhad /3i je Á = (X'X^X'Zi a nevychýlený odhad atl je Z^I-X^X^XQZj _ R2(i,i) _ , n — q n - q Teda NNLO parametrov B je Označme B = (X'X)_1X'Y Rl(i,j) = (Zi-X(3iy(Zj-XI3j). Pre vektor Zj + Zj piati 8(Zi + Z j) = X(/3i + /%), cot(Zí + Zj) - (ctíí + 2^ + aj3)l. NNLO A + (3j je (X'X^X'ÍZí + Zj)^ Nevychýleným odhadom a a + 2a i j + a j j — (Z, + Zj)'{l - X(X'X)-1X')(ZÍ + Zj) n — q R-0(i,i) fío(j.j) 2MM n — q n — q teda nevychýleným odhadom ctjj je n — q Matica R-n Rlihj) n — q /R&1,1) i?02(l,2) ' i?a(2,l) i?02(2,2) ^5(2, p) \ħ(p,l) ħ(p,2) ... Ägfop)/ 38 je zvyškovou maticou súčtov štvorcov a súčinov. Nevychýleným odhadom matice S je teda S —-Rq. n — q Dá sa pisat Rn Y'(I - X(X'X)_1X')Y = Y'PY ak sú merania na jednotlivých objektoch nezávislé a majú mnohorozmerné normálne rozdelenie s tou istou kovariančnou maticou E, potom môžeme považovat £i,£2, ■■■,Sn za náhodný výber z Np(0, S). V takom prípade má vece rozdelenie Nnp(0, EPíř, ® I„íTt) (vyplýva z definície mnohorozmerného normálneho rozdelenia). Preto v takom prípade vecY ~ ^„^((Ip^ X)t>ecB, In,n). Platí veta Veta 7.1. Nech v modeli (7.1) je Si, £2, £n náhodný výber z Np(0, S). Potom (a) 'B má normálne rozdelenie (rozumie sa tým, že večB má mnohorozmerné normálne rozdelenie). (b) Y'PY - Wp(n — q, £) (c) B a S sú nezávislé (rozumie sa tým, že večB a vecS sú nezávislé). Dôkaz. (a) Pretože B = (X'X^X'Y, je vecB = ^(X'X^X'Y = w^X'X^X'YI — (I P2 = P, (pozri vetu 2.9), čo je splnené. V tomto prípade w — trP — n — q (c) vecB = (I (X'X)-1X')t;ecY a vec± 1 1 -f ecRo 1 -vec(Y'(I X(X'X)-!X')Y) n — q n — q n — q vec(Y'(I - XŕX'X^X'yŕJ - X(X'X)-1X')Y). Stačí ak ukážeme, že (I (X'X^X'^ecY a vec(I - X(X'X)"1X')Y = (I (I X(X'X)_1X'))fecY sú nezávislé. Pretože (I (X'X^X'^covivecY)]^ (I - X(X'X)_1X')) = = (I <8> (X'X)_1X')(S <8> I)(I <8> (I - X(X'X)_1X')) = 0, dostávame aj tretie tvrdenie vety. □ 7.2. Testovanie hypotéz V modeli kde h(X) = q(^n), £ testujeme hypotézu X-n,qBqp ~n,P j \£'J pričom £1, £2,£n je náhodný výber z Np(0, E), H0: CiB — D, Ci je známa g x q matica, h(Ci) — g, D je známa g x p matica. 39 Veta 7.2. V modeli (7.1) nech /i(X) — q, n — q ^ p — 1, E je regulárna, Bo je lubovolné riešenie rovnic CrB = D. Označme Y+ = Y XB0. Za platnosti H0 : CiB = D, O(Ci) = g) má |Y'PY| |y'py + y;p2y+| Wilksovo A(p, n — q, g) rozdelenie, pričom P — I — X(X'X)_1X', p2 = xíx'xí-^ííCiíx'xí-^íí-^iíx'x)-1^. Y'PY = (XB + e)'P(XB + e) = e'Pe. Podlá vety 2.9 má Y'PY rozdelenie Wp(r, S) práve vtedy ak P2P, pričom v takomto prípade r = írP. lahko sa vidí, že naozaj P2P a r = írP = n — q, teda Y'PY ~ Wp(n - q, S). Tiež platí Y^P2Y+ = (Y-XB0)'X(X'X)-1C'1(Ci(X'X)-1C'1)-1Ci(X'X)-1X'(Y-XB0) platnosti Hq je np2y+ = = (X(B-B0)+e)'X(X'X)-1C'1(C1(X'X)-1C'1)-1C1(X'X)-1X'(X(B-B0)+£) = = e'X(X'X)-1CÍ(Ci(X'X)-1CÍ)-1Ci(X'X)-1X'e. Podlá vety 2.9 má Y^P2Y+ rozdelenie Wp(#, E). Podlá vety 2.13 sú Y'PY a Y^|_P2Y+ nezávislé, lebo (i - xíx'xí-^Oxíx'xí-^ííCiíx'xí-^íí-^iíx'x)-^' = 0. Podlá poznámky pod vetou 4.2 má |Y'PY| |y'py + y;p2y+| Wilksovo A(p, n — q, g) rozdelenie. □ Hypotézu Hq : CiB — D teda testujeme pomocou A(p,n — q, g) rozdelenia. Zamietame ju pre malé hodnoty A. Poznámka. Podobne v modeli (7.1), kde /i(X) — q, S je regulárna, môžeme testovat všeobecnejšiu hypotézu H0 : CiBMi = D, kde Mi je známa p x r matica s /i(Mi) — r. Z modelu (7.1) totiž vyplýva model (7.2) Y„,pM1 = X„,gBg,pM1 + en,pMi, v ktorom je matica observácii YMi, matica plánu X a matica "neznámych parametrov" BM1; pričom e'e~Wp(n, E) a podlá vety 2.6 má M.'le'eM.1 ~Wp(r, M^EM^ rozdelenie. (eMi)' je preto náhodný výber z Np(0, M'jSMi) rozdelenia. Teraz už úplne analogicky ako vo vete 7.2 dostávame, že za platnosti Hq : CiBMi — D má |E| |H + E| A(r,n- q,g) rozdelenie, pričom E = (YMi)'P(YMi) a H = [(Y - XB0)Mi]'P2 [(Y-XBo)M!]. 40 7.3. Intervaly spoľahlivosti pre parametre modelu Pomocou kapitoly 7.2 nájdeme intervaly spolahlivosti pre lineárne kombinácie b'C^BA (alebo b'CiBM^A) v prípadoch, že A, b sú pevne dané; A je pevne dané a pre každé b; pre každé A, b. Nech B sú skutočné parametre (ich skutočná hodnota). Položíme tentokrát Y+ = Y XB. Nech A e 1ZP, b e U9 sú pevne dané. Podlá lemy 2.12 b'C^X'X^X'Y+A = ^(b'C^X'X^X'Y+A) = = í;ec(b'Ci(X'X)-1X'eA) = (A' b'C^X'X^X'Xece, pričom cov(vecs) — cov(večY) — EPíř, ~ln,n (pozri kapitolu 7.1). Preto ^(b'CitX'X^X'Y+A) = £>((A' b'C^X'X^X'^ece) = = (A,^b,C1(X,X)-1X.,)('Ľ^Vi(A^JÍ(X.,X.)-1C,1b) = (A'SA)(b'Ci(X'X)-1Cib). Už v kapitole 7.2 sme ukázali, že Y'PY = Y'(I - X(X'X)-1X')Y ~Wp(n- q, E) a teda pre A ^ 0 je podlá vety 2.8 A'Y'PYA 2 A'EA Xn-q' Samozrejme A'Y'PYA 2 _ A'e'PeA _ (eA)'PeA A'EA ~ A'EA ~ A'EA a b'C^X'X^X'Y+A = b'C^X'X^X'eA, pričom sA — Í£[A\ I e'2A \ Nn(0, (AEA)I„itl). Podlá vety 1.10 sú V e'A/ A'EA nezávislé, lebo a'y'pya a b'C^X'X^X'Y+A P (A'EA)lix(X'X)-1C'1b = 0. A'EA' ' 2 Pretože b'C1(X'X)-1X'Y+A = b'C1(X'X)-1X'eA má (b'C^X'X^X'Y+A)2 A'Y'PYA delenie y? a ie nezávislé od —. „ .—, ktoré má yÍ „ rozdelenie. Dostávame, že N^O, (A'EA)(b'C1(X'X)-1C'1b)) rozdelenie, má (b,Ci(x,x)-ic,b)(A,SA) roz" A'EA (b'C^X'X^X'Y+A)2 1 (b'C^X^-iCi^íA'Y'PYA) n-q 41 Pre pevné A g 1ZP, b g 1Z9 [(b'dCX^-^'YA-b'dCX^-^XBA)2 ^ 1 1 (b'CMX'X^CÍbXA'Y'PYA) =„_gŕ1'"-^1 a)f-L a' P jtb'C^X'X^X'YA - b'CiBA)2 ^ S ~^—FlnJí - aJb'CiíX'Xr^bA'Y'PYAl = 1 - a, n — q ' J čo je to isté ako (7.3) pjb'CiBA g (b'Ci(X'X)_1X'YA- 1 -Fi,„_g(l - ^b'C^X^-iCibA'Y'PYA, b'C^X'X^X'YA- n — q — Fi,„_g(l - ^b'C^X^-iCibA'Y'PYA^ j = 1 - a. Poznámka. Tento výsledok dostaneme aj ked uvažujeme regresný model YA = XBA + eA, kde observačný vektor je YA, vektor parametrov je BA a chybový vektor eA (pozri přiklad za vztahom (6.3)). Hladajme teraz intervaly spolahlivosti, ktoré súčasne pokrývajú všetky b'CiBA, kde A g 1ZP je pevné, ale b sa meni a môže byt lubovolné z 1Z9. Budeme potřebovat nasledujúcu lemu. Lema 7.3. Nech Att, Ntt sú symetrické matice, pričom N je pozitivně definitná. Potom a. ) pre lubovolné c g 1Zl, c^O , ^ (c'x)2 / 1 (7.4) max ^—f- = c'N_1c, V ' xeK' x'Nx x^o pričom maximum sa dosahuje pre x = N_1c; b. ) r r, r\ x'ax (7.5 max—— = Ai, xěR x'Nx x^o kde Ai je najväčšia vlastná hodnota matice AN-1. Dôkaz. Schwarzova nerovnost tvrdi, že pre lubovolné dva vektory x, y g TZf piati (x'y)2 x'x y'y. Maticu N môžeme pisat ako N2N2, maticu N-1 môžeme pisat ako N^šN^š (pozri anděl, str. 64). Preto pre vektory u = N 2 x., v = N~žy (x, y lubovolné z R') piati (u'v)2 = (x'A^Aí-iy)2 = (x'y)2 S u'u v'v = x'Nx y'N_1y, 42 čiže pre lubovolné x, y G 72* (7.6) (x'y)2 s x'Nx y'N^y a.) Vezmime lubovolné ceK1, c ^ 0. Pre každé xeR! piati zo (7.6) (c'x)2 ^ x'Nx c'N_1c, čiže pre každé x G 72.*, x^O piati < c'N-c, x'Nx - teda max < c'N^c, xeK' x'Nx -x^o pričom je lahko vidiet, že maximum sa dosahuje pre x — N_1c. b.) Označme Ai ^ a2 ^ ... ^ At korene rovnice |A — AN| — 0. Pretože |A — AN| = 0 IAN" aiiini = 0 |AN_1-AI| = 0, sú Ai,At aj práve všetky vlastné hodnoty matice AN 1. Podia Rao, lc.3 (II) existuje matica R, ktorá je regulárna a piati (7.7) kde A = R 1AR 1 N = R 1 R-1, A = /Ai 0 0 A2 Vo Pretože každý vektor x G 72* môžeme pisat ako R 1u, u G 72* (čiže 72* {R_1u, u G 72*}), platí zo (7.7) u'Au u'R i'AR"*u x'Ax a max-— max-;-— max-— Ai, ues' u'Nu ueK' u'R 1 R % xes' x'x lebo x'Ax _ E*=i A* E; x'x E^2 E^2 a rovnost sa dosahuje napr. pre x — (1, 0,0)'. □ Podlá (7.4) sa maximum výrazu (b'C^X'X^X'Y+A)2 Ai (7.8) (b'CitX'X^CibXA'Y'PYA) 43 dosahuje vzhladom na b (A je pevné, teda Ci(X'X) 1X'Y+A je "fixné") ak b = (C1(X.,X)-1C,1)-1C1(X.,X)-1X.,Y+A a toto maximum je A'Y^lXÍX'XÍ-^iíCiíX'XÍ-^'j-^iíX'XÍ-^'lY+A _ (7.9) AYPYA A'[Y^_P2Y+]A _ AHA AEA ~ AEA lahko sa ukáže (pozri vetu 7.2 a vetu 2.9), že H — Y^_P2Y+ ~ Wp(g, S) (tentokrát Y+ = Y XB), E = Y'PY ~wp(n- q, S), pričom H a E sú nezávislé (podlá vety 2.13). Preto podlá vety 2.8 má AHA 2 A'EA ~ Xa A'EA 2 A'EA a posledné dve náhodné veličiny sú nezávislé. Dostávame, že (7-10) —-^TT~Fg^q. n-q A'HA ~ A'EA Zo vztahov (7.8) a (7.10) dostávame, že pre pevné A e W f (b'C^X'^^X'Y+A)2 ^ (b'C^X'X^CibXA'Y'PYA) - —-—F„ „_„(1 — a) pre každé b e K9 ^ — 1 — a, n — q P jtb'C^X'X^X'YA - b'CiBA)2 5i 5i —9—FqnJ\ - aOb'CiíX'X^C'ibA'Y'PYA pre každé b e TI9 1 = n — q J = 1 — a. Teda intervaly spolahlivosti, ktoré súčasne pokrývajú všetky kombinácie b'CiBA (A pevné, b e 7Z9 sa meni) s pravdepodobnosťou 1 — a sú (7.11) b'CVX'xriX'YAi./——FQnJl - ^b'C^X'X)-^'bA'Y'PYA. y n — q Poznámka. Tento výsledok sa zhoduje s vetou 6.8 (Scheffeho met'oda), ak uvažujeme regresný model YA — XBA + eA. 44 Teraz preberme prípad, keď "sa menia" vektory A aj b (A e 7ZP, b e 7Z9). Podlá (7.5) je AHA max . ,^ . — Ai, AeR' A'EA A^O kde Ai je najväčšia vlastná hodnota matice HE_1. Poznamenávame len, že E ~ Wp(n - q, £) a preto E = Y^^ľ €í€'í, kde £1, £2, £n-q sú nezávislé A^(0, S) rozdelené a podia anděl, str. 121 piati pre n — q ^ p, že P{E je pozitivně deŕinitná matica } — 1. Podlá Kubáček, Kubáčková, Volaufová, str. 445 je H + E pozitivně deŕinitná matica (H je pozitivně semideŕinitná a E je pozitivně deŕinitná matica). Preto A — — 1 nemôže byt vlastným čislom matice HE_1. ak by totiž —1 bola vlastným číslom matice HE1, tak |HE_1+I| = 0, ale |HE_1+I| = |(H+E)E"1| = |H + E||E_1| ^ 0. ďalej máme, že A —1) je vlastným čislom matice HE 1 práve vtedy ak IHE-1 - AI| = 0 ^ [j^Y |HE 1 - AI||E| = 0 ^ I^)P|H-AE| = 0^|HTiI-T^E| = 0^ ^^(l-^-^E^O^lH-^H + E^O^ ^ |(H + E)[(H + E) *H - ^1])! = 0 ^ |(H + E) *H - ^I| = 0, čiže práve vtedy ak ——- ie vlastné čislo matice (H + E)_1H. Funkcia ——- je 1 + A 1 + A rastúca pre A G (—oo, oo), preto ak Ai je najväčšia vlastná hodnota matice HE \ tak -i— je najväčšia vlastná hodnota matice (H + E)_1H. Nasledujúce ekvi- 1 + Ai valencie nám dokazujú, že A je vlastná hodnota E *H práve vtedy ak je vlastnou hodnotou HE_1: (7.12) IHE"1 - AI| = 0 \HE~i — AE*||E~*| = 0 ^=> |E5||E-5he~5 — ai| |e—* | = 0^> |E"5||e-5HE"í -AI||E^| = 0 ^> ^ |E_1H-AI| = 0. ak A je vlastná hodnota matice E *H (teda práve aj matice HE_1), tak zo (7.12) je A > 0. Preto 9 —----najväčšia vlastná hodnota matice (H + E)_1H musi J 1 + Ai J K ' byt v intervale < 0,1). Keď 9 považujeme za náhodnú premennú (najväčšiu vlastnú hodnotu náhodnej matice (H + E)_1H), tak 9 má podlá definície 4.3 9(p, n — q, g) rozdelenie. Piati tiež pre a—kritickú hodnotu rozdelenia 9, t.j. pre také 9a, že P{9 > 9a} — a, že P{9 ^9a} = l-a, čiže p{j^=9Sôa} = l-a, P{\1 S (l + Ai)0Q} = 1-a, 45 P{Ai(l-0Q)SM = l-a, (7.13) P{\1 ^ -rX} = 1 - a (pretože Ai ^ 0, je 9 e< 0,1)). Vrátme sa teraz k (7.9). ak A e TZP, A ^ 0 (pevné), tak (b'C^X'X^X'Y+A)2 _ A'HA t^J*- (b'CitX'X^CibXA'Y'PYA) ~ A'EA (pozri (7.10)). Podlá (7.5) je zase A'HA Aeizp A'EA A^O Ai, kde Ai je najväčšia vlastná hodnota matice EH. Podlá (7.13) P{\i 5=--— } 1 — 9a 1 — a. Preto P jtb'CitX'X^X'YA - b'CiBA)2 S —%-b'Ci(X'X)-1C'1bA'Y'PYA pre každé A e Kp a každé b e U9 J l — 0a J — 1 — a. čiže intervaly spolahlivosti, ktoré súčasne pokrývajú všetky lineárne kombinácie b'CiBA s pravdepodobnosťou 1 — a sú b'C^X'X^X'YA ± J—^-b'C^X^-iCibA'Y'PYA. V 1 — va ak chceme vediet intervaly spolahlivosti pre lineárne kombinácie b'CiBMiA, kde Mi je matica p x r s hodnostou /i(M) — r, postupujeme tak, že vytvoríme model (7.2) a v ňom postupujeme úplne analogicky ako v tejto kapitole. Přiklad (Lamoš, Potocký, str.24-6). V tabulke sú uvedené hmotnost pšenice Yi a hmotnost slamy Zi z i—teho pozemku, i — 1,2, ...,7. x u — 1, i — 1,2,...,7 a X2i znamená množstvo hnojiva použitého na z—tom pozemku. Za predpokladu, že závislost Yi a Zi od x u a aľ2i je lineárna, nájdite regresně koeficienty. Potom testujte hypotézu o tom, či závislost je významná, t.j. overte, či j32 — 72 — 0. Hladina významnosti a — 0.05. pozemok 1 2 3 4 5 6 7 Y 30 35 31 18 28 18 29 Z 35 38 30 20 30 22 28 x2 15 21 18 9 14 9 12 Riešené. Model je Yi = + /32Z2i