MULTIVARIÁTNA ANALÝZA 2 1. Kvadratické formy Defini cia 1.1. Nech Xi,X2, ...,Xn si* nezávislé, N(0,1) rozdelené náhodné veličiny. Potom Y = Xl + X22 + ...+Xl má rozdelenie \n (centrálne chi kvadrát rozdelenie s n stupňami volnosti). Veta 1.2. Nech Y ~ \n- Y m^ hustotu 1 _Ä »_! i ——t—re 2 y 2 * pre y > (J, /»(z/)=<( 2^r(f) 0 máe. Dôkaz. Pozri [Anděl, str. 79]. Poznámka. \n rozdelenie je špeciálny pripad gama rozdelenia s parametrami a, p (a > 0,p > 0), ktoré má hustotu -e_aa;aľp_1 pre x > 0, 0 inde. Označujeme ho r(a,p). Piati, že je rozdelenie T ( (r(p) = /0ooe-^-1dí, P>o.) 1 n} 2 ' 2 J Definícia 1.3. Nech Xi, X2, ...,Xn sú nezávislé, Xi ~ A(/íí, 1), z = 1,2,..., n. iVec/i A = 5^™=i M? 7^ 0- Náhodná veličina Y = Xl + X22 + ...+X2n má necentrálne \2 rozdelenie s n stupňami volnosti a koeficientom necentrality A. Označujeme ho \„ \ - Veta 1.4. Nech Xi, X2, Xn sú nezávislé, Xi ^ N(iii, í), i = 1,2,..., n. Rozdelenie pravdepodobnosti náhodnej veličiny Y = 5^™=i -^i > (teda, Xn \' kde A = 5^ľ=i Ä) závisi len od n a A (nezávisí od jednotlivých fii, \xn). Dôkaz. Pozri [Anděl, str. 80]. Lema 1.5. Nech X ~ N(/i, 1). Náhodná veličina X2 má hustotu e^i + ^ + ^ + ...| t>0, fx-{ť) = \ V 2! 4! 0 t < 0 2 Dôkaz. X2 má distribučnú funkciu pre t > O /Vi 1 , _ ,2 —^e-^i—dx. -Vi v2tt Preto je hladaná hustota pre t > 0 „ . . dFX2Ít) 1 1 (vt-ri2 1 1 <-v-t-rí2 fx2(t) =-= —F^=e 2 H--F^=e 2 = w dí 2VÍ V2ŤF 2VÍ v^ŤF t+u2 2y/tV2ŤŤ V^V* V 2! 4! Samozrejme pre í 5; 0 je /x2 (t) = 0. □ Poznámka. Použili sme vzorec Vy) Jxi(ť)i/>xi(ť)...i/>X2(ť) = it v-fc 2 (1 — 2zí)f (l-2íí)í kde A = Ej=iM2- 4 Veta 1.6. Nech náhodné premenné Xi, X2, ...,Xn sú nezávislé, Xi ~ N{hí, 1), i = 1,2,n. Potom n n i=i i=i má xi g rozdelenie práve vtedy ak (i) 7i = O alebo 1 pre i = 1,2, n, (m,) ak 7i = O =>■ bi = O pre i = 1,2, n, (iii) c=£"=16?. j4ä; síí podmienky (i),(ii) a (iii) splnené, tak k = 5^ľ=i 7i a ^ = 5^ľ=i 7i + Mi)2- Dôkaz. Porovnáme charakteristické funkcie i/>t(-) a iJjy(-), kde y ~ x| s. Piati V>t(*) = £ (eítT) = £ V E"=i 7,^+2 E"=i ^i+=+2Ľ" = i &^ ■ 7j#0 7j#0 7j=0 = £ j=i 7^0 7^0 7j=o 7j#0 n ^(2¥) n ^(7jí), kde & - N (/ii + |, l) ak 7i ^ O a & - iV (/i*, 1) ak 7i = 0. Podlá (1.2) j (1.4) ipT(t)=e v 7^o Jj=0 3 = 1 "i 1j=0 ; 1 n"=i V1 - 2ií7i = l l-2itTj- 7j#0 Podlá (1.3) pre charakteristickú funkciu Y ^ \1 s piati (1.5) Vy(*)= 1 ~ HU VT^Wt 5 Porovnaním (1.4) a (1.5) musí platit pre každé t g 72 n k j=l 1 = 1 a súčasne z čoho je jasne vidiet, ako dokončime dôkaz. □ Veta 1.7. Nech £ ~ -/V„(/x,I), An,n je symetrická, b g 72.™ a c g 72. Náhodná premenná T = A£ + 2b'£ + c má %| á rozdelenie práve vtedy ak (z) A2 = A, (^j b g /i(A), (mj c = b'b. Ak sú podmienky (i),(ii) a (iii) splnené, takk = h(A), S = (b + /x)'A(b + /x). Dôkaz. Pre A existuje ortogonálna matica P, že piati P'AP = A (diagonálna matica), P'P = PP' = I (pozri napr. Rao, str. 62). Potom 77 = P'£ ~ N(P'(j,,ľ) a £ = Pi?. Preto T = £'A£ + 2b'| + c = í?'P'APí? + 2b'Pí? + c = í?'Aí? + 2b'Pí? + c. Podlá vety 1.6 má T rozdelenie x\ s práve vtedy ak (i) {A}ll = 0 alebo 1 pre'í = 1,2, ...,n <ř=> A2 = A ^ P'APP'AP = P'A2P = P'AP <ŕ=> A2 = A, (ii) {A}íí = 0 =>• {P'b}i = 0, čo je ekvivalentné s tým, že P'b g /t(A) •<=> PP'b = b g /i(PP'AP) = m(AP) = n(A), (iii) c = (b'P)P'b = b'b. Ak sú podmienky (i),(ii) a (iii) splnené, potom podlá vety 1.6 k = 5^ľ=i{A}ii = trA = h(A) = ft(PAP') = h(A) a ô = Eľ=i{A}«({p'b>i + ípW02 = (b'P + /x'P)A(P'b + P'/x) = (b + /x)'PAP'(b + /x) = (b + /x)'A(b + /x). □ Veta 1.8. Nech £ ~ Nn(fj,, S), AKí„ je symetrická, b g 72™ a c g 72. Náhodná premenná T = A£ + 2b'£ + c má x2. á rozdelenie práve vtedy ak (i) SASAE = SAS ^ (SA)3 = (SA)2, (ii) S(A/x + b) g /i(SAS), fm) (A/x + b)'S(A/x + b) = /x'A/x + 2b'/x + c. j4ä; síí podmienky (i),(ii) a (iii) splnené, tak k = ír(AS) a S = (b +A/x)'SAS(b + A/x). Dôkaz. Faktorizujeme maticu S = JJ', kde J je typu n x h (E) (pozri Anděl, str. 64). Vieme, že P{£ = /x + Jrj} = 1, kde »7 ~ iVh(s)(0,I) (Anděl, str. 76). Teda T = £'A£ + 2b'í + c = (/x + Jí?)'A(/x + Jí?) + 2b'(/x + Jí?) + c = = í?'J'AJí? + 2(A/x + b)'Jí? + /x'A/x + 2b'/x + c. 6 Podia vety 1.7 má T rozdelenie \\ s Práve vtedy ak (1) J'AJJ'AJ = J'AJ, (2) J'(A/x + b) e m(J'AJ), (3) (A/x + b)'JJ'(A/t + b) = /x'A/x + 2b'/t + c. Ďalej piati J'AJJ'AJ = J'AJ JJ'AJJ'AJJ' = JJ'AJJ', čiže SAEAE = SAS, a tiež naopak SASAS = SAS => JJ'AJJ'AJJ' = JJ'AJJ' => (J'J) ij'.JJ'AJJ'AJJ'.JtJ'J) 1 = (J'J)^J'.JJ'AJJ'.JÍJ'J) \ čiže J'AJJ'AJ = J'AJ, čo dokazuje prvú časí (i). Ekvivalencia SASAS = SAS & (SA)3 = (SA)2 je jedným smerom (=>•) zrejmá. Ku opaku potrebujeme nasledovné tvrdenie (1.6) 3 D„,„ : SAS = SASAD. Tvrdenie (1.6) dokážeme takto: /i(SAS) = /i(JJ'AJJ') ^ /l((J'J)-1J'.JJ'AJJ'.J(J'J)-1) = /i(J'AJ). Podia Anděl, str. 62 je (1.7) /i(J'AJ) = /í(J'AJJ'AJ) ^ /í(JJ'AJJ'AJ) = /í(SASAJ), ale ft(SASAJ) = /í(JJ'AJJ'AJ) ^ ^(J'J^J'.JJ'AJJ'AJ) = (1.8) = /i(J'AJJ'AJ) = /i(J'AJ), a preto z (1.7) a (1.8) /i(SAS) = ft(SASAJ) S /i(SASA) ^ /í(SAS), teda ft(SASA) = ft(SAS). Pretože zrejme /i(SASA) C /i(SAS) a hodnosti matic vytvárajúcich tieto pod-priestory sa rovnajú, piati /i(SASA) = /i(SAS) 7 a dostávame vztah (1.6). Z predpokladu (SA)3 = (SA)2 pomocou (1.6) dostávame SASASAD = SASAD => SASAS = SAS, čim sme (i) úplne dokázali. Podme teraz dokázat (ii), čiže dokázat, že J'(A/t + b) e /z(J'AJ) ^ S (A/x + b) e /x(SAS). Ak J'(A/t + b) e m(J'AJ), tak JJ'(A/t + b) e /t(JJ'AJ) = /t(SAJ) = = /x(SAJJ'AS) = /x(SASAS) = /i(SAS) (podlá (i)). Naopak ak S(A/t + b) e /i(SAS), tak (J'J)-1J'.JJ'(A/t + b) = J'(A/t + b) e /i((J'J)_1 J'.JJ'AJJ') = /i(J'AJJ') C /i(J'AJ), čim sme dokázali (ii). Samozrejme (iii) už máme dokázané (je ekvivalentné (1)). Dôkaz vety už dokončime jednoducho. Podlá vety 1.7 je totiž k = /i(JJ'A) = ír(SA) = ír(AS) a s = ([J'(A/x + b)]'J'AJ[J'(A/x + b)]) = (A/t + b)'SAS(A/t + b). □ Uvedieme bez dôkazu vety o nezávislosti kvadratických foriem. Podrobnejšie pozri [Rao, Mitra, kapitola 9]. Veta 1.9. Nech Y ~ Np(fj,, S) a Qľ = Y'AY, Q2 = Y'BY dve kvadratické formy. Nutné a postačujúce podmienky nezávislosti Qi a Q2 sú (a) SASBS = 0,SASB/t = 0, SBSA/t = 0 a /t'ASB/t = 0, ak A a B sít symetrické, nemusia byt pozitivně semidefinitné, pričom S nemusi byt regulárna. (b) ASBS = 0, ASB/t = 0, ak A je pozitivně semidefinitná. (c) ASB = 0, ak A aj B sú pozitivně semidefinitné. (d) ASB = 0, ak S je regulárna, A a B sú symetrické, nemusia byt pozitivně semidefinitné. Veta 1.10. Nech Y - Np((i, S) a Q1 = Y'AY+2a'Y+a, Q2 = Y'BY+2b'Y+/3 dve lineárne-kvadratické formy. Nutné a postačujúce podmienky nezávislosti Q\ a Q2 sú (a) SASBS = 0, SASb = 0, SBSa = 0 a a'Sb = 0, ak /t = 0, pričom S nemusi byt regulárna. (b) ASB = 0,BSa = 0,ASb = 0 a a'Sb = 0, ak S je regulárna, pričom fi môže byt aj nenulový vektor. 2. WlSHARTOVO ROZDELENIE 2.1. ÚVODNÉ POZNÁMKY A DEFINÍCIA Majme Ui ~ Np(fii,T,), í = 1,2,..., k, ktoré sú nezávislé, S je pozitivně deŕinitná matica. Označme = (Uu, U2i,Upi)'', Y j = (Uj±, Uj2,Ujk)', j = 1,2, ...,p a /Uu U12 U13 ... Ulk\ U2i U22 U2z .. . U2k V Upi up2 up3 ... upk J 8 Teda w iu,:u,:...:u^ Vy'/ ďalej označme / Mu M12 Mi3 M21 M22 M23 p,k Mife\ M2fe (/ii:/x2: ■ ■ ■ :/ife)- V /ipl /ip2 Mp3 ■ ■ ■ Mpfe / Pre pevný vektor 1 G 1ZP sú náhodné veličiny l'Ui - ÍV(1'aií, l'Sl = v?), i = 1,2,A; nezávislé (lebo Uj sú nezávislé). Náhodný vektor Wl = íY^i je lineárna kombinácia normálne rozdelených nezávislých náhodných vektorov, pričom (2.1) iY~Nk(Ml,cTflk,k). ak b = (61, b2, bk)' je vektor konštánt, tak (2.2) U'b = b1\J1 + ... + bkUk - Np(M'b, b'bS). Poznámka. Nech / «ii «21 din \ a2n V »ml Kroneckerov súčin matic A a B je ; B r, s b2i bis\ b2! 1 A (8) B / anB ai2B a2iB &22B \amiB am2B V 6ri ... brs J alnB \ «2«B Vlastnosti Kroneckerovho súčinu matic pozri napr. v [Rao]. ak napišeme "pod seba" stĺpce matice K, povieme, že sme vykonali na matici operáciu vec. Teda U2 » wecW = UfePji = w 9 Ukážte, že (2.3) vedA' = U ~ Nkp(vecM', lkM ® a (2.2) sa dá zapisat ako (2.4) U'b = (b' <8 lp#)vedA' - A/p ((b' <8 IPtP)vecM'', (b' <8 Ip,p)(Ip,p <8 £p,p)(b <8 IPjP)). Poznámka. Nech bi 7^ b2, bi,b2 G 7?.fe. Piati cov(U'b1,U'b2) = (bi<8)Ip,p)(I<8)S)(b2<8)Ip,p) = b^ba ® S = b^E. ak bíb2 = 0, t.j. ak bi a b2 sú ortogonálně, tak W'bi a W'b2 sú neskorelované, t.j. v tomto pripade nezávislé. Podlá predchádzajúcej poznámky iahko dokážeme nasledujúcu lemu Lema 2.1. Ak bi, b2,br, r íí k tvorí ortonormálny systém v lZk, tak Vi =U'b1, ...,Vr=U'br sú navzájom nezávislé a majú normálne rozdelenie, pričom Vj ~ A/ř,(M'bj, S), íahko dostaneme aj nasledujúci dôsledok Dôsledok 2.2. Ak je ortogonálna matica (BB' = B'B = I), tak V j = illiĽ.illHB!.. = W'ÍB}., ~ NpiM'iB}.,,?), 1 = 1,2,..., k a covfV^Vj) = ({B}^ <8)Ip,p)(I(8) S)({B}.j (8)1) = {B}^{B}.j (8 S = 0 pre i ^ j, teda V1,...,Vk sú nezávislé. Definícia 2.3. Združené rozdelenie prvkov matice SPíP = EÍLi U^U^ = U'IÁ sa nazýva Wishartovo rozdelenie s k stupňami volnosti a znači Wp(k, S, M). Ak M = 0, jedná sa o centrálne rozdelenie, označujeme ho Wp(k,'S). Poznámka. (i) {Sk = {Eli UjU;}^ = Eti UuUji = Y[Y3 = {U'U}13, lebo TÍ! S VEti^^ií Eti^2í ... Eti^' / (ii) Pre p = 1 a /zn = /Z12 = ... = Mife = 0 sú Ut = [/H - A/(0, cr2), i =1,2,k nezávislé, U'U = EÍ=i uií ~ ct2)- Pretože ^ - A/(0,1), má EÍ=i ^ - xt rozdelenie a W'W ~ a2x\ rozdelenie. (iii) Pre k ^ p existuje hustota Wp(k,T,,M.) rozdelenia, ináč nie. Dôkaz je naznačený v [Rao, str. 641]. 10 2.2. Niektoré vlastnosti Wishartovho rozdelenia Lema 2.4. Nech S ~ Wp(fc,£,M) a 1 G W je vektor konštánt. Potom ľSl ^xL r A2 = A a v tom prípade r = /i(A) = tr(A). Naopak ak V 1 G W iY'A iY = l'W'AWl ~ cr2x2, čo je podlá vety 1.8 ekvivalentné tomu, že A2 = A, pričom v tom pripade h(A) = tr(A). A je reálna symetrická matica, idempotentná a h(A) = r. Teda A je pozitivně semideŕinitná a preto existuje ortonormálny systém vektorov bi,bk G lZk, že A = Ej=i Ajbjbj, I = Ej=i bjbj (reálne čisla Ai ^ A2 ^ ■■■ ^ Ar > 0 sú vlastné čisla matice A a bi,br im prislúchajúce charakteristické vektory). Z rovnosti A2 = A dostávame r r r j=l s=l t=l A?bibi + AÍ;b2b2 + ...A2brb; = Aibibi + A2b2b2 .ArbrbJ., z čoho vyplýva, že A2 = Aj, i = 1, 2, ...,r, čiže Ai = A2 = ■■■ = Ar = 1 (lebo Aj > 0). Môžeme písat A = Ej=i bjty a tiež W AU = Ej=i "'bj-ty-W = Ej=ivjVj, pričom podlá lemy 2.1 Vj ~ ^(0, S) a Vi, V2,V^ sú nezávislé. Z deŕinicie preto W AU ~ Wp(r, S). □ Veta 2.6. iVec/i S ~ Wp(k, S) a BPjg matica konštánt. Potom B'SB ~ B'SB). Dófcaz. B'SB = B'W'WB, kde /U'iX ' Uí » WB /Vi \ B V V'/ U j ~ Np(0, S) sú nezávislé. Preto /VU /U'lBx ' U2B » Vvl/ VuiB/ má riadky nezávislé, cov(B'Vl, B'Uj) = B'ccw(Uj, U,)B = 0 a B'U4 - iVg(0, B'SB). Platí B'SB = EÍ=i v*vi ~ B'SB) (priamo z definície). □ 11 Dôsledok 2.7. (a) Diagonálne submatice matice S majú tiež Wishartovo rozdelenie, lebo ak g _ / Sn S12 kde Su je rozmeru l x Z, íafc (IM 0)8^ =Sn. f6j afc S ~ Wp(Ä;,I) a afc pre BPjg platíB'B = I, potom B'SB - Wq(k,ľ). Veta 2.8. iVec/i S ~ Wp(/s, S) a a G 7?.p je čafa/ vektor konštánt, že a'Sa 7^ 0. a Sa q Potom ——— ~ vt. a'Sa A/" Dôkaz. Podia vety 2.6 piati, že a'Sa ~ a'Sa), čo znamená podlá poznámky a'Sa (ii) pod definíciou 2.3, že -~ x\- ^ a'Sa Veta 2.9. Nech U1;U„ je náhodný výber z Np(0, S) (žeda U'U ~ Wp(n, S) j, Cn,n Je symetrická matica. Piati U'CU ~ Wp(r, S) <ŕ=> C2 = C. 1/ takomto prípade r = ŕr(C). Dófcaz. Podlá lemy 2.5 je W'CW - Wp(r, S) <ř=> V 1 G iY'C iY - crfxl, {°i = ľSl, iY = U\). V tomto prípade r = h (C) = tr(C). Pretože podlá (2.1) je v v' v 1 Ar ŕn ^ í„ „^T„ 1 7 .vr- .v _, ~2„2 l1 r- 1 _, ,.2 ._ Wp(0,1), je podlá vety 1.7 fif'C iY - ít2*2 & -^=C^= ~ xl ^ C2 = C. V tomto prípade r = /i(C). □ Lema 2.10. Nech Si ~ Wv{n\, S), S2 ~ Wp(n2, S). Si a S2 sw nezávislé. Potom S1 + S2~Wp{n1 + n2,Y,). Dôkaz. Si = WÍWi, S2 = W^W2, kde W{ = i l J, J„ :. W2 = (Uni+i:..;:Uni+na) a U, ~ Np(0,Ti),í = l,2,...,ni + n2 sú nezávislé. Preto ak označime U' = {U[:U'2)p,ni+n2, tak Si + S2 = (U[UX + U'2U2)=U'U ~ Wp(nx +n2,S). □ Veta 2.11. iVec/i Cní„ = C je p.s.d. matica konštánt, Uj ~ -/Vp(0,S),z = 1,2, ...,n nezávislé. Piati, žeU'pnCU ~ Eľ=i ^)> ^e -^1; ■■■i^n sm vlastné čisla matice C a Wj^^l, S),Wpn\í, S) sú nezávislé. Dôkaz. Môžeme pisat C = Eľ=i ^íPíPÍj I = Eľ=iPíPÍ' pričom Ai ^ ... ^ A„ 0 sú vlastné čisla matice C a pi, ...p„ ortonormálně vektory. Teda U'CU = Eľ=i AiWpiP^W = Eľ=i ^víVÍ> kde v» ~ np(°, s) a sú nezávislé (lema 2.1). Z vety 2.9 vieme, že W'p.p^W = V,V^ - W^\í, S). □ 12 Lema 2.12. Pre matice príslušných rozmerov piati (2.5) vecABC = (C ®A)vecB, írAB = (vecB')'vecA. Dôkaz. Lemu dokážte ako cvičenie. Veta 2.13. Nech Uj ~ Np((j,, S), z = 1,2, ...,n, U1; U2,U„ sú nezávislé, Ci,C2 symetrické a idempotentné. U'CiU a WC2W sw nezávislém C1C2 = 0. Dôkaz, ak W'Ci a WC2 sú nezávislé, tak sú nezávislé aj U'C-JA a WC2U. U'Ci a WC2 sú nezávislé práve vtedy ak sú nezávislé JLÍ'Ci a K/C2 a to je práve vtedy ak sú nezávislé vec(TLi'Ci) a vec(VJ'C2), čiže podlá lemy 2.12 ak sú nezávislé vektory (C[ TjvedA' a (C2 I)(I <8> £)(C2 <8> I) = (CiC2® S) = 0, sú W'Ci a WC2 nezávislé. Teraz už lahko dokončime dôkaz. □