Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Matematika III – 13. týden
Lineární modely
Jan Slovák
Masarykova univerzita
Fakulta informatiky
9.12. - 13.12. 2014
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Obsah přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Kde je dobré číst?
Karel Zvára, Josef Štěpán, Pravděpodobnost a matematická
pravděpodobnost statistika, Matfyzpress, 2006, 230pp.
J. Slovák, M. Panák, M. Bulant, Matematika drsně a svižně,
Muni Press, Brno 2013, v+773 s., elektronická edice
www.math.muni.cz/Matematika_drsne_svizne
Marie Budíková, Štěpán Mikoláš, Pavel Osecký, Teorie
pravděpodobnosti a matematická statistika (sbírka příkladů),
Masarykova univerzita, 3. vydání, 2004, 117 stran, ISBN
80-210-3313-4.
Marie Budíková, Tomáš Lerch, Štěpán Mikoláš, Základní
statistické metody, Masarykova univerzita, 2005, 170 stran,
ISBN 80-210-3886-1.
Riley, K.F., Hobson, M.P., Bence, S.J. Mathematical Methods
for Physics and Engineering, second edition, Cambridge
University Press, Cambridge 2004, ISBN 0 521 89067 5, xxiii
+ 1232 pp.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Uvažujme náhodný vektor Y = (Y1, . . . , Yn)T a předpokládejme,
že platí
Y = X · β + σZ,
kde X = (xij ) je konstantní matice reálných čísel s n řádky a k < n
sloupci a hodností k, β je neznámý konstantní vektor k parametrů
modelu, Z je náhodný vektor, jehož n komponent má rozdělení
N(0, 1), a σ > 0 je neznámý kladný parametr modelu. Hovoříme o
lineárním modelu s úplnou hodností.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Uvažujme náhodný vektor Y = (Y1, . . . , Yn)T a předpokládejme,
že platí
Y = X · β + σZ,
kde X = (xij ) je konstantní matice reálných čísel s n řádky a k < n
sloupci a hodností k, β je neznámý konstantní vektor k parametrů
modelu, Z je náhodný vektor, jehož n komponent má rozdělení
N(0, 1), a σ > 0 je neznámý kladný parametr modelu. Hovoříme o
lineárním modelu s úplnou hodností.
V praktických problémech zpravidla známe veličiny xij a snažíme se
odhadnout nebo predikovat hodnotu Y .
Chceme přitom mít jasno o pravděpodobnostních charakteristikách
těchto odhadů.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Například xij může ve vztahu Y = X · β + σZ vyjadřovat
hodnocení i–tého studenta v j–tém semestru (j = 1, 2, 3) z
matematiky a chceme vědět, jak tento student asi dopadne ve
čtvrtém semestru. K tomu potřebujeme znát vektor β (zatímco σZ
vystihuje náhodná vychýlení ve sledovaném modelu). Vektor β
odhadneme na základě úplných pozorování, tj. ze znalosti hodnot
Y (např. z výsledků v přechozích letech).
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Například xij může ve vztahu Y = X · β + σZ vyjadřovat
hodnocení i–tého studenta v j–tém semestru (j = 1, 2, 3) z
matematiky a chceme vědět, jak tento student asi dopadne ve
čtvrtém semestru. K tomu potřebujeme znát vektor β (zatímco σZ
vystihuje náhodná vychýlení ve sledovaném modelu). Vektor β
odhadneme na základě úplných pozorování, tj. ze znalosti hodnot
Y (např. z výsledků v přechozích letech).
K odhadu vektoru β se často používá metoda nejmenších
čtverců. To znamená, že chceme najít odhad b ∈ Rk pro vektor β
tak, aby vektor ˆY = Xb minimalizoval druhou mocninu délky
vektoru Y − Xβ.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Například xij může ve vztahu Y = X · β + σZ vyjadřovat
hodnocení i–tého studenta v j–tém semestru (j = 1, 2, 3) z
matematiky a chceme vědět, jak tento student asi dopadne ve
čtvrtém semestru. K tomu potřebujeme znát vektor β (zatímco σZ
vystihuje náhodná vychýlení ve sledovaném modelu). Vektor β
odhadneme na základě úplných pozorování, tj. ze znalosti hodnot
Y (např. z výsledků v přechozích letech).
K odhadu vektoru β se často používá metoda nejmenších
čtverců. To znamená, že chceme najít odhad b ∈ Rk pro vektor β
tak, aby vektor ˆY = Xb minimalizoval druhou mocninu délky
vektoru Y − Xβ.
To je ale jednoduchá úloha lineární algebry a víme, že jde o nalezení
kolmého průmětu vektoru Y do podprostoru X ⊂ Rn
generovaném sloupci matice X.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Minimalizujeme přitom funkci
Y − Xβ 2
=
n
i=1
Yi −
k
j=1
xij βj
2
.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Minimalizujeme přitom funkci
Y − Xβ 2
=
n
i=1
Yi −
k
j=1
xij βj
2
.
Velikost Y − ˆY 2 nazýváme reziduální součet čtverců, zpravidla
se značí RSS. Definujeme také reziduální rozptyl jako
S2
=
Y − Xb 2
n − k
.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Minimalizujeme přitom funkci
Y − Xβ 2
=
n
i=1
Yi −
k
j=1
xij βj
2
.
Velikost Y − ˆY 2 nazýváme reziduální součet čtverců, zpravidla
se značí RSS. Definujeme také reziduální rozptyl jako
S2
=
Y − Xb 2
n − k
.
Víme, že ˆY = Xb a že, díky našemu přepokladu o maximální
hodnosti X, je matice XT X invertibilní. Můžeme proto rovnou
spočíst b = (XT X)−1XT ˆY .
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Theorem
Nechť A je libovolná matice typu m/n nad reálnými nebo
komplexními skaláry. Pak existují čtvercové unitární matice U a V
dimenzí m a n, a reálná diagonální matice s nezápornými prvky D
dimenze r, r ≤ min{m, n}, takové, že
A = USV ∗
, S =
D 0
0 0
a r je hodnost matice AA∗. Přitom je S určena jednoznačně až na
pořadí prvků a prvky diagonální matice D jsou druhé odmocniny
vlastních čísel di matice AA∗. Pokud je A reálná matice, pak i
matice U a V jsou ortogonální.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Definition
Nechť A je reálná matice typu m/n a nechť
A = USV ∗
, S =
D 0
0 0
je její singulární rozklad (zejména D je invertibilní). Matici
A†
:= VS U∗
, S =
D−1 0
0 0
nazýváme pseudoinverzní matice k matici A.
Jak ukazuje následující věta, je pseudoinverze důležité zobecnění
pojmu inverzní matice, včetně přímočarých aplikací.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Theorem
Nechť A je reálná nebo komplexní matice typu m/n. Pak pro její
pseudoinverzní matici platí:
1 Je-li A invertibilní (zejména tedy čtvercová), pak
A†
= A−1
.
2 Pro pseudoinverzi A† platí, že A†A i AA† jsou hermiteovské (v
reálném případě symetrické) a
AA†
A = A, A†
AA†
= A†
.
3 Pseudoinverzní matice A† je čtyřmi vlastnosti z předchozího
bodu určena jednoznačně. Pokud tedy nějaká matice B typu
n × m splňuje, že BA i AB jsou hermiteovské, ABA = A a
BAB = B, pak B = A†.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Theorem (Pokračování)
1 Je-li A matice systému lineárních rovnic Ax = b, s pravou
stranou b ∈ Km, pak vektor y = A†b ∈ Kn minimalizuje
velikost Ax − b pro všechny vektory x ∈ Kn.
2 Systém lineárních rovnic Ax = b s b ∈ Km je řešitelný, právě
když platí AA†b = b. V tomto případě jsou všechna řešení
dána výrazem
x = A†
b + (E − A†
A)u,
kde u ∈ Kn je libovolné.
Z bodu (4) předchozí věty plyne, že matice AA† je maticí kolmé
projekce z vektorového prostoru Rn, kde n je počet řádků matice A
na podprostor generovaný sloupci matice A (tato interpretace má
samozřejmě smysl pouze pro matice mající více řádků než sloupců).
Dále pro matice A, jejichž sloupce tvoří nezávislé vektory, má smysl
výraz (AT A)−1AT a není těžké ověřit, že tato matice splňuje
všechny vlastnosti z (1) a (2) z předchozí věty, jedná se tedy
o pseudoinverzi k matici A.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Z předchozí věty vyplývají také následující vlastnosti pseudoinverze:
Pro všechny matice A platí (A†)† = A,
pokud má matice A, typu m × n, plnou řádkovou hodnost m,
pak A† = A∗(AAT )−1,
pokud má matice A, typu m × n, plnou sloupcovou hodnost n,
pak A† = (AT A)−1A∗.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Jestliže má náhodný vektor Z = (Z1, . . . , Zn) nezávislé komponenty
Zi ∼ N(0, 1), je jeho varianční matice jednotkovou maticí, tj.
var Z = In.
Uvažme vektor U = a + BZ, kde a je libovolný konstantní vektor
v Rm a B je konstantní matice typu (m, n).
Víme E U = a a var U = V = BBT (protože varianční matice Z je
identická). Je tedy tato varianční matice vždy pozitivně
semidefinitní.
Říkáme, že náhodný vektor U má mnohoměrné normální
rozdělení Nm(a, V ).
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Pro libovolné mnohoměrné normální rozdělení Nm(a, V ) znovu
vezmeme afinní transformaci
W = c + DU
s vektorem konstant c ∈ Rk a libovolnou konstantní maticí typu
(k, m). Přímým výpočtem
W = c + D(a + BZ) = (c + Da) + (DB)Z,
což je samořejmě náhodný vektor W ∼ Nk(c + Da, DBT BDT ).
Chová se tedy kovarianční matice mnohoměrného normálního
rozdělení při afinních transformacích jako kvadratická forma.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Dokázali jsme, že jakákoliv linární kombinace komponent složek
náhodného vektoru s mnohoměrným normálním rozdělením je
náhodná veličina s normálním rozdělením. Stejně je každý vektor
vzniklý výběrem jen některých komponent vektoru U opět
náhodným vektorem s mnohoměrným normálním rozdělením.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Theorem
V lineárním modelu Y = Xβ + σZ platí pro vhodné matice P a R:
(1) Pro odhad ˆY platí
ˆY = Xβ + σPPT
Z, ˆY ∼ N(Xβ, σ2
PPT
).
(2) Reziduální součet čtverců RSS a normovaný čtverec velikosti
rezidua mají rozdělení:
Y − ˆY ∼ N(0, σ2
RRT
), Y − Y 2
/σ2
∼ χ2
n−k .
(3) Náhodná veličina b = β + σ(PT X)−1PT Z má rozdělení
b ∼ N(β, σ2
(XT
X)−1
).
(4) Pro reziduální rozptyl platí (n − k)S2/σ2 ∼ χ2
n−k.
(5) Střední hodnota reziduálního rozptylu je E S2 = σ2.
(6) Veličiny b a S2 jsou nezávislé.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Plán přednášky
1 Literatura
2 Lineární modely
3 Vzpomníky na lineární algebru
4 Vícerozměrné Nm(µ, V )
5 Hlavní věta
6 Použití
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Úplně nejjednodušší je to v případě jediného výběru, kdy testujeme,
zda jediný parametr β je roven dané hodnotě β0.
Volíme matici X s jediným sloupcem plným jedniček. Výraz
Y = Xβ + σZ
komponenty v Y jsou nezávislé veličiny Yi ∼ Nβ, σ2, jde o náhodný
výběr rozsahu n z normálního rozdělení.
Obecná věta dává odhad
b = (XT
X)−1
XT
Y =
1
n
n
i=1
Yi = ¯Y
S2
=
1
n − 1
Y − X ¯Y 2
=
1
n − 1
n
i=1
(Yi − ¯Y )2
,
což jsou právě výběrový průměr a rozptyl, se kterými jsme již
počítali.
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
Zajímá nás přitom statistika
T =
¯Y − β0
S
√
n
Testování hypotézy β = β0 se nazývá jednovýběrový t-test. Na
hladině α hypotézu zamítáme, když je |T| ≥ tn−1(α).
Literatura Lineární modely Vzpomníky na lineární algebru Vícerozměrné Nm(µ, V ) Hlavní věta Použití
párový t-test
Je vhodný na případy, kdy testujeme dvojice náhodných vektorů
W1 = (Wi1) a W2 = (Wi2), o rozdílech jejichž komponent
Yi = Wi1 − Wi2 víme, že mají rozdělení N(β, σ2). Potřebujeme
navíc, aby byly veličiny Yi nezávislé (což neříká, že musí být
nezávislé jednotlivé dvojice Wi1 a Wi2!). Můžeme si představit
třeba hodnocení dvou různých vyučujících tímž studentem.
Testujeme hypotézu, že pro všechna i je E Wi1 = E Wi2. Používáme
statistiku
T =
¯W1 − ¯W2
S
√
n.