PSY252
Statistická analýza dat v psychologii II
Víceúrovňový lineární model
(multilevel, hierarchical, mixed, random-coefficients model)

Víceúrovňová data
ID
Třída
Výkon
100
1
11
…
1
20
120
1
31
121
2
40
..
2
52
150
2
63
151
3
20
…
3
40
180
3
30
181
4
100

Víceúrovňová data
ID
Třída
Výkon
100
1
11
…
1
20
120
1
31
121
2
40
..
2
52
150
2
63
151
3
20
…
3
40
180
3
30
181
4
100

Víceúrovňová data – vnořené (nested) faktory
oUrčité úrovně faktorů nižší úrovně se vyskytují pouze v jediné úrovni faktorů vyšší úrovně
nProto též hierarchická data
nKonkrétní třída je jen v jedné škole, žák je členem jen jedné třídy
oProtikladem pro vnořené faktory jsou zkřížené (crossed) faktory – vyskytují se všechny kombinace
jejich hodnot

Příklady víceúrovňových dat
oŽáci(L1) ve třídách (L2) ve školách (L3) v okresech (L4) … oÚčastníci experimentu (L1) testovaní
po skupinkách (L2), popř. na různých místech (L2 či L3)
o…
oOpakovaná měření (L1) týchž lidí (L2)

Víceúrovňovost způsobuje závislost reziduí
oPokud proměnná definující skupiny na vyšší úrovni jakkoli souvisí s modelovanou charakteristikou,
její ignorování způsobuje to, že rezidua lidí ve skupině si budou podobnější než rezidua lidí
napříč skupinami.
o
oMůže mít podobu třeba rozdílných průměrů skupin nebo rozdílných efektů prediktoru ba závislou v
různých skupinách







Rezidua
červených jsou většinou záporná, šedých většinou kladná,
černých +-

Chceme tedy zohlednit to, že vztahy, které zjišťujeme se mohou lišit napříč L2 skupinami
oLineární regrese, jak ji známe
oYi = b0 +b1X1i +b2X2i + ei
nb0, b1, b2 platí pro všechny
nPro predikci dosazujeme každému člověku i jeho hodnoty X1 a X2
nb0, b1, b2 jsou fixované koeficienty/efekty
o

Chceme tedy zohlednit to, že vztahy, které zjišťujeme se mohou lišit napříč L2 skupinami
oJak bychom mohli zajistit, aby se b0, b1 nebo b2 mohly lišit napříč skupinami?
oYi = b0j +b1X1i +b2X2i + ei
o   b0j =b00 + u0j
nPro predikci dosazujeme každému člověku i jeho hodnoty X1 a X2 , ale b0 použijeme takové, které
platí ve skupině, co které člověk i patří
nb1, b2 jsou fixované koeficienty/efekty
nb0 je náhodný koeficient/efekt
n
o

Víceúrovňový model zohledňuje závislost reziduí danou členstvím ve skupinách
oYi = b0 +b1Xi + ei
o
oYij = b0j +b1jXij + eij           <1. úroveň>
ob0j = b00 + u0j <2. úroveň>
o
o
o
Průsečík ve
 skupině j
Průměrný
průsečík
Odchylka průsečíku
skupiny j od
 průměrného průsečíku
Odchylky …. rozptyl
b0 se stává náhodným koeficientem (random coefficient)

Víceúrovňový model zohledňuje závislost reziduí danou členstvím ve skupinách
oYij = b0j +b1jXij + eij          <1. úroveň>
ob0j = b00 + u0j <2. úroveň>
o
oAlternativně (dosazením sloučeno)
oYij = (b00 + u0j) +b1jXij + eij
oYij = b00            +b1jXij + (eij + u0j)
o
o
o

Random-intercepts model
Yij = b00 +b1jXij + (eij + u0j)
oY predikovaná proměnná
oEfekty (fixed effects)
ob00 průměrný průsečík napříč skupinami
ob1j efekt pro všechny skupiny (není random)
oStruktura reziduí (kovarianční parametry)
oVar(u0j) rozptyl průsečíků,  u0j ~N(0, s2u0)
oVar(eij) rozptyl reziduí,  eij ~N(0, s2e)
oModel má 4 odhadované parametry.
o

Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oAno, mB-mG=-5,5 (t(1903)=5,57, d≈0,25)
o
o
o
o

REGRESSION
  /DESCRIPTIVES MEAN STDDEV CORR SIG N
  /MISSING LISTWISE
  /STATISTICS COEFF OUTS CI(95) R ANOVA
  /CRITERIA=PIN(.05) POUT(.10)
  /NOORIGIN
  /DEPENDENT test
  /METHOD=ENTER gender.

Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oAno, mB-mG=-5,5 (t(1903)=5,57, d≈0,25)
oJenže různé školy se liší jednak průměrnou výkonností, tak zastoupením pohlaví.
o
o
o
o

REGRESSION
  /DESCRIPTIVES MEAN STDDEV CORR SIG N
  /MISSING LISTWISE
  /STATISTICS COEFF OUTS CI(95) R ANOVA
  /CRITERIA=PIN(.05) POUT(.10)
  /NOORIGIN
  /DEPENDENT test
  /METHOD=ENTER gender.







Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oAno, mB-mG=-5,5 (t(1903)=5,57, d≈0,25)
oJenže různé školy se liší jednak průměrnou výkonností, tak zastoupením pohlaví.
oPokud by náhodou bylo ve školách s vysokou výkonností více kluků, mohli by kluci vyjít lépe jen
díky tomu.
oNavíc, Durbin-Watson = 1,4
o
o
o
o

REGRESSION
  /DESCRIPTIVES MEAN STDDEV CORR SIG N
  /MISSING LISTWISE
  /STATISTICS COEFF OUTS CI(95) R ANOVA
  /CRITERIA=PIN(.05) POUT(.10)
  /NOORIGIN
  /DEPENDENT test
  /METHOD=ENTER gender.




Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oMultilevel model, kde je zohledněno to, jaké školy žáci pochází
oRandom-intercept model = předpokládáme, že
nškoly se liší průměrnou výkonností v testu (random Intercept)
nrozdíl mezi pohlavími je ve všech školách stejný (fixed Slope/effect)
nID jsou vnořena do škol – škola je L2 proměnná
oTestij = b0Š +b1Genderi + eiŠ             <1. úroveň>
ob0Š = b00 + u0Š                <2. úroveň>
o
o
o
o
o
o

REGRESSION
  /DESCRIPTIVES MEAN STDDEV CORR SIG N
  /MISSING LISTWISE
  /STATISTICS COEFF OUTS CI(95) R ANOVA
  /CRITERIA=PIN(.05) POUT(.10)
  /NOORIGIN
  /DEPENDENT test
  /METHOD=ENTER gender.
MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=gender | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=INTERCEPT | SUBJECT(School) COVTYPE(VC).

Specifikace ML modelu v SPSS
oAnalyze -> Mixed models -> Linear
o1. okno: L2 proměnnou do Subjects
nSchool do Subjects
o2. okno
nZP do Dependent variable, kategorické do Factors, spojité so Covariates
nFixed:
oVložit všechny prediktory (a případné interakce), zaškrtnout Include intercept
nRandom:
oCovariance type: VC, nebo UN
oZaškrtnutím „Include intercept“, má-li být průsečík random
oTy efekty, které mají být random, vložíme do Model
oL2 proměnnou dáme do Combinations
nEstimation: ML
o
o

Když neuvedeme nějaký efekt (vč. Průsečíku) jako fixed (ale jen jako random), tak tím vlastně
říkáme, že průměrný efekt je 0. To, až na výjimky, nechceme.

oPrůměr výkonu kluků v průměrné škole je 79,18
oRozdíl mezi pohlavími korigovaný na průměrnou úroveň škol ji -3,99   (-5,5 před korekcí).
o
oRezidua mají M=0 a SD=17,84
oŠkolní průměrné výkony kluků  mají normální rozložení s průměrem 79,18 a SD=11,19
oŠkolní průměrné výkony holek jsou o 3,99 nižší.
o

Nepodmíněný model průměrů
Unconditional means model, variance components
oModel bez prediktorů zohledňující strukturu dat
oPouze dělí rozptyl na reziduální rozptyl a rozptyl průměrů skupin
nICC=rozptyl průměrů/(rozptyl průměrů+reziduální rozptyl)
nICC= jaká část rozptylu výkonů je vysvětlitelná pouze rozdíly mezi školami?
o3 parametry – průměrný průměr škol (b00), rozptyl průměrů škol, rozptyl reziduí (variabilita
uvnitř škol)
oTestij = b0Š + eiŠ             <1. úroveň>
ob0Š = b00 + u0Š        <2. úroveň>
o
o
ODBOČKA

MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=INTERCEPT | SUBJECT(School) COVTYPE(VC).

Random-intercepts model
oPředpokládá,
nže jednotky vyššího řádu se liší svým průměrem,
oa že průměry  mají normální rozložení,
nže efekty prediktorů jsou stejné (fixed) napříč všemi jednotkami vyššího řádu
nže rezidua jsou napříč jednotkami vyššího řádu stejná
o

Random-slopes model
oPředpokládá,
nže všechny jednotky vyššího řádu mají stejný průměr,
nže efekt prediktoru je v každé jednotce vyššího řádu jiný a
nže tyto efekty mají nějakou průměrnou hodnotu a nějakou variabilitu
o

Random-slopes model
oYij = b0 +b1jXij + eij          <1. úroveň>
ob1j = b10 + u1j <2. úroveň>
o
oAlternativně (dosazením sloučeno)
oYij = b0 +(b10 + u1j)Xij + eij
oYij = b0 + b10Xij           + (eij + u1j)
o
oJen zřídka má smysl předpokládat, náhodné efekty při fixovaných průsečících!
o
o

Random intercept and slope model
oPředpokládá,
ože jednotky vyššího řádu mají různé průměry(průsečíky),
ože efekt prediktoru je v každé jednotce vyššího řádu jiný,
ože tyto průsečíky i efekty mají nějakou průměrnou hodnotu a nějakou variabilitu napříč skupinami,
ože reziduální rozptyl je napříč skupinami konstantní.
oLze uvažovat i to, že mezi hodnotou průsečíku a efektu je nějaká korelace.
o
o
o

Random intercept and slope model
oYij = b0j +b1jXij + eij          <1. úroveň>
ob0j = b00 + u0j <2. úroveň>
ob1j = b10 + u1j <2. úroveň>
oAlternativně (dosazením sloučeno)
oYij = b00 +b10Xij + (eij + u0j + u1j)
o
o

Random intercept and slope model
Yij = b0 +b1Xij + (eij + u0j + u1j)
oEfekty (fixed effects)
ob00 průměrný průsečík napříč skupinami
ob10 průměrný efekt pro všechny skupiny
oStruktura reziduí (kovarianční parametry)
oVar(u0j) rozptyl průsečíků,  u0j ~N(0, s2u0)
oVar(u1j) rozptyl efektů,  u1j ~N(0, s2u1)
oVar(eij) rozptyl reziduí,  eij ~N(0, s2e)
oModel má 5 odhadovaných parametrů.
oŠestý Cov(u0j, u1j) kovariance průsečíků s efekty
o

Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oZvažme, zda se mohou lišit i efekty napříč školami
o
oTestiŠ = b00 +b10GenderiŠ + (eij + u0Š + u1Š)
o
o
o
o

MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept gender | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=intercept gender | SUBJECT(School) COVTYPE(VC).
MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept gender | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=intercept gender | SUBJECT(School) COVTYPE(UN).

Příklad – Skotské zkoušky
oTesti = (79±12)–(4,0±2,7)Genderi ±17,8
o
oJsou-li kluci 0 a holky 1, pak…
oVýkon průměrného kluka v průměrné škole je 79, přičemž školy se liší tak, že výkony průměrných
kluků mají SD=12.
oPrůměrná holka má v průměrné škole o 4,0 bodu míň.
oI když napříč školami mají rozdíly mezi průměrnou holkou a průměrným klukem SD=2,7, rozptyl efektů
není signifikantně odlišný od 0. oČím vyšší je průměr kluků ve škole, tím nižší (větší) je rozdíl
jejich průměru od průměru holek, r=-0,3
o
o

Shrnutí
oMultilevel modely nám umožňují modelovat to, že některé parametry regresního modelu se mohou pro
různé skupiny lišit. oOd moderace se to liší tím, že různost parametrů má podobu normálního
rozložení. Nezajímáme se o hodnoty pro jednotlivé skupiny – ze vzorku skupin usuzujeme na populaci
skupin oS tím je spojen předpoklad, že vzorek jednotek druhé úrovně (skupin) je reprezentativním
vzorkem populace skupin

o



o



o



Prediktor na úrovni skupin
oZatím jsme měli prediktor na L1 - pohlaví
oDo modelu lze vložit i prediktor, který vysvětluje rozdíly mezi skupinami. oNapříklad „nóblóznost“
spádové oblasti školy – nbrhd
o
o

MIXED test WITH gender nbrhd
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept gender nbrhd | SSTYPE(3)
  /METHOD=REML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=INTERCEPT | SUBJECT(School) COVTYPE(VC).

Random intercept and slope model
s prediktorem na úrovni skupin G
oYij = b0j +b1jXij + eij          <1. úroveň>
ob0j = b00 + b01Gij + u0j <2. úroveň>
ob1j = b10 + b11Gij + u1j <2. úroveň>
o
oG může být prediktorem náhodného průsečíku, směrnice, nebo obojího
oJeho zařazení pak vysvětluje rozptyl daného náhodného parametru
o

Příklad – Skotské zkoušky
oLiší se holky a kluci ve výsledku testů?
oA liší se i efekt školy, pokud je v chudém sousedství?
o
oTestij = b0Š +b1Genderi + eiŠ                <1. úroveň>
o            b0Š = b00 + b01 NghbrŠ +u0Š       <2. úroveň>
o
oTestiŠ = b00 + b01 NghbrŠ +b10GenderiŠ + (eij + u0Š + u1Š)
o
o
o
o

MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept gender | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=intercept gender | SUBJECT(School) COVTYPE(VC).
MIXED test WITH gender
  /CRITERIA=CIN(95) MXITER(100) MXSTEP(10) SCORING(1) SINGULAR(0.000000000001) HCONVERGE(0,
    ABSOLUTE) LCONVERGE(0, ABSOLUTE) PCONVERGE(0.000001, ABSOLUTE)
  /FIXED=intercept gender | SSTYPE(3)
  /METHOD=ML
  /PRINT=DESCRIPTIVES  SOLUTION TESTCOV
  /RANDOM=intercept gender | SUBJECT(School) COVTYPE(UN).

o



Shoda modelu s daty
oPodobně jako u logistické regrese vyjadřují celkový fit modelu informační kritéria založená na
-2LL
nAIC, AICC, CAIC, BIC
oVnořené modely lze srovnávat LRT – rozdíl -2LL dvou vnořených modelů má chí-kvadrát rozložení s df
rovným rozdílu v počtu parametrů mezi srovnávanými modely (nefunguje s REML)

Multilevel alternativy R2
oICC – vnitrotřídní korelační koeficient
nRandom means model dělí rozptyl na reziduální rozptyl a rozptyl  způsobený rozdílnými průměry
skupin
nICC=rozptyl interceptů/(rozptyl interceptů+reziduální rozptyl)
nICC= jaká část rozptylu výkonů je vysvětlitelná pouze rozdíly mezi L2 skupinami (př. školami)
oKdyž přidáme L1 prediktor, měl by klesnout reziduální rozptyl à R2within=1-(s2e (s prediktorem)/
s2e(bez prediktoru))
nInterpretujeme jako R2 v běžné regresi
oL2 prediktor by měl snížit rozptyl náhodného efektu à R2between=1-(s2u (s prediktorem)/ s2u(bez
prediktoru))
nInterpretujeme: prediktor vysvětlil x% rozptylu průsečíků
o

Typy kovariančních struktur
oVe výše popsaných modelech jsou smysluplné jen 2 volby a hraje to roli, jen, když máme v modelu
více než 1 náhodný koeficient oVC – Variance components – náhodné koeficienty nekorelují oUN –
Unstructured – náhodné koeficienty mohou korelovat
Čtěte opatrně, Andy tu nejistě mlží. (i v 5. vydání)

Předpoklady
oJako lineární regrese
oJe-li závislost reziduí modelovatelná (=je to skupinami), vyléčí se tím problém
o
oDostatečný počet jednotek i na druhé a vyšší úrovni (přibližně >20) pro dobrý odhad s2u
o

o



Longitudinální, repeated data
o1. úroveň: měření
o2. úroveň: jednotlivec
oČas, či pořadí měření je proměnnou na 1. úrovni.
nČas může nabývat různé hodnoty pro různé lidi v různé časy měření
oCharakteristiky jednotlivců jsou proměnnými na 2. úrovni.
oLATENT GROWTH-CURVE MODELING
o

ŠIROKÁ           VS.      DLOUHÁ DATA
ID
Stres
EDA
101A
Klid
1
101A
Stres1
2
101A
Stres2
3
102A
Klid
4
102A
Stres1
5
102A
Stres2
6
…
199A
Klid
5
199A
Stres1
3
199A
Stres2
5
ID
EDA klid
EDA stres1
EDA stres2
101A
1
2
3
102A
4
5
6
…
199A
5
3
5
•

Převod širokých dat na dlouhá a zpět
oSPSS >> Data >> Restructure (VARSTOCASES)
o
o