3. Bodové a intervalové odhady parametrů a parametrických funkcí 3.1. Motivace: Vycházíme z náhodného výběru X[1], ..., X[n] z rozložení L( ), které závisí na parametru . Parametr neznáme a chceme ho odhadnout pomocí daného náhodného výběru (případně chceme odhadnout nějakou parametrickou funkci h( )). Bodovým odhadem parametrické funkce h( ) je statistika T[n] = T(X[1], ..., X[n]), která nabývá hodnot blízkých h( ), ať je hodnota parametru jakákoliv. Existují různé metody, jak konstruovat bodové odhady (např. metoda momentů či metoda maximální věrohodnosti) a také různé typy bodových odhadů. Omezíme se na odhady nestranné, asymptoticky nestranné a konzistentní. Intervalovým odhadem parametrické funkce h( ) rozumíme interval (D, H), jehož meze jsou statistiky D = D(X[1], ..., X[n]), H = H(X[1], ..., X[n]) a který s dostatečně velkou pravděpodobností pokrývá h( ), ať je hodnota parametru jakákoliv. 3.2. Definice: Definice parametrického prostoru a parametrické funkce Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ). Množina všech hodnot, jichž může parametr nabývat, se nazývá parametrický prostor a značí se Ξ. Libovolná funkce h( ) se nazývá parametrická funkce. 3.3. Definice: Definice nestranného odhadu, lepšího nestranného odhadu, posloupnosti asymptoticky nestranných odhadů a konzistentních odhadů Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), h( ) je parametrická funkce, T, T[1], T[2], ... jsou statistiky. a) Řekneme, že statistika T je nestranným odhadem parametrické funkce h( ), jestliže E(T) = h( ). (Význam nestrannosti spočívá v tom, že odhad T nesmí parametrickou funkci h( ) systematicky nadhodnocovat ani podhodnocovat. Není-li tato podmínka splněna, jde o vychýlený odhad.) b) Jsou-li T[1], T[2] nestranné odhady téže parametrické funkce h( ), pak řekneme, že T[1] je lepší odhad než T[2], jestliže D(T[1]) < D(T[2]). c) Posloupnost se nazývá posloupnost asymptoticky nestranných odhadů parametrické funkce h( ), jestliže (Význam asymptotické nestrannosti spočívá v tom, že s rostoucím rozsahem výběru klesá vychýlení odhadu.) d) Posloupnost se nazývá posloupnost konzistentních odhadů parametrické funkce h( ), jestliže (Význam konzistence spočívá v tom, že s rostoucím rozsahem výběru klesá pravděpodobnost, že odhad se bude realizovat „daleko“ od parametrické funkce h( ).) 3.4. Důsledek: Vztah mezi jednotlivými typy bodových odhadů Lze dokázat, že z nestrannosti odhadu vyplývá jeho asymptotická nestrannost a z asymptotické nestrannosti vyplývá konzistence, pokud posloupnost rozptylů odhadu konverguje k nule. 3.5. Věta: Věta o vlastnostech bodových odhadů odvozených z jednoho náhodného výběru. Nechť X[1], ..., X[n ]je náhodný výběr z rozložení se střední hodnotou μ, rozptylem σ^2 a distribuční funkcí Φ(x). Nechť n ≥ 2. Označme M[n] výběrový průměr, S[n]^2 výběrový rozptyl a pro libovolné, ale pevně dané označme F[n](x) hodnotu výběrové distribuční funkce. Pak pro libovolné hodnoty parametrů μ, σ^2 a libovolnou hodnotu distribuční funkce Φ(x) platí: a) M[n] je nestranným odhadem μ (tj. E(M[n]) = μ) s rozptylem D(M[n]) = , b) S[n]^2 je nestranným odhadem σ^2 (tj. E(S[n]^2) = σ^2) s rozptylem D(S[n]^2) = , kde γ[4] je 4. centrální moment c) pro libovolné, ale pevně dané je výběrová distribuční funkce F[n](x) nestranným odhadem Φ(x) (tj. E(F[n](x)) = Φ(x)) s rozptylem . d) Posloupnost je posloupnost asymptoticky nestranných a konzistentních odhadů μ, e) je posloupnost asymptoticky nestranných a konzistentních odhadů σ^2, f) pro libovolné, ale pevně dané je posloupnost asymptoticky nestranných a konzistentních odhadů Φ(x). 3.6. Poznámka: Výběrová směrodatná odchylka S není nestranným odhadem směrodatné odchylky σ. To by platilo, pokud S by byla náhodná veličina s degenerovaným rozložením, tj. nabývala by pouze konstantní hodnoty. Pak totiž D(S) = E(S^2) – [E(S)]^2 = σ^2 – [σ]^2 = 0. Ilustrace: Vlastnosti výběrového průměru a výběrového rozptylu budeme ilustrovat na náhodném výběru rozsahu 100 z rozložení Rs(0,1). V tomto případě E(X[i]) = 1/2, D(X[i]) = 1/12, i = 1, …, 100. Pomocí systému STATISTICA vygenerujeme pro každou z náhodných veličin X[1], …, X[100] 100 realizací a uložíme je do proměnných v[1], …, v[100]. Dále vypočítáme průměr a rozptyl těchto realizací, uložíme je do proměnných PRUMER a ROZPTYL. Graficky znázorníme hodnoty některé z proměnných v[1], …, v[100] (např. v[1]) a hodnoty proměnné PRUMER: Vidíme, že hodnoty proměnné v[1]^ kolísají od 0 do 1, zatímco hodnoty proměnné PRUMER se nacházejí v úzkém pásu kolem 1/2. Dále vypočteme průměr a rozptyl např. proměnné v1 a proměnné PRUMER a dále vypočtěte průměr proměnné ROZPTYL. Průměr proměnné v1 by měl být blízký 0,5, rozptyl 1/12 = 0,083. Průměr proměnné PRUMER by se měl blížit 0,5, zatímco rozptyl by měl být n = 100 x menší než 1/12, tj. 0,00083. Dále průměr proměnné ROZPTYL by se měl blížit 1/12 = 0,083. Nestrannost výběrové distribuční funkce budeme ilustrovat na náhodném výběru rozsahu 1000 z rozložení N(0,1). Získáme výběrovou distribuční funkci tohoto výběru a její graf porovnáme s grafem distribuční funkce náhodné veličiny se standardizovaným normálním rozložením. Graf výběrové distribuční funkce má černou barvu, graf distribuční funkce standardizovaného normálního rozložení má červenou barvu. Průběh výběrové distribuční funkce F[1000](x) je velmi podobný průběhu distribuční funkce Ф(x). Pokud bychom postup zopakovali s podstatně menším rozsahem náhodného výběru (např. n = 100), průběh obou funkcí by se lišil výrazněji: 3.7. Věta: Věta o vlastnostech bodových odhadů odvozených z r ≥ 2 nezávislých náhodných výběrů. Nechť , ..., je r stochasticky nezávislých náhodných výběrů o rozsazích n[1] ≥ 2, ..., n[r] ≥ 2 z rozložení se středními hodnotami μ[1], ..., μ[r] a rozptylem σ^2. Celkový rozsah je . Nechť c[1], ..., c[r] jsou reálné konstanty, aspoň jedna nenulová. Označme lineární kombinaci výběrových průměrů a vážený průměr výběrových rozptylů. Pak pro libovolné hodnoty parametrů μ[1], …, μ[r] a σ^2 platí: , E(S[*]^2) = σ^2. Znamená to, že lineární kombinace výběrových průměrů je nestranným odhadem lineární kombinace středních hodnot a vážený průměr výběrových rozptylů je nestranným odhadem rozptylu σ^2. 3.8. Věta: Věta o vlastnostech bodových odhadů odvozených z jednoho dvourozměrného náhodného výběru. Nechť (X[1],Y[1]), ..., (X[n],Y[n]) je náhodný výběr z dvourozměrného rozložení s kovariancí σ[12] a koeficientem korelace ρ. Označme S[12] výběrovou kovarianci a R[12] výběrový koeficient korelace. Pak pro libovolné hodnoty parametrů σ[12 ]a ρ platí: E(S[12]) = σ[12], E(R[12]) ≈ ρ (shoda je vyhovující pro n ≥ 30). Znamená to, že výběrová kovariance S[12] je nestranným odhadem kovariance σ[12], avšak výběrový koeficient korelace R[12] je vychýleným odhadem koeficientu korelace ρ. 3.9. Definice: Definice intervalu spolehlivosti Nechť X[1], ..., X[n] je náhodný výběr z rozložení L( ), h( ) je parametrická funkce, α (0,1), D = D(X[1], ..., X[n]), H = H(X[1], ..., X[n]) jsou statistiky. a) Interval (D, H) se nazývá 100(1-α)% (oboustranný) interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(D < h( ) < H) ≥ 1-α. b) Interval (D, ∞) se nazývá 100(1-α)% levostranný interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(D < h( )) ≥ 1-α. c) Interval (-∞, H) se nazývá 100(1-α)% pravostranný interval spolehlivosti pro parametrickou funkci h( ), jestliže: P(h( ) < H) ≥ 1-α. Číslo α se nazývá riziko (zpravidla α = 0,05, méně často 0,1 či 0,01), číslo 1 – α se nazývá spolehlivost. 3.10. Poznámka: Doporučený postup při konstrukci intervalu spolehlivosti a) Vyjdeme ze statistiky V, která je nestranným bodovým odhadem parametrické funkce h( ). b) Najdeme tzv. pivotovou statistiku W, která vznikne transformací statistiky V, je monotónní funkcí h( ) a přitom její rozložení je známé a na h( ) nezávisí. Pomocí známého rozložení pivotové statistiky W najdeme kvantily w[α/2], w[1-α/2], takže platí: : P(w[α/2] < W < w[1-α/2]) ≥ 1 – α. c) Nerovnost w[α/2] < W < w[1-α/2] převedeme ekvivalentními úpravami na nerovnost D < h( ) < H. d) Statistiky D, H nahradíme jejich číselnými realizacemi d, h a získáme tak 100(1-α)% empirický interval spolehlivosti, o němž prohlásíme, že pokrývá h( ) s pravděpodobností aspoň 1 – α. (Tvrzení, že (d,h) pokrývá h( ) s pravděpodobností aspoň 1 – α je třeba chápat takto: jestliže mnohonásobně nezávisle získáme realizace x[1], ..., x[n] náhodného výběru X[1], ..., X[n] z rozložení L( ) a pomocí každé této realizace sestrojíme 100(1-α)% empirický interval spolehlivosti pro h( ), pak podíl počtu těch intervalů, které pokrývají h( ) k počtu všech sestrojených intervalů bude přibližně 1 – α.) (Volba oboustranného, levostranného, nebo pravostranného intervalu závisí na konkrétní situaci. Např. oboustranný interval spolehlivosti použije konstruktér, kterého zajímá dolní i horní hranice pro skutečnou délku μ nějaké součástky. Levostranný interval spolehlivosti použije výkupčí drahých kovů, který potřebuje znát dolní mez pro skutečný obsah zlata μ v kupovaném slitku. Pravostranný interval spolehlivosti použije chemik, který potřebuje znát horní mez pro obsah nečistot μ v analyzovaném vzorku.) Ilustrace: Jestliže 100x nezávisle na sobě uskutečníme náhodný výběr z rozložení se střední hodnotou μ a pokaždé sestrojíme 95% empirický interval spolehlivosti pro μ, pak přibližně v 95-ti případech bude ležet parametr μ v intervalech spolehlivosti a asi v 5-ti případech interval spolehlivosti μ nepokryje. 3.11. Příklad: Nechť X[1], ..., X[n] je náhodný výběr z N(μ,σ^2), kde n ≥ 2 a rozptyl σ^2 známe. Sestrojte 100(1-α)% interval spolehlivosti pro neznámou střední hodnotu μ. Řešení: V tomto případě parametrická funkce h( ) = μ. Nestranným odhadem střední hodnoty je výběrový průměr M = . Protože M je lineární kombinací normálně rozložených náhodných veličin, bude mít také normální rozložení se střední hodnotou E(M) = μ a rozptylem D(M) = . Pivotovou statistikou W bude standardizovaná náhodná veličina ~ N(0,1). Kvantil w[α/2] = u[α/2] = -u[1-α/2], w[1-α/2] = u[1-α/2]. : 1 – α ≤ P(-u[1-α/2] < U < u[1-α/2]) = . Meze 100(1-α)% intervalu spolehlivosti pro střední hodnotu μ při známém rozptylu σ^2 tedy jsou: D = , H = . Při konstrukci jednostranných intervalů spolehlivosti se riziko nepůlí, tedy 100(1-α)% levostranný interval spolehlivosti pro μ je a pravostranný je . Dosadíme-li do vzorců pro dolní a horní mez číselnou realizaci m výběrového průměru M, dostaneme 100(1-α)% empirický interval spolehlivosti. 3.12. Příklad: 10 krát nezávisle na sobě byla změřena jistá konstanta μ. Výsledky měření byly: 2 1,8 2,1 2,4 1,9 2,1 2 1,8 2,3 2,2. Tyto výsledky považujeme za číselné realizace náhodného výběru X[1], ..., X[10] z rozložení N(μ, 0,04), kde parametr μ neznáme. Najděte 95% empirický interval spolehlivosti pro μ, a to a) oboustranný, b) levostranný, c) pravostranný. Řešení: m = 2,06, σ^2 = 0,04, σ = 0,2, α = 0,05, u[0,975] = 1,96, u[0,95] = 1,64. ad a) d = m - u[1-α/2] = 2,06 - 1,96 = 1,94 h = m + u[1-α/2] = 2,06 + 1,96 = 2,18 1,94 < μ < 2,18 s pravděpodobností aspoň 0,95. ad b) d = m - u[1-α] = 2,06 - 1,64 = 1,96 1,96 < μ s pravděpodobností aspoň 0,95. ad c) h = m + u[1-α] = 2,06 + 1,64 = 2,16 μ < 2,16 s pravděpodobností aspoň 0,95. 3.13. Poznámka: (o šířce intervalu spolehlivosti) Nechť (d, h) je 100(1-α)% empirický interval spolehlivosti pro h( ) zkonstruovaný pomocí číselných realizací x[1], ..., x[n] náhodného výběru X[1], ..., X[n] z rozložení L( ). a) Při konstantním riziku klesá šířka h-d s rostoucím rozsahem náhodného výběru. b) Při konstantním rozsahu náhodného výběru klesá šířka h-d s rostoucím rizikem. Ilustrace: ad a) Grafické znázornění závislosti dolních a horních meze 95% empirických intervalů spolehlivosti pro střední hodnotu normálního rozložení při známém rozptylu na rozsahu náhodného výběru: Vidíme, že šířka intervalu spolehlivosti klesá se zvětšujícím se rozsahem náhodného výběru, zprvu rychle a pak stále pomaleji. ad b) Grafické znázornění závislosti dolních a horních mezí 100(1-α)% empirických intervalů spolehlivosti pro střední hodnotu normálního rozložení při známém rozptylu a konstantním rozsahu výběru na riziku: Vidíme, že šířka intervalu spolehlivosti s rostoucím rizikem klesá. 3.14. Příklad: (stanovení minimálního rozsahu výběru z normálního rozložení) Nechť X[1], ..., X[n] je náhodný výběr z N(μ, σ^2), kde σ^2 známe. Jaký musí být minimální rozsah výběru n, aby šířka 100(1-α)% empirického intervalu spolehlivosti pro střední hodnotu μ nepřesáhla číslo Δ? Řešení: Požadujeme, aby Δ ≥ h – d = . Z této podmínky dostaneme, že . Za rozsah výběru zvolíme nejmenší přirozené číslo vyhovující této podmínce. Odvozený vzorec použijeme v této situaci: v příkladu 3.12. (a) se uživateli zdá 95% empirický interval spolehlivosti (1,94; 2,18) pro střední hodnotu μ příliš široký. Přál by si, aby šířka 95% empirického intervalu spolehlivosti nepřesáhla číslo 0,16. Dostáváme tedy n ≥ = = =24,01. Podmínku tedy splňuje číslo 25.