logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Klíčový význam korektního uložení získaných dat Pravidla pro ukládání dat Čištění dat před analýzou 3. Příprava dat logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Anotace —Současná statistická analýza se neobejde bez zpracování dat pomocí statistického software. Předpokladem úspěchu je správné uložení dat v definované formě. —Nejčastěji jde o databázové tabulky umožňující zpracování dat v celé škále různých aplikací. —Neméně důležité je věnovat pozornost čištění dat předcházejícímu vlastní analýze. Každá chyba, která vznikne nebo není nalezena ve fázi přípravy dat, se promítne do všech dalších kroků a může zapříčinit neplatnost výsledků a nutnost opakování analýzy. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Parametry (znaky) DATA – ukázka uspořádání datového souboru obr1.jpg logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Správné a přehledné uložení dat je základem jejich pozdější analýzy. —Je vhodné rozmyslet si předem jak budou data ukládána. —Pro počítačové zpracování dat je vhodné ukládat data v tabulární formě. —Nejvhodnějším způsobem je uložení dat ve formě databázové tabulky: ¡každý sloupec obsahuje pouze jediný typ dat, identifikovaný hlavičkou sloupce; ¡každý řádek obsahuje minimální jednotku dat (např. pacient, měření apod.); ¡je nepřípustné kombinovat v jednom sloupci číselné a textové hodnoty; ¡komentáře jsou uloženy v samostatných sloupcích; ¡u textových (kategoriálních) dat je nezbytné kontrolovat překlepy v názvech kategorií; ¡specifickým typem dat jsou kalendářní data u nichž je nezbytné kontrolovat, zda jsou uložena v korektním formátu (dle aplikace). —Takto uspořádaná data je v tabulkových nebo databázových programech možné převést na libovolnou výstupní tabulku. —Pro základní uložení a čištění dat menšího rozsahu je možné využít aplikací MS Office. Zásady pro ukládání dat logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Tabulkový procesor. —První verze programu 30. 9. 1985 (Macintosh). —Součást balíku kancelářských aplikací MS Excel. —Aktualizace každé 2 až 3 roky; nové funkce, rozšíření počtu řádků a sloupců, změna formátu. —Nejnovější formát Office XML je zazipovaný XML dokument, přípona .xlsx. —Aktuální verze 2013 umožňuje ukládat tabulku až o 1 048 576 řádcích a 16 384 sloupcích. —Maximální velikost buňky je 32 767 znaků. —Excel umožňuje práci se širokou škálou dalších formátů. — MS Excel logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Možnosti MS Excel — Správa a práce s tabulárními daty. — Řazení dat, výběry z dat, přehledy dat. — Formátování a přehledné zobrazení dat. — Zobrazení dat ve formě grafů. — Různé druhy výpočtů pomocí zabudovaných funkcí. — Tvorba tiskových sestav. — Makra – zautomatizování častých činností. — Tvorba aplikací (Visual Basic for Aplications). — logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Import a export dat —Import dat ¡manuální zadávání; ¡import – podpora importu ze starších verzí Excelu, textových souborů, databází apod.; ¡kopírování přes schránku Windows – vkládání z nejrůznějších aplikací – MS Office, Statistica, přímo z HTML apod.; ¡využití textových souborů jako kompatibilního formátu pro přenos dat mezi různými aplikacemi. — —Export dat ¡ukládáním souborů ve formátech podporovaných jinými SW, časté jsou textové soubory, dbf soubory nebo starší verze Excelu; ¡přímé kopírování přes schránku Windows. — logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Import a export dat —Nejčastější datové formáty používané v MS Excel ¡.xlsx – současný Office Open XML formát od verze MS Excel 2007; ¡.xls – starší binární varianta listů MS Excel (více verzí), stále používaná, ¡.csv – comma separated values, nejjednodušší tabulkový formát, 2 varianty, ¡.dbf – formát dBase, široce využívaný formát pro velké databáze; ¡.db – Paradox database, starší databázový systém; ¡.slk – SYmbolic LinK (SYLK) formát pro výměnu dat mezi aplikacemi Microsoft, neveřejný; ¡.txt – základní textový formát, často jediná možnost výměny dat s MS Excel. logo-IBA —Výběr buněk ¡CTRL+HOME – přesunutí na levý horní roh tabulky; ¡CTRL+END – přesunutí na pravý dolní roh tabulky; ¡CTRL+A – výběr celého listu; ¡CTRL + klepnutí myší do buňky – výběr jednotlivých buněk ; ¡SHIFT + klepnutí myší na jinou buňku – výběr bloku buněk; ¡SHIFT + šipky – výběr sousedních buněk ve směru šipky; ¡SHIFT+CTRL+END (HOME) – výběr do konce (začátku) oblasti dat v listu; ¡SHIFT+CTRL+šipky – výběr souvislého řádku nebo sloupce buněk; ¡SHIFT + klepnutí na objekty – výběr více objektů. — Kopírování a vkládání ¡CTRL+C – zkopírování označené oblasti buněk; ¡CTRL+V – vložení obsahu schránky – oblast buněk, objekt, data z jiné aplikace; —Myš a okraje buňky ¡Chycení myší za okraj umožňuje přesun buňky nebo bloku buněk ¡ ¡ ¡Při chycení čtverečku v pravém dolním rohu výběru je tažením možno vyplnit více buněk hodnotami původní buňky (ve vzorcích se mění relativní odkazy, je také možné vyplnění hodnotami ze seznamu – např. po sobě jsoucí názvy měsíců. ¡ Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Tipy a triky logo-IBA Ukotvení příček Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Umožňuje ukotvení libovolných řádků a sloupců pro pohodlné vkládání a prohlížení dat v tabulce. —Umožňuje číst řádky/sloupce ze začátku tabulky i po přesunutí se dále. — —Záložka „Zobrazení“ → „Ukotvit příčky“. — —Nabízené možnosti: oUkotvit příčky – ukotví řádky nad označenou buňkou a sloupce vlevo od označené buňky. oUkotvit horní řádek. oUkotvit první sloupec. o oUkotvení zrušíme opětovným odkliknutím možnosti ukotvení příček. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Databázová struktura dat v Excelu Jednotlivé záznamy (taxon, lokalita, měření, pacient atd.) Sloupce tabulky = parametry záznamů, hlavička udává obsah sloupce – stejný údaj v celém sloupci Excel neumožňuje pojmenování řádků a sloupců vlastními názvy. logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Automatický zadávací formulář I. —Slouží k usnadnění zadávání dat do databázových tabulek —Načítá automaticky hlavičky sloupců jako zadávané položky Názvy sloupců Obsah dané buňky - editovatelný Nový záznam Vyhledávání Microsoft Office 2003 a starší logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Automatický zadávací formulář II. —Aplikaci automaticky zadávaného formuláře je nutné aktivovat ¡„Tlačítko Office“ → „Možnosti aplikace Excel“ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Automatický zadávací formulář spustíme pomocí nové ikonky na panelu nástrojů Rychlý přístup; dále stejné Microsoft Office 2007 a novější logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Automatické seznamy —Vytváří se z hodnot buněk v daném sloupci a umožňují vložit hodnotu výběrem ze seznamu již zadaných hodnot – usnadnění zadávání — Sloupec z nějž je seznam vytvořen a pro který platí Buňka, do níž se vloží vybraná hodnota logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Automatická kontrola dat —Umožňuje ověřit typ, rozsah nebo povolit pouze určitý seznam hodnot zadávaných do sloupce databázové tabulky Co je povoleno – definiční obory čísel, seznamy, vzorce atd. Rozsahy hodnot, načtení seznamů apod. komunikace s uživatelem Microsoft Office 2007 logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Seznamy I. —Skupiny hodnot zachovávající logické pořadí, některé jsou zabudované (např. dny v týdnu, měsíce v roce), další je možné uživatelsky vytvořit, slouží pro účely řazení a automatického vyplňování dat moznosti1 Výběr buněk pro nový seznam Načtení nového seznamu Existující seznamy Microsoft Office 2003 a starší logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Seznamy II. ¡„Tlačítko Office“ → „Možnosti aplikace Excel“ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Vlastní seznamy dále stejné (viz předchozí slide) — Microsoft Office 2007 logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Řazení dat —Řazení dat je nejjednodušším způsobem jejich zpřehlednění, užitečným hlavně u menších/výsledkových tabulek — ¡ Zkontrolujte, zda seřazení nezničí vazby mezi buňkami = kontrola oblasti, kterou řadíte. ¡ Využít první řádek oblasti jako záhlaví Další možnosti – řazení řádků, řazení podle seznamu Podle čeho řadit Směr řazení – vzestupně, sestupně logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Automatický filtr —Pomocí automatického filtru je snadné vybírat úseky dat pro další zpracování na základě hodnot ve sloupcích databázové tabulky, výběr je možný i podle více sloupců (např. určitá skupina pacientů). —Funkce automaticky rozezná hlavičky sloupců v souvislé oblasti buněk. —Čísla filtrovaných řádků jsou zobrazena modře. —Výhodné pro čištění dat (vyhledávání překlepů, kombinace textu a čísel). Výběr hodnot pro filtraci Rozbalení seznamu hodnot nalezených ve sloupci logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Rozšířený filtr —Funguje podobně jako automatický filtr, ale seznam povolených hodnot není nutné vybírat ručně – je uveden v oblasti jinde na listu (nebo i na jiném listu). —Podmínkou jsou shodná záhlaví filtrované oblasti a oblasti povolených hodnot. —Prázdné buňky odpovídají prázdné podmínce – tj. je-li v oblasti povolených hodnot nějaká buňka prázdná, splní podmínku libovolná buňka filtrované oblasti. —Čísla řádků filtrované oblasti jsou zobrazena modře. Tlačítko Upřesnit na kartě Data Výběr oblasti cílových hodnot (přefiltrovaných) Původní seznam včetně záhlaví Oblast kritérií včetně záhlaví logo-IBA Automatické dokončování hodnot buněk Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Vhodné pro textová pole; následně není nutné vypisovat celé slovo či slovní spojení, ale jen zvolit nabízené, již dříve použité slovo či slovní spojení —Automatické dokončování hodnot buněk je nutné nastavit ¡„Tlačítko Office“ → „Možnosti aplikace Excel“ — — logo-IBA Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová 4. Vzorce v Excelu Tipy pro práci s Wordem Kontingenční tabulky v Excelu logo-IBA logomuni Zdroje dat Excelu — Import dat z webu / MS Word pomocí schránky Windows. —Excel umožňuje připojit externí zdroje dat. — — — — — — — — — — —Propojení lze aktualizovat ručně/nastavit interval. —Po zrušení propojení je třeba soubor odpojit. — — — logo-IBA logomuni Zdroje dat Excelu import_dat_0.jpg Žlutý čtverec se šipkou u každé HTML tabulky. logo-IBA logomuni Zdroje dat Excelu import_dat_1.jpg Načtou se veškerá data v tabulce, často včetně balastu. logo-IBA logomuni Vzorce v listu Excelu — vpisují se do buněk sešitu —vzorce jsou vždy uvozeny = (lze též +, -). — aritmetické operátory + zabudované funkce Excelu — pro logické sčítání nečíselných položek se používá & — výpočet je založen buď na číselných konstantách nebo odkazech na buňky — =3*odmocnina(A1) uvození vzorce konstanta zabudovaný vzorec Excelu odkaz na buňku logo-IBA logomuni Vzorce – odkaz na buňku stylu A1 —Relativní odkazy — A1 = buňka 1. řádku sloupci A — A1:B6 = blok buněk – levý horní roh je v 1. řádku, sloupec A,pravý dolní na řádku 6, sloupec B blok lze pojmenovat vepsáním názvu do pole názvů: — —relativní odkaz se při automatickém vyplnění buněk vzorcem posune —Absolutní odkazy — odkaz na buňku je pevně dán, při kopírování nebo automatickém vyplnění se nemění, lze uzamknout jak řádky, tak sloupce samostatně — $A$1 uzamčení sloupce uzamčení řádku logo-IBA logomuni vzorce_1.jpg Vzorce – tipy a triky I. Závislosti vzorců – karta Vzorce kontrola chyb označení a odznačení předchozích a následných vzorců sledování změn hodnot i ve skrytých a neviditelných sloupcích Zpřehlednění vzorců Vložit tabulátor CTRL+ALT+TAB Vložit konec řádku ALT+ENTER zobrazení vzorců namísto hodnot v buňkách logo-IBA logomuni komentare.jpg Vzorce – tipy a triky II. Vkládání komentářů, změny listu – karta Revize označení a odznačení předchozích a následných vzorců vzorce_2.jpg možnost zamknout list či sešit dvojicí hesel sledování změn a jejich schvalování nebo zamítání logo-IBA logomuni Vzorce – tipy a triky III. Kontrola chyb Výběr funkce z knihoven Označení a odznačení předchozích a následných vzorců Vkládání komentářů a poznámek do vytvořeného souboru se vzorci logo-IBA logomuni Vzorce – využití seznamu vzorců Funkce a její stručný popis Kategorie vzorců průvodce funkcí logo-IBA logomuni Vzorce – užitečné funkce Celkem 408 funkcí ve verzi MS Excel 2010, ve verzi 2013 přidáno 50 nových funkcí • SUMA – součet číselných hodnot oblasti; • SUMIF – podmíněný součet (podmínky v doplňkové oblasti); • PRŮMĚR – aritmetický průměr číselných hodnot oblasti; • GEOMEAN – geometrický průměr číselných hodnot oblasti; • COUNTIF – počet hodnot oblasti splňujících zadanou podmínku; • KDYŽ – logická podmínka (if); • MAX, MIN – maximum/minimum číselných hodnot oblasti; • MEDIAN – výpočet mediánu; • PERCENTILE – výpočet percentilů; • DATUM (ROK, MĚSÍC, DEN) – práce s kalendářními daty; • ABS – absolutní hodnota; logo-IBA logomuni Statistické funkce v MS Excel Od verze 2007 obsahuje MS Excel některé pokročilé statistické funkce • ZLEVA, ZPRAVA, ČÁST – funkce pro ořezávání textových řetězců; • STANDARDNÍ MATEMATICKÉ FUNKCE (SIN, COS, LOG, LOGZ, EXP) – a mnoho dalších. •CONFIDENCE – výpočet intervalu spolehlivosti (při normálním rozdělení); • CORREL, PEARSON – výpočet Pearsonova korelačního koeficientu; • COVAR – výpočet kovariance dvou množin dat; • COUNTIF – počet hodnot oblasti splňujících zadanou podmínku; • DEVSQ – součet čtverců odchylek od výběrového průměru; • FDIST, GAMMADIST, CHIDIST, TDIST, NORMDIST aj. – různá rozdělení pravděpodobnosti; • PRŮMODCHYLKA – průměrná hodnota absolutních odchylek; • SLOPE – směrnice lineárního modelu; • TTEST, ZTEST, CHITEST – statistické testy shodnosti; ŘADU DALŠÍCH FUNKCÍ VŠAK EXCEL POSTRÁDÁ A JE TŘEBA VYUŽÍT SILNĚJŠÍHO NÁSTROJE. logo-IBA Kopírování / Vkládání Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Kopírování vzorců, textů, celých sloupců (zkopírování pomocí CTRL+C; dále „Vložit jinak...“) — — — — — — — — — — —Kopírování grafů z Excelu do Wordu: Vložit jinak → Typ: Obrázek (rozšířený metasoubor) — Vyzkoušej logo-IBA II.b Tipy pro práci s Wordem Automatické titulky ve Wordu Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Automatické titulky ve Wordu pro snazší úpravy pravý klik na obrázek pravý klik na styl „Titulek“ úprava stylu dle potřeby logo-IBA Automatické seznamy ve Wordu Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová —Máme-li vytvořené automatické titulky grafů a tabulek, pak lze vytvořit automatické seznamy Každý objekt, který chceme zahrnout do automatického seznamu, musí mít automatický titulek Aktualizace čísel titulků – pravý klik na označený titulek (obdobně aktualizace již vytvořeného seznamu) logo-IBA Kontingenční tabulky v Excelu, 1. část Ukázka kontingenční tabulky Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Nemocný Zdravý Celkem Muž a b a + b Žena c d c + d Celkem a + c b + d a + b + c + d = N Kontingenční tabulka vztahu pohlaví a onemocnění logo-IBA Ukázka kontingenční tabulky Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Nemocný Zdravý Celkem Muž 45 11 56 Žena 25 6 31 Celkem 70 17 87 Kontingenční tabulka vztahu pohlaví a onemocnění logo-IBA Ukázka kontingenční tabulky Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek, M. Cvanová Nemocný Zdravý Celkem Muž 45 11 56 Žena 25 6 31 Celkem 70 17 87 Kontingenční tabulka vztahu pohlaví a onemocnění do 1 týdne 1 – 2 týdny nad 2 týdny Celkem Základní vzdělání 10 9 5 24 Středoškolské vzdělání 32 18 6 56 Vysokoškolské vzdělání 4 2 2 8 Celkem 46 29 13 88 Hodnocení nesmyslného vztahu: dosažené vzdělání a doba strávená v nemocnici logo-IBA logomuni Kontingenční tabulka I. —Umožňuje snadno vytvářet sumarizace dat ve smyslu počty hodnot, průměry, minima, maxima atd. v kombinacích kategorií (např. počet jedinců různých druhů na různých lokalitách) —Automaticky je vybrána souvislá oblast dat (obdobně jako v případě automatického filtru) Zdroj dat (kromě Excelu i např. externí databáze) Zdroj dat (kromě Excelu i např. externí databáze) Graf nebo tabulka Zdrojová oblast dat Umístění Rozvržení a vlastnosti tabulek Microsoft Office 2003 a starší logo-IBA logomuni Kontingenční tabulky – rozvržení I. —Nastavit rozvržení kontingenčních tabulek je možné dvěma způsoby, zde představený postup je obsažen v Excel 97, 2000, 2007 i 2010 (speciální dialog), druhou možností je obdobná specifikace přímo v listu Excelu (2000, XP) parametry, které je možné zobrazit (hlavičky sloupců databázové tabulky) tzv. stránka = tabulky podle zde nastaveného kritéria parametry na řádcích parametry sloupců parametry dat a možnosti sumarizace Microsoft Office 2003 a starší logo-IBA logomuni Kontingenční tabulky – výsledek I. —Výsledkem analýzy je tabulka vynášející proti sobě hodnoty řádkových a sloupcových parametrů kontingenční tabulky (např. taxony proti lokalitám, jde o seznamy hodnot obsažených v jednotlivých sloupcích), na průsečíku je zobrazena vybraná sumární charakteristika vybraných dat (průměr, suma, počet atd.) —Tabulku v této formě je možné nadále editovat co se týče formátu i obsažených dat Panel nástrojů kontingenční tabulky Seznam polí tabulky Roletky položek tabulky Automatický souhrn Microsoft Office 2003 a starší logo-IBA logomuni Kontingenční tabulka II. Zdroj dat (kromě Excelu i např. externí databáze) Graf nebo tabulka Zdrojová oblast dat Umístění tabulky Microsoft Office 2007 logo-IBA logomuni Kontingenční tabulky – rozvržení II. Microsoft Office 2007 parametry na řádcích parametry dat parametry ve sloupcích parametry, které je možné zobrazit v kontingenční tabulce filtr logo-IBA logomuni Kontingenční tabulky – nastavení II. Microsoft Office 2007 Aktualizace dat Kontingenční tabulka Způsob sumarizace položky Možnosti tabulky Kontingenční graf