Objevování skupin (class discovery) Výuka IBA Společná schéma analýzy dat Biologická otázka (hypotéza) N matic základních dat (jedna pro každý z N vzorků) Kontrola kvality Normalizace Sumarizace Provedení experimentu (hybridizace mikročipů, hmotnostní spektrometrie...) Design experimentu Objevování skupin? (Shlukování) Porovnání skupin? (Testování) Predikce skupin? (Klasifikace) Analýza přežití Analýza časových řad Charakterizace nových skupin List genů se stejným profilem změn exprese v čase Interpretace Validace Publikace Matice informací o vzorcích N x P (např. klinická data v medicíně) Finální datová matice N vzorků a K genů (proteinů) Nové skupiny genů nebo vzorků List genů s odlišnou expresí mezi skupinami vzorků Klasifikační pravidlo využívající genovou expresi Seznam prognostických genů Tradiční schéma analýzy •Učení s učitelem (supervised learning) •V tomto případě zobecňujeme známou strukturu dat na nové data •Porovnávání skupin (class comparison) •hledáme rozdíly v expresi, počtu kopií genů nebo abundanci proteinů mezi již definovanými skupinami •Předpovídání skupin (class prediction) •na známých skupinách se snažíme vytvořit klasifikátor, který by dokázal zařadit nového pacienta do jedné ze skupin •Učení bez učitele (unsupervised learning) •V tomto případe struktura v datech není známá a musíme ji objevit •Objevování skupin (class discovery) •na základě informací o genech/proteinech hledáme nové skupiny •onemocnění X je velmi heterogenní a snažíme se identifikovat specifičtější podtypy, které by mohli být cílem cílené terapie • Společné znaky analýzy dat •Velké množství proměnných •Malé množství vzorek •Proměnné jsou často korelované, s velmi komplexními vztahy •Data obsahují množství šumu – biologická i technická variabilita Objevování skupin •Snažíme se vytvořit závěry o datovém souboru bez (braní do úvahy) jakékoliv předchozí znalostí biologických skupin (=shlukování) •Cílem je vytvořit skupiny objektů na základě jejich vzájemné podobnosti •Objekty uvnitř skupiny mají být co nejpodobnější a objekty z různých skupin mají být tak odlišné, jak jen je to možné • •Skupina metod pro objevování skupin je představovaná metodami shlukování bez učitele Co shlukujeme v molekulární biologii •Geny/proteiny •Chceme identifikovat skupiny ko-regulovaných genů/proteinů •Chceme zredukovat dimenzi dat na základě funkčních genových/proteinových skupin •Vzorky •Kontrolujeme kvalitu vzorků •Chceme najít nové skupiny vzorků (například podtypy) •Chceme zkontrolovat diskriminační schopnost genů vybraných při porovnávání známých skupin do vzorek Princip •Máme datovu matici X velikosti N x P •N – počet objektů (vzorek) •P – počet proměnných (geny/proteiny) •Hledáme nejlepší rozdělení dat na skupiny tak, aby nalezené skupiny byly uvnitř skupiny vysoce homogenní a mezi sebou vysoce heterogenní N vzorek Typy shlukovacích metod •Shlukovací metody se dělí na dvě hlavní skupiny: 1.Metody založené na vzdálenostech •neparametrické •nejčastěji používané, intuitivní •hierarchické a nehierarchické shlukování 2.Metody založené na modelování •parametrické, kladou silné předpoklady na rozložení dat •založeny na statistickém modelování – přiřazují každému objektu pravděpodobnost s jakou patří do daného shluku Nejčastěji se používají metody založené na vzdálenosti, jejichž cílem je seskupení podobných objektů podle aprioriorní míry podobnosti. Tyto metody jsou neparametrické, protože nepředpokládají data pocházející z dříve definovaného rozložení. Podobnost=1-vzdalenost Naopak, metody založené na modelu jsou založeny na statistickém modelování, kladou silný důraz na předpoklady o rozložení dat, a proto mohou být řazeny do parametrických shlukovacích metod. Většina shlukovacích technik vytváří disjunktní shluky, což znamená, že je každý objekt přiřazen pouze do jedné skupiny. To nemusí být nejlepším řešením, zejména při shlukování genů/proteinů. Mnoho z nich je zapojeno do více než jedné biologické dráhy, což naznačuje, že by každý gen/protein měl mít možnost patřit do více než jednoho shluku. Metody založené na modelu jsou vhodné k přiřazení pravděpodobnosti ke každému genu, se kterou patří do daného shluku. Metody založené na vzdálenostech I. •Princip: 1.Vypočítáme matici vzdáleností mezi objekty 2.Vybereme shlukovací algoritmus 3.Stanovíme počet shluků – jen u některých metod 4.Aplikujeme shlukovací algoritmus na matici vzdálenosti získáme shluky •Shlukovací algoritmy: •Hierarchické •Aglomerativní – Single, Complete, Average, Ward linkage, … •Divizní - DIANA •Nehierarchické •K-means •PAM Metriky vzdáleností I. Máme 2 vektory hodnot x = (x1, …, xn), y = (y1, …, yn) •Euklideovská vzdálenost: •Standardizovaná Euklideovská vzdálenost: Metrika penalizuje – snižuje vzdálenost mezi objekty s velkou variabilitou, předpokládajíc, že jsou důležitější než objekty s malou variabilitou. •Manhattanovská vzdálenost: Robustnější vůči odlehlým hodnotám. Co shlukuju? Shlukuju pacienty – x1,…xn jsou geny/protein Shlukuju geny – x1…xn jsou pacienti Metriky vzdáleností II. •Metriky založené na korelačním koeficientu r(x,y) •Můžeme odvodit dvě různé metriky: •Ukázka rozdílu mezi metrikama > > d1=0.05, d2=0.19 d1=0.5, d2=1 d1=0.95, d2=0.19 Pří použití d1 budou geny s opačnými profily patřit do odlišných shluků, zatímco při použití metriky d2 budou patřit do toho stejného shluku. Pokud chceme shluky interpretovat jako množiny genů ze stejné regulační sítě, použijeme raději d2. 1-r – geny s negativni korelaci jsou v rozdilnych shlucich 1-abs(r) – geny s negativni korelaci jsou ve stejnem shluku Výběr metriky •Výběr metriky záleží na tom, jaký typ podobnosti nás zajímá • Pokud nás zajímá průměrná exprese genů (A a B jsou podobné), aplikujeme Euklidovskou vzdálenost •Pokud nás zajímá vzor exprese genů (A a C jsou podobné), aplikujeme vzdálenost založenou na korelaci A B C Gene ID 0 3 2 1 4 Pokud data standardizujeme, pak Eukleidovska a korelacni vzdalenost jsou ekvivalentni Na co si dávat pozor I. •Mnoho shlukovacích technik najde shluky i v datech, ve kterých nejsou žádné přirozené shluky, jen proto, že byly pro tento účel zkonstruované Moc velka vzdalenost -> nic tam neni Na co si dávat pozor II. •Výsledek jediného shlukování by nikdy neměl být považovaný za objektivní reprezentaci informace skryté v datech, protože je závislý od použité metody a také v rámci metody od nastavení! Další problémy •Výběr shlukovacího algoritmu a metriky ovlivňuje konečné výsledky • •Výsledky jsou závislé na samotných datech • •Kolik shluků? • •Potřebujeme odhad jistoty, že nalezené shluky jsou správné • •Odhad kvality shluků je založen na metrikách z dat z kterých byli shluky vytvořené Kolik shluků? •V případě nehierarchických metod počet shluků určujeme dopředu •V případě hierarchického shlukování vytváříme strom, dendrogram, který se potom prořezává •Počet shluků je následně určený tak, aby heterogenita v rámci shluků byla co nejmenší a mezi shluky co největší •Různé metriky heterogenity shluků – variabilita, Silhouette, ... Řezání dendrogamu jeho problém •U hiararchického shlukování se stanovuje fixní výška řezu dendrogramu >cutree() •Problém: u genomických dat se často vyskytují shluky v různých výškách řezu § dendrogram_groups_cutHeight_1 Dynamic tree cut •Metoda prořezávání dendrogramu (Langfelder et al, 2007) •Dynamické řezání dendrogramu na základě minimální velikosti shluků, maximální výšky řezu a dalších parametrů >library(dynamicTreeCut) § dendrogram_groups_cutHeight_1 Zaklady: 1)Shluky musi mit minimalni pocet clenu 2)Prilis vzdalene objekty jsou ze shluku vyloucene I v pripade, ze patri do jedne vetve dendrogramu 3)Kazdy shluk by mel byt separovany od okoli mezerou Robustní shlukování •V analýze vysokopokryvných molekulárních dat mají výše uvedené problémy větší váhu •Malý počet vzorek a vysoký počet genů/proteinů spolu s vyšším množstvím šumu v datech jsou důvodem, proč je shlukování těchto dat citlivé na přeučení (overfitting) •Shlukování je méně robustní (více ovlivněné variabilitou dat) •Variabilita dat a výsledky shlukování se dají simulovat opakovaným náhodným výběrem z dat Consensus clustering •Forma robustního shlukování (Monti et al., 2003) •Opakované vzorkování a shlukování jako způsob nalezení konsenzusu mezi jednotlivýma výsledkama shlukování za účelem: •Určení počtu a stability shluků v datech •Vytvoření nové metriky vzdálenosti - konsenzusu • Základní princip: 1.Rozrušení struktůry originální N x P datové matice pomocí náhodného výběru podmnožiny vzorků a/nebo genů 2.Na novém datovém souboru aplikujeme shlukovací algoritmus se stejnou mírou similarity a počtem shluků Oba body jsou opakované L krát pro jiný počet shluků. Consensus clustering II Consensus clustering III – myšlenka •Pokud se dva vzorky v jednotlivých výběrech nacházejí často spolu ve shluku, jsou důvěryhodnějšími členy shluku než ty, které se ve shluku nacházejí méně často consensus003 consensus003 Data bez struktury (náhodný výběr z normálního rozložení) Data se třemi skupinami A. B. Consensus clustering IV – další metriky Konsenzus shluku k Konsenzus vzorku si v shluku k •Obě míry se používají pro identifikaci odlehlých hodnot (vzorky s nízkou mírou konsenzusu k jakémukoliv jinému vzorku v jinak homogenním shluku; shluky s nízkou mírou konsenzusu všeobecně) kde je indikátorová funkcia Consensus clustering V - výběr počtu shluků I § histogram_k3 histogram_k6 consensus011 Empirická kumulativní distribuční funkce (pravděpodobnost, že proměnná Mij nabyde hodnoty menší anebo rovné jako x) 6 shluků má podstatně míň vzorků s konsenzusem 1 a tím pádem jsou tyto shluky míň důvěryhodné Struktura s 3 shluky naopak vypadá jako optimum Jako rozhodovací pravidlo – rozdíl v plochách pod CDF křivkami Consensus clustering V - výběr počtu shluků II § consensus011 consensus012 Optimální počet shluků je určený vypočtením ploch pod CDF křivkami jednotlivých počtů shluků a porovnáním relativní změny mezi různým shlukováním (plocha delta). 3 shluky Consensus clustering VI – R balík § > source(“http://bioconductor.org/biocLite.R”) > biocLite(“ConsensusClusterPlus”) Metody založené na modelech •Modely Gaussových směsí (mixture models) •Předpokládají, že naměřené hodnoty genu/proteinu g ve všech vzorkách (Xg) jsou náhodným výběrem a jejich rozložení závisí na skupině do které gen g patří •Náhodnost Xg souvisí s pozorovanou variabilitou v datech z genomických a proteomických experimentů •Na rozdíl od metod založených na vzdálenosti poskytují tyto modely: •odhad parametrů, které charakterizují každou skupinu (průměr, rozptyl, …) •pravděpodobnost příslušnosti genu ke každé ze skupin •statistické kritéria pro výběr počtu skupin Modely Gaussových směsí Pokud objekt patří do více skupin shluků •Většina shlukovačích technik vytváří disjunktní shluky: každý objekt je součástí jediného shluku •Toto zvlášť v genomice a proteomice nemusí být nejlepší přístup, protože většina proteinů/genů je součástí více biologických drah -> proto by měli patřit do více skupin •Jak zohlednit tuto informaci: •Aplikujeme speciální shlukovací metody (například fuzzy clustering) •Aplikujeme metody založené na modelech a vyvodíme závěry z přiřazených pravděpodobností •Biclustering (two-way clustering) shlukuje zaráz řádky i sloupce Jak shlukovat efektivně •V genomice a proteomice obvykle nemá význam shlukovat úplně všechny objekty (proteiny/geny) •Většina z nich není významná •Vnášejí do procesu šum, který zakryje pravou strukturu dat •Je vhodné zredukovat dimenzi dat: •PCA, gene-shaving, … - dokáží extrahovat informaci o genech/proteinech s podobnými charakteristikami, stačí potom ve shlukování reprezentovat charakteristikami těchto skupin •Redukce na základě SD anebo CV Kde hledat shluky I. •Data můžou vytvářet shluky v odlišných dimenzích from Giovanni Montana's presentation Kde hledat shluky II. •V případě, že předpokládáme shlukování v nižších dimenzích, můžeme: •Hledat v nižších dimenzích vytvořených PCA •Použijeme podprostorové shlukovací algoritmy, které jsou schopné detekovat shluky, které existují ve více podprostorech a mohou se překrývat Podprostorové shlukovaní •Hledá shluky ve všech podprostorech •Počet podprostorů je 2d, kde d je počet dimenzí (počet genů/proteinů) • •Typy algoritmů: •Top-down – najde iniciální rozložení na všech dimenzích a potom se dívá na podprostory každého shluku, iterativně zlepšují výsledky •Bottom-up – najdou regiony v nižších dimenzích a potom je zkombinují a vytvoří shluky •MAFIA (Nagesh, 1999) •ENCLUS (Chen, 1999) •COSA (Damian et al., 2007) •SMART (Jing et al., 2009) > library(orclus) Vizualizace výsledků •Správná vizualizace výsledků je nejdůležitější součást analýzy! Boxploty exprese genů Vizualizace korelací mezi vzorky Alizadeh et al., Nature 403:503-11, 2000 Shrnutí •Více metod v rámci jedné studie •Konsenzuální shlukování •Dynamické řezání stromu •Vizualizace výsledků •Propojení výsledků s biologickými či klinickými proměnnými •Validace výsledků na testovém souboru!