ZÁKLADNÍ PRINCIPY ANALÝZY OBRAZU Příklady analýzy obrazu Radek Fedr Credit: Dr Jônatas Bussador do Amaral (Dr Gláucia Maria Machado Santelli) | Nikon Small World ISO ChK1 Specifický ChK1 78.436 jader ANALÝZA TKÁNÍ § 16 tkáňových řezů (8 ISO + 8 specifické) § 23,3 GB dat obrazů § 200 zorných polí/řez § 5 684 588 jader § 1,5h analýza obrazů § 36 parametrů/jádro § 40 GB dat celkem SROVNÁNÍ Příprava vzorku POSTUP Snímání Uložení dat Zpracování Analýza Vyhodnocení dat PŘÍPRAVA A SNÍMÁNÍ § živé § fixované § 2D § 3D Vzorek Mikroskopie §průchozí světlo §fázový kontrast §fluorescence §konfokální §holografická §elektronová § suspenze § monovrstvy § kokultivace § tkáň § sferoidy § organoidy • Experiment PŘÍPRAVA A SNÍMÁNÍ § podložní sklo § ztenčené dno § více-jamkové desky Plast Rozlišení § objektiv § bitová hloubka § počet barev Grey levels Grey levels FLUORESCENCE FLUOROCHROM § Síla fluorescence fluorochromů není stejná! § spectraviewer § www.fluorofinder.com § FLUOROCHROM § Různý JAS fluorochromů § Různá stabilita/životnost fluorochromů § Nejméně exprimovaný protein = nejsilnější fluorochrom § Silně exprimovaný protein = slabší fluorochrom § § Historicky 488nm argonový laser – FITC vs. Alexa Fluor 488 etc. §Příprava vzorku §Automatické §Hledání §Zaznamenání §Popis §Vyhodnocení §Automatické §Automatické §Automatické SNÍMÁNÍ “THE FIRST RULE OF ANY TECHNOLOGY USED IN A BUSINESS IS THAT AUTOMATION APPLIED TO AN EFFICIENT OPERATION WILL MAGNIFY THE EFFICIENCY. THE SECOND IS THAT AUTOMATION APPLIED TO AN INEFFICIENT OPERATION WILL MAGNIFY THE INEFFICIENCY.” Bill Gates MIKROSKOP Olympus IX70 Olympus FV10i MD ImageXpress Micro Leica SP5/SP8 TissueFAXS Plus Olympus/Leica Hyperion SOFTWARE SNÍMÁNÍ OBRAZU § Úkolem je zachytit zvětšený obraz reality § Čip / PMT / HyD detektor SNÍMÁNÍ OBRAZU § Fluorescenční mikroskop vs. § Konfokální mikroskop Fluorescenční mikroskop Konfokální mikroskop SNÍMÁNÍ OBRAZU Detektor Laser scanning Spinning disc Apertura Zrcadlo/Scanner Filtr Vzorek KONFOKÁLNÍ MIKROSKOP KONFOKÁLNÍ VS. FLUORESCENČNÍ MIKROSKOP X KONFOKÁLNÍ VS. FLUORESCENČNÍ MIKROSKOP LIDSKÉ OKO § 400-700 nm (380-760) Tyčinky (černobílé) § 500nm, 20x více než čípků Čípky (R,G,B) (barevné) § 400-500nm Modrá – 4% 440 nm § 500nm-600nm Zelená - 32% 540nm § 600-700nm Červená – 64% 570 nm § Rozlišení 0,1-0,15mm, 25 cm § 500 stupňů šedi, 10 milionů barev § Adaptace na tmu 40 min § 25snímků/s pohyb, zaostření 50 věcí/s, otisk prstu 40 parametrů – duhovka 256 parametrů OBRAZ 2D tabulka pixelů ROZLIŠENÍ § počet pixelů § CMOS/CCD čipy § dpi – dots per inch § § tvar objektu vs. px § zvětšení objektivu § rozlišení objektivu § 12 x 16 px § 321 x 428 px § § Oko: 0,1-0,15mm § Mikroskop: 0,00017mm, Abbeho limit, Numerická apertura, zvětšení objektivu, vlnová délka § ROZLIŠENÍ 1 x 1 px § 3 x 3 px § STUPNĚ ŠEDI § Hladiny 150, 145, 140 § 30 stupňů šedi. STUPNĚ ŠEDI § okolo 900 stupňů šedi relativně BAREVNÉ KÓDOVÁNÍ § 10 milionů barev HISTOGRAM – BITOVÁ HLOUBKA 8 bit Grey levels 16 bit Bitová hloubka Grey levels ImageJ: Analyze → Histogram Image → Type Histogram Originální obrázek HISTOGRAM – REKONSTRUKCE OBRAZU Histogram HISTOGRAM – DYNAMICKÝ ROZSAH Originál Histogram stretching Velký dynamický rozsah Krátká expozice Dlouhá expozice Malý dynamický rozsah Originál Odstranění pozadí ImageJ: Image → Adjust → Brightness/Contrast HISTOGRAM & LUT – LOOKUP TABLE Jak LUT funguje Intenzita na vstupu 255 0 255 ImageJ: Image → Lookup Tables → Invert LUT/Green HISTOGRAM & LUT – PŘÍKLADY Vstup 255 255 0 Vstup 255 255 0 Vstup 255 0 255 Jas Kontrast Žádná změna ImageJ: Image → Adjust → Brightness/Contrast HISTOGRAM - ŠUM Gaussovský Sůl & Pepř Blur filtering Median filtering ImageJ: Process → Filters → Gaussian Blur/Median DATOVÉ FORMÁTY Tvar složený z geometrických objektů Jemná struktura Diagramy, schémata, grafy, ilustrace Typické formáty: SVG, DWG, CDR, WMF Vektorové obrazy Rastrové obrazy Tvar reprezentovaný maticí pixelů Pixelace Fotorealistické obrazy Typické formáty: JPEG, GIF, TIFF, PNG DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky a realistické obrazy Ztrátová komprese Jemné, pozvolné přechody Nepodporuje transparentnost Joint Photographic Expert Group (JPEG) Portable Network Graphics (PNG) Grafika, obrazy s textem, fotky Bezeztrátová komprese Velké oblasti sytých barev, ostré přechody Nepodporuje Non-RGB barevný prostor(CMYK) ImageJ: File → Save As → PNG/Jpeg DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky a realistické obrazy Ztrátová komprese Jemné, pozvolné přechody Nepodporuje transparentnost Rozdělení na bloky 8x8 pixelů, 2D DCT Joint Photographic Expert Group (JPEG) ImageJ: File → Save As → PNG/Jpeg Lidský zrak je citlivý k relativně malé změně v jasu nebo v barvě na poměrně velké ploše. V rozlišování konkrétní síly rychle se měnícího jasu (vysokofrekvenční změny) je však mnohem horší. DATOVÉ FORMÁTY – RASTROVÁ GRAFIKA Fotky, grafika Možnost bezeztrátové komprese Profesionální, široce podporovaný Různé barevné prostory, jakékoli rozlišení a barvy Tagged Image File Format (TIFF) Graphic Interchange Format (GIF) Grafika, loga, animace Bezeztrátová komprese Velké oblasti sytých barev, ostré přechody 8bits/pixel, 256 barev z 24bit RGB prostoru ©EMBL ImageJ: File → Save As → Gif/Animated Gif/Tiff/Compressed TIFF Stephen Wilhite, 1987 gif ZPRACOVÁNÍ – BODOVÉ TRANSFORMACE g=T(f) Vstup 255 255 0 Vstup 255 255 0 +30 x 5 ImageJ: Image → Adjust → Brightness/Contrast FILTROVÁNÍ – LOKÁLNÍ ZMĚNY © 2015 Stack Exchange Inc ImageJ: Process → Sharpen/Filters → Unsharp Mask FILTROVÁNÍ – PŘÍKLADY doostření rozmazání detekce hran dekonvoluce ImageJ: Process → Sharpen/Smooth/ Find Edges Plugins → Parallel Iterative Deconvolution kx FILTROVÁNÍ – GLOBÁLNÍ TRANSFORMACE Konvoluce = Násobení 0 frekvence x ImageJ: Process → FFT → FFT Fast Fourier Transformation Vzdálenost OBRAZOVÁ ARITMETIKA Sčítání + = + = ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA + = - = ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA x = / = ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA AND = OR = ImageJ: Process → Image Calculator OBRAZOVÁ ARITMETIKA – PŘÍKLADY / = Flat Field korekce Gaussian blur ImageJ: Process → Filters → Gaussian Blur → Save As Process → Image Calculator OBRAZOVÁ ARITMETIKA – PŘÍKLADY = Segmentace Maska AND ImageJ: Image → Adjust → Threshold → Save As Process → Image Calculator SEGMENTACE – MANUÁLNÍ Originální obraz Prahování Maska ImageJ: Image → Adjust → Threshold PRAHOVÁNÍ TRESHOLDING SEGMENTACE – POLOAUTOMATICKÁ Start - ROI Level sets Konec Maska ImageJ: Plugins → Segmentation → Level Sets SEGMENTACE – POLOAUTOMATICKÁ ImageJ: Plugins → Segmentation → Level Sets SEGMENTACE – STROJOVÉ UČENÍ Učení malováním Maska Originální obraz Kontrola a oprava Ilastik: Pixel Classification → Input Data → Feature Selection → Training → Prediction Export SEGMENTACE – AUTOMATIZOVANÁ Originální obraz Otsu - Klastrování Segmentovaný obraz Intra-class variance minimal ImageJ: Image → Adjust → Threshold → Otsu ZMĚNA MORFOLOGIE MASKY Eroze Roztažení Zavření Otevření + Structuring element ImageJ: Process → Binary → Make Binary Process → Binary → Dilate/Erode/Open/Close ZMĚNA MORFOLOGIE MASKY Originální obrazy Prahování Watershed Voda stéká do údolí ImageJ: Process → Binary → Make Binary Process → Binary → Watershed SEGMENTACE – 3D MODELOVÁNÍ Originální obraz Oprahovaná jádra 3D projekce ImageJ: Image → Adjust → Threshold → Otsu Plugins → 3D Viewer OBRAZOVÁ ANALÝZA - STEREOLOGIE Velikost pixelu Plocha Intenzita (bitová hl.) Textura Morfologie x y ImageJ: Image → Properties Analyze → Analyze Particles PROBLÉMY § Doba snímání § Kvalita obrazů § Ukládání velkých obrazů § Postup analýzy § Výběr parametrů § Statistika § Vizualizace § § Titrace, výběr protilátky, fluorochrom, fixace § Rubish in rubish out § 100Mbit/s § Znalost SW a postupů zpracování obrazu § Odborné články § Výběr správného testu §Výběr SW, Statistica, SPSS, R § § > APLIKACE Příklady analýz POČÍTÁNÍ BUNĚČNÝCH KOLONIÍ § Hightroughput § Průchozí světlo § Velikost kolonie § Klonogenní kapacita § Testování léčiv ANALÝZA ŽIVÝCH BUNĚK Čas (300 s) IONOMYCIN ©Karel Souček, Milan Ešner TRACKING BUNĚK S APLIKACÍ AI § Hightroughput § Jednotlivé buňky § Průchozí světlo + Fluorescence § Fucci2 § Automatizovaná procedura § Zpracování dat – dendrogram § Strojové učení klasifikátoru § Aplikace umělé inteligence 3D ANALÝZY § Kvantifikace objemu § 3D projekce § 3D kultivace x DETEKCE SFEROIDŮ A INVAZIVITY § Hightroughput § Průchozí světlo § Detekce sferoidů § Detekce invadujících buněk § Plocha ANALÝZA TKÁNÍ § Hightroughput § Barevný obraz § Fluorescence § Detekce jader § Kvantifikace intenzity § Zpracování dat - R § Kvantifikace morfologie a rozdílů mezi buněčnými liniemi/klony § Morfologický „otisk“ (profil) buněk § Výběr parametrů s největší odlišností pro jednotlivé linie MORFOLOGIE – CELL PAINTING ANALÝZA CELL PAINTING - POSTUP Výsev buněk Pátek 4 h Speciální deska Manuální, 4jamky/linie = 88 linií, 80% denzita Značení Pondělí 3 h Zavedený protokol Poloautomatické Snímání obrazů Analýza obrazů Analýza dat Pondělí 40 h Zavedený protokol 40x objektiv, Adaptivní – 1tis. buněk/jamka, 120 GB Čtvrtek 7 dní 3 protokoly Klastr, Kvalita obrazu, 1785 parametrů Další čtvrtek 2 h Skript Poloautomatické, heatmapa, PCA, Vi-SNE, Odlišné parametry CELL PAINTING - OBRÁZKY DNA Concanavalin A Glycolipids Hoechst 33342 Alexa Fluor 488 Green fluorescent AF568, AF555 Deep Red SYTO 14 Phalloidin Wheat germ agglutinin MitoTracker DAPI Cy3 GFP TxRed Cy5 Merge Hoechst, Concanavalin A, MitoTracker 4T1 12B luc2 316 317 318 ctrl CELL PAINTING - VÝSLEDKY K ČEMU JE TO DOBRÉ? DĚKUJI ZA POZORNOST 27.11.2023 Radek Fedr Obsah obrázku text, Písmo, snímek obrazovky, Grafika Popis byl vytvořen automaticky Obsah obrázku Grafika, snímek obrazovky, Písmo, design Popis byl vytvořen automaticky