Záznam a analýza digitálnych dát v antropológii – Objemové dáta • Mgr. Alexander Morávek Objemové dáta = informácie, ktoré sú získané radou za sebou získaných dvojrozmerných záznamov pozorovaného objektu prostredníctvom počítačovej tomografie (CT) alebo magnetickej rezonancie (MRI) - v surovej podobe sa jedná o jednotlivé rezy objektom, ktoré sú navrstvené na seba, pričom sa jednotlivé rezy môžu, aj nemusia, čiastočne prekrývať – ich vzájomná vzdialenosť určuje šírku rezu - jednotlivé rezy (snímky) sú tvorené maticou pixelov, čiže každý pixel má na snímke svoju x a y súradnicu (= rozlíšenie; napr 756 x 756 pixelov) - z-tová súradnica pre každý „pixel“ vzniká pri naskladaní rezov na seba, čím vieme definovať uloženie „pixelu“ v treťom rozmere priestoru – trojrozmerne definovaný pixel nazývame voxel!!! - dáta získané z CT a MRI neobsahujú farebnú informáciu – snímky sú v stupňoch šedej farby (8 bitové kódovanie = 256 možných stupňov = 28; 1 možnosť je pre bielu, 1 pre čiernu, 254 pre odtiene šedej, alebo 12 bitové kódovanie = 4096 = 212 možných stupňov) Objemové dáta NOTE: - pixel = picture element – základný prvok digitálneho obrazu, definovaný v 2-rozmernom priestore (x a y súradnice) – obrázky, fotky, čokoľvek zobrazené na obrazovke počítača - voxel = volume element – základný prvok 3-rozmerného digitálneho obrazu (najmenšia objemová jednotka), definovaný v 3-rozmernom priestore (x, y a z súradnice), 3D modely v digitálnom priestore - POZOR: Obraz 3D modelu premietaný na obrazovke je 2-dimenzionálny – nie je možné merať v 3 rozmeroch – na meranie v 3 rozmeroch je potrebné použiť špecializovaný software !!! - voxely môžu byť: - a) izotropné = všetky hrany sú rovnako dlhé (kocky) - b) anizotropné = hrany v jednom smere sú dlhšie ako vo zvyšných dvoch (kváder) Objemové dáta - voxel Izotropický vs. anizotropický Voxely poskladané na seba tvoriace 3D modely zubov človeka Voxely poskladané na seba prepojené spojnicami vrcholov tvoriacich 3D modely zubov človeka Voxely poukladané na seba v rámci 3D modelu vyzerajú a fungujú podobne ako bloky v Minecrafte! Pomôcka pre predstavivosť Záznamové technológie (metódy) •Sériové fotografie fyzických rezov/výbrusov •(napr. The Visible Human Project) - Časová náročnosť - Deštruktívnosť 8 Pokročilé zobrazovacie metódy: • MRI • CT • PET, SPECT - Cena - Dostupnosť (zariadenia sú neprenosné) - Potreba vyškoleného personálu Metódy záznamu objemových dát – magnetická rezonancia Magnetická rezonancia (MRI) generuje silné magnetické pole (až 3 Tesla). V takto silnom magnetickom poli dochádza k rezonancii s kladne nabitými protónmi vodíka, čím sa stávajú elektromagneticky usmernené. Túto zmenu je možné detegovať a na jej základe vypočítať zastúpenie atómov vodíka v danom priestore. V ľudskom tele je veľká časť atómov vodíka sústredená v telesných tekutinách (H2O), preto je vyšetrenie magnetickou rezonanciou vhodné najmä na mäkké tkanivá. Zrekonštruované dáta z MRI sú podobne ako CT dáta poskladané na seba prostredníctvom veľkého množstva jednotlivých snímok. Najčastejší formát pre tieto jednotlivé rezy (snímky) je u MRI a aj u CT práve .dicom (DICOM) formát – obsahuje metadáta o pacientovi a o podrobnom nastavení prístroja pri skenovaní. 1https://www.gasworld.com/liquid-helium-the-lifeblood-of-mri-machines/2016772.article 1 MRI prístroj Metódy záznamu objemových dát – počítačová tomografia Počítačová tomografia (Computed Tomography) vytvára kompletné zobrazenie objemu snímaného objektu z veľkého množstva sériových röntgenových snímok – to, s čím väčšinou pracujeme u nás. Technicky, však vzniká obraz medicínskeho CT tak, že žiarič a senzor rotujú okolo skenovaného objektu a zaznamenávajú obraz hviezdicovitým spôsobom, pričom následne je obraz pomocou algoritmov vyčistený a prepočítaný na jednotlivé rezy objektom. CT využíva röntgenové žiarenie!!! = Jeho využitie je vhodné pre štúdium materiálov pohlcujúcich RTG žiarenie – kosti, zuby. 1https://www.kavo.com/en-us/i-cat 1 Cone – Beam počítačový tomograf Počítačová tomografia - princíp • Rádiologická vyšetrovacia metóda využívajúca röntgenové žiarenie • Neinvazívna zobrazovacia metóda • Postupné meranie pracovného poľa pomocou RTG lúčov z rôznych uhlov (360°) • Zdroj (röntgenka, röntgenová trubica) + detektor • Využitie absorpčného kontrastu – rôzne pohlcovanie žiarenia v závislosti od hrúbky a materiálu vyšetrovaného objektu 11 Počítačová tomografia - princíp • Výsledok merania - sada 2D projekcií z rôznych pozícií (uhlov natočenia), ktoré sú následne rekonštruované pomocou matematických algoritmov (napr. Filtered Backprojection Algorithm) do 3D dát (predstavujúcich objemovú mapu hustoty objektu) 12 Rozlíšenie CT Celkové rozlíšenie záleží od veľkostnej matice snímok (koľko riadkov a stĺpcov pixelov tvorí jednotlivé snímky), od počtu jednotlivých rezov a vzdialenosti medzi nimi. Celkové rozlíšenie skenovanej oblasti (FOV – field of view) záleží od veľkosti tejto oblasti (napr. 18 cm x 18 cm x 12 cm pre CBCT) a od veľkosti matice snímok (napr. 800 x 800 x 670). Dáta CT sú veľkostne vždy kalibrované, preto vieme, akú veľkosť majú v reálnych mili-/ mikrometroch jednotlivé pixely na snímkach. Pre CBCT to môže byť napríklad 0,3 mm x 0,3 mm x 0,3 mm. Preto je na týchto dátach možné merať ako lineárne vzdialenosti, tak plochy alebo objemy v reálnych jednotkách. CT využíva röntgenové žiarenie. 1 1https://vesmirny-web.webnode.cz/neviditelna-astronomia/ Vybrané typy počítačových tomografov Špirálovité CT Cone-beam CT Mikro CT 1 2 1https://www.kavo.com/en-us/i-cat 2https://radiologykey.com/computed-tomography-3/ 3https://www.mdc-berlin.de/content/mcomputed-tomography 3 - pacient leží - možnosť skúmať väčšiu oblasť počas 1 skenu - nižšie rozlíšenie - vhodné na ktorúkoľvek časť tela - vyžitie v traumatológií, súdnej medicíne a v rádiológii - rozlíšenie celotelových tomografov od cca 0,5 mm - pacient sedí/ stojí - možnosť skúmať oblasť hlavy a čiastočne hornej polovice krku - vyššia rozlišovacia schopnosť - využitie v dentálnej medicíne a oro-faciálnej chirurgii - rozlíšenie do úrovne 0,25 mm - len malé vzorky (niekoľko cm3) - použiteľné na fragmenty kostí, zuby - veľmi vysoká rozlišovacia schopnosť (µm) zobrazenie štruktúr na mikroskopickej úrovni – „virtuálna histológia“ - (potenciálne) využitie vo forenznej antropológii, súdnej medicíne - rotuje objekt, nie záznamové zariadenia Využitie počítačovej tomografie v antropológii 15 Výskum vnútorných a dutých štruktúr: - vnútroušný labyrint, prínosové dutiny, endokranium, dreňové dutiny a kanáliky v zuboch, dreňové dutiny dlhých kostí Neinvazívne vyšetrenie cenných nálezov: - mumifikované pozostatky, fosílie Výskum mikroskopických štruktúr v 3D: - osteóny, Haversovské kanáliky, nanoCT – dokonca lakuny po osteocytoch Vizualizácia a analýza 3D tvaru a rozloženia/umiestnenia analyzovaných znakov/štruktúr (napr. zranenia na kostre) 3D – výrazné zlepšenie možností kvantitatívnych i kvalitatívnych analýz Spracovávanie objemových dát - Vizualizácia a segmentácia datasetov, tvorba a úprava 3D modelov, analýza pôvodných (raw dát) i vygenerovaných modelov Komerčný software: Amira (používaný u nás v laboratóriu), Avizo, Mimics, VGStudio - Vysoká cena, vysoké nároky na výkonnosť PC - Obrovské možnosti spracovávania a analýzy dát Voľne dostupný: InVesalius – redukcia dát pri importe (v závislosti na výkonnosti PC), malé množstvo editačných nástrojov 3D Slicer – často počas práce „padá“, náročný na pamäť RAM 16 Problémy objemových dát – počítačová tomografia • Využitie ionizujúceho žiarenia – možné len v prípade lekársky indikovaného vyšetrenia • Takto získané dáta, nie sú dátami získanými na 100% zdravej ani nutne reprezentatívnej vzorke populácie (pokiaľ sú snímaní živý pacienti; nemusí platiť pri snímaní kostrových (poz-)ostatkov) • Pri snímaní vznikajú rôzne artefakty spôsobené kovovými predmetmi (chirurgické svorky, strojčeky [rovnátka], umelé kĺby a iné významne rádiodenzné materiály), prípadne zubnými výplňami, ktoré výrazne znižujú kvalitu a presnosť záznamu • Vhodnosť na vysoko rádiodenzné materiály (kosti, zuby), pre zvýšenie kontrastu mäkkých tkanív je potrebné pacientovi podať kontrastnú látku – funguje dobre pre zobrazenie gastrointestinálneho traktu • Po skenovaní je potrebné dáta filtrovať – rôzne filtre • CT dáta nenesú žiadnu farebnú informáciou o skenovanom objekte • V miestach, kde sú kosti relatívne málo rádiodenzné, nemusia byť vôbec zaznamenané na CT dátach Výstupy 3D dát 1) Rezy skenovaným objektom - zobrazenie vybraného rezu pozdĺž niektorej z rovín - možnosť merať a hodnotiť len v rovine rezu 2) Objemové náhľady – podľa zvolenia prahu zobrazí software približný náhľad na hustotu materiálu (zobrazí náhľad, ako by pri danom prahu mohol vyzerať 3D model) - možnosť merať lineárne projekčné vzdialenosti, projekčné obsahy štruktúr - možnosť otáčať dátami vo všetkých osách, meniť prah, meniť algoritmus zobrazenia 3) 3D modely – po odlíšení (segmentácií) dát a vygenerovaní 3D modelu je možné: - na modely merať jeho objem, povrch, priame lineárne vzdialenosti, - model upravovať (rezať, vyhladzovať, zjednodušovať, a pod) - modely vzájomne porovnávať Výstupy 3D dát 1) Rezy skenovaným objektom - zobrazenie vybraného rezu pozdĺž niektorej z rovín - možnosť merať a hodnotiť len v rovine rezu - horizontálny rez ľudskou hlavou - artefakty - zuby - kosť - mäkké tkanivá - vzduch Výstupy 3D dát 2) Objemové náhľady – podľa zvolenia prahu zobrazí software približný náhľad na hustotu materiálu (zobrazí náhľad, ako by pri danom prahu mohol vyzerať 3D model) - možnosť merať lineárne projekčné vzdialenosti, projekčné obsahy štruktúr - možnosť otáčať dátami vo všetkých osách, meniť prah, meniť algoritmus zobrazenia Výstupy 3D dát 3) 3D modely – po odlíšení (segmentácií) dát a vygenerovaní 3D modelu je možné: - na modely merať jeho objem, povrch, priame lineárne vzdialenosti, - model upravovať (rezať, vyhladzovať, zjednodušovať, a pod) - modely vzájomne porovnávať Praktická ukážka práce v Amira 5.4.5 je na priloženom videu. zde https://web.microsoftstream.com/video/0147d04a-d417-40f5-b3e0-748eca76537a Spracovanie obrazu – Software Amira 5.4.5 1 https://www.thermofisher.com/cz/en/home/industrial/electron-microscopy/electron-microscopy-instruments-workflow-solutions/3d-visualization-analysis-software/amira-life-sciences-biomedical.html Amira 5.4.5 – Možnosti Amira 5.4.5 – Nástroje Amira 5.4.5 – Načítanie dát – dáta .am Formát .am je špecifický formát programu Amira, ktorý obsahuje všetky dáta (jednotlivé snímky + metadáta) v jednom súbore. Dá sa s ním pracovať iba v programe Amira Amira 5.4.5 – Načítanie dát – dáta .dicom Formát .dicom je nešpecifický formát prehliadateľný väčšinou grafických programov. Každý jeden súbor predstavuje jednu samostatnú snímku + podrobné metadáta. Tento formát nie je obmedzený, je možné so snímkami pracovať samostatne (ImageJ) alebo vcelku (Amira, 3DSlicer, a pod). Amira 5.4.5 – Načítanie dát – načítať kompletne do pamäte Pozor, potrebné pracovať na PC, ktoré má k dispozícií dostatočnú kapacitu pamäte RAM (min 8 GB, optimálne 16+ GB pre dáta väčšinou využívané v našom laboratóriu). Amira 5.4.5 – Načítanie dát V oblasti „pool“ pribudol načítaný objekt. Teraz je možné s dátami pracovať, prípadne ich vizualizovať. Amira 5.4.5 – Prvotné zobrazenie dát – Multi planar viewer Kliknutím na príslušné tlačidlo spustíme Multiplanar viewer. V pravej časti obrazovky vidíme 4 okná. Okná 1-3 predstavujú 2D rez dátami a 4. okno predstavuje dvojdimenzionálny náhľad na trojrozmernú hustotu (radiodenzitu) materiálu. Podľa zamerania zvolíme vhodné hodnoty thresholu (prahu – modré okienka) tak, aby sme boli schopný rozpoznať jednotlivé štruktúry tak, ako pre výskum potrebujeme. Amira 5.4.5 – Filtrovanie dát Nie vždy sú dáta optimálne a proces segmentácie by mohol byť obzvlášť zdĺhavý a nepresný – prítomnosť artefaktov, šumu a pod. V takom prípade je vhodné použiť niektorý z filtrov dostupných v tomto programe. Veľmi robustný a výrazne nápomocný filter je „Noise Reduction NonLocal Means“. Tento filter pracuje tak, že buď po jednotlivých snímkach, alebo sféricky v rámci 3D objemu počíta nelokálne priemery hodnôt pre skupiny susedných pixelov („znižuje variabilitu hodnôt medzi susednými pixelmi“). Pozor!!! Tento filter je mimoriadne výpočtovo náročný. Výpočet beží (rýchla verzia) na grafických kartách nVidia prostredníctvom CUDA jadier alebo prostredníctvom procesora (CPU - viacjadrovo) [pomalá verzia]. Tento filter je vhodné spúšťať na výpočtových staniciach s modernými grafickými kartami (nVidia 1080 Ti a výkonnejšími) alebo výkonnými viacjadrovými procesormi AMD Threadripper / AMD Epyc / Intel Xeon. Taktiež je potrebné veľké množstvo grafickej pamäte (absolútne minimum 4 GB). - Filter je nevhodné používať na štandardných notebookoch, nízko-výkonných PC. Veľkosť poľa Počet miestnych susedných pixelov Úroveň podobnosti Výpočtový hardware Amira 5.4.5 – Segmentačný editor V segmentačnom editore zvolíme „Image Data“, s ktorými chceme pracovať. V kolónke „Label Data“ klikneme na „new“ a vytvorí sa nový label, do ktorého sa budú ukladať materiály (to čo chceme odlíšiť pri segmentácii – segmentácia = rozlišovanie štruktúr). Do samostatných materiálov („Materials – new“) ukladáme vždy jednotlivé časti, ktoré chceme odlíšiť neskôr na 3D modele. Pre optimálnu viditeľnosť na snímkach nastavíme prahovanie (hore). Prahovanie segmentácie nastavíme na požadovanú hodnotu vtedy, ak segmentujeme (polo-) automaticky. Amira 5.4.5 – Segmentačný editor Po nastavení vhodného prahu pre zobrazovanie pokračujeme k segmentácií (odlíšení) vybraných štruktúr – v tomto prípade kostí a zubov. Nastavením vhodného segmentačného prahu (v tomto prípade 300 – 7000; líši sa u každého skenu a i u rôznych oblastí v rámci skenu) môžeme prejsť k poloautomatickej segmentácií. Postup bude zobrazení na ilustračnom videu. Po vysegmentovaní žiadaných štruktúr vložíme tieto zabraté oblasti do zvoleného materiálu stlačením klávesy „+“ alebo kliknutím myšou na tlačítko +. Amira 5.4.5 – Segmentačný editor Segmentovať je možné taktiež pomocou nástroja štetec („Brush“) a to v kruhovom alebo štvorcovom tvare. Pomocou posuvníka „Size“ je možné zmenšovať a zväčšovať plochu štetca. Tento nástroj funguje 2 spôsobmi; 1) ak nastavíme „Masking“ na „Enable“, potom budú zavzaté len oblasti, ktoré pokrýva prah (Display and Masking). 2) ak vypneme „Masking“, tak potom štetec vždy zaberie kruhovú/ štvorcovú oblasť tam, kde klikneme, bez ohľadu na prah. Pre odznačenie štruktúry stlačíme CTRL a klikneme štetcom na označenú oblasť, ktorú chceme odznačiť. Amira 5.4.5 – Segmentačný editor Laso funguje v princípe podobne ako štetec v rámci „Maskingu“. Na výber sú 3 možnosti: Freehand – kreslíme voľne myšou, pričom sa snažíme čiastočne obkrúžiť objekt. Medzi miestom kde krivku uvoľníme je k miestu jej počiatku odhadnutá priamka, ktorá uzatvára danú oblasť. Táto oblasť bude označená ako oblasť záujmu (vysegmentovaná). Elipse – vytvorí elipsu, Rectangle – vytvorí obdĺžnik. Odznačenie funguje opäť stlačením klávesy Ctrl. Amira 5.4.5 – Segmentačný editor Magic Wand sa vo využití funcie „Masking“ nelíši od predchádzajúcich. Funguje takým spôsobom, že po zakliknutí nejakého pixelu, ktorý spadá do nami zvoleného prahu, zaberie taktiež všetky pixely vzájomne prepojené týmto prahom na tejto snímke (bez zaškrtnutia „All slices“) alebo v celom 3D objeme (ak „All slices“ zaškrtneme) – táto funkcia je časovo nenáročná, no jej vhodnosť je obmedzená kvalitou dát, artefaktmi, chybami pri skenovaní a pri rekonštrukcií dát ... Odznačenie funguje buď použitím Ctrl klávesy a nakreslením nepreniknuteľnej línie v rámci snímky (prípadne kliknutím na „Draw limit line“) alebo prebieha odznačenie manuálne pomocou nástroja štetec. Amira 5.4.5 – Segmentačný editor Funkcia threshold funguje priamo na princípe zabratia oblastí, ktoré spadajú do nami vyznačeného prahu. Toto je možné pre samostatné snímky (bez zakliknutia funkcie „All slices“) alebo kompletne pre celý súbor (so zakliknutím). Odmazávanie prebieha manuálne pomocou štetca, prípadne lasa. Amira 5.4.5 – Segmentačný editor – odstránenie ostrovčekov Ostrovčeky vznikajú pri (polo-) automatickej segmentácií a sú to samostatné úseky, väčšinou artefakty*, ktoré nechceme zavzať do 3D modelu. Veľkú časť z nich vieme odstrániť automaticky pomocou funkcie „Remove islands“. Nastavíme požadovanú maximálnu veľkosť a zvolíme prehľadanie dát v 3D objeme. Následne zaklikneme „Remove“. Amira 5.4.5 – Segmentačný editor – zaplnenie dier Zaplnenie dier môžeme spraviť automaticky buď po jednotlivých snímkach alebo naraz pre všetky snímky. Zaplnenie dier má zmysel vtedy, keď chceme získať iba vonkajší povrch 3D modelu (taký 3D model, kedy nás nezaujíma, čo je vo vnútri). Napríklad, keď chceme porovnávať 3D modely kostí pomocou algoritmov porovnávajúcich siete (mesh to mesh), je potrebné, aby vnútro objektov bolo prázdne (neboli v ňom žiadne ďalšie povrchy). Táto procedúra výrazným spôsobom zníži výsledný počet faciet, čo v dôsledku znamená vyššiu rýchlosť pri práci s modelom. Amira 5.4.5 – Tvorba 3D modelu Pre vytvorenie 3D modelu klikneme pravým tlačidlom myši na pripravený label, zvolíme záložku „Compute“, následne „SurfaceGen“. Následne v novo-zobrazenom okne nastavíme „Smoothing“ (vyhladenie) na „none“ a zaklikneme „Apply“. Amira 5.4.5 – Tvorba 3D modelu a jeho zobrazenieV okne „Pool“ pribudol objekt s koncovkou .surf. Pre zobrazenie 3D modelu klikneme pravým tlačítkom myši na tento objekt a zvolíme záložku „SurfaceView“. V okienku „SurfaceView“ môžeme nastaviť niekoľko zobrazovaných štýlov. - Shaded – tieňovaný model zobrazujúci povrch. - Outlined – model, ktorý zobrazuje spojnice medzi bodmi. - Transparent – model, ktorý je priehľadný a zobrazuje vnútro modelu (dutiny v kostiach napr.) - Points – zobrazí model ako mrak bodov - Lines – zobrazí model len ako spojnice medzi bodmi. S takto vytvoreným modelom môžeme teraz rotovať, môžeme ho posúvať, približovať a vzďaľovať, môžeme merať v 3D priestore lineárne rozmery, prípadne projekčné vzdialenosti na monitore v 2D. Takýto model môžeme exportovať. Amira 5.4.5 – Práca s modelom – zjednodušenie modelu Pokiaľ vytvoríme 3D model, pravdepodobne bude pozostávať z niekoľkých miliónov bodov a facet (faceta = plochý útvar prepájajúci body, ktoré tvoria povrch modelu). S takýmto množstvom bodov je takmer nemožné pracovať, preto je vhodné model zjednodušiť. Zakliknutím modelu (objekt s príponou.surf) klikneme na „Simplifier“ a zvolíme zjednodušenie na 300 000 faciet – toto nastavenie sa mení podľa typu objektu, rozlíšenia, študovanej štruktúry a pod. Následne zaklikneme „Simplify now“. Takto zjednodušený objekt pozostáva už len z približne 300 000 faciet, čo sa ale prejavilo na kvalite 3D modelu. Preto je vždy potrebné uvažovať do akej miery je vhodné model zjednodušovať. Amira 5.4.5 – Export modelu 3D model vyexportujeme tak, že na súbor s koncovkou .surf klikneme pravým tlačidlom myši, klikneme na „Save as“ a v tabuľke, ktorá vyskočí vyberieme požadovaný formát (.obj/ .stl/ .ply) a prípadne zmeníme názov súboru. Takto vyexportovaný súbor môžeme ďalej spracovávať v ďalších programoch (Meshlab, GomInspect, FIDENTIS a pod.). Pre segmentáciu a následnú tvorbu 3D modelu (modelov) akýchkoľvek štruktúr postupujeme analogicky. Pre vytvorenie modelu mäkkých tkanív je potrebné nastaviť nižšie hodnoty prahu ako pre zabratie kostí/ zubov. Praktická ukážka segmentácie a tvorby 3D modelu kostí, zubov a mäkkých tkanív tváre bude zobrazená na doprevádzajúcich videách. Ďakujem za pozornosť