Geoinformatika VI – Transformace dat jaro 2017 Petr Kubíček kubicek@geogr.muni.cz Laboratory on Geoinformatics and Cartography (LGC) Institute of Geography Masaryk University Czech Republic Geoinformatika Atributová data Způsoby vstupu do GIS: • Manuální • Skenování + rozpoznávání textu (OCR) • Převod z externích digitálních zdrojů Geoinformatika Manuální zadávání atributů • Nejběžnější způsob zadávání atributových dat je manuálně, pomocí klávesnice, na což stačí pouze jednoduchý hardware. • Možné problémy s integritou dat – lze kontrolovat. • Atributy se následně navazují na prostorovou část pomocí unikátního identifikátoru, který prostorové prvky již obsahují (vytváří se obvykle již při jejich tvorbě). • Kontrola správnosti zadaných údajů. – Single Key Data Entry - jeden operátor zadává atributová data a druhý operátor již zadaná data kontroluje (porovnává originál s vytištěnými výpisy, …). – Double Key Data Entry - atributová data jsou zadávána dvěma na sobě nezávislými operátory (každý zadává stejná data) a poté se obě varianty v počítači porovnají. Při nalezení rozdílných hodnot se zadaný atribut překontroluje a opraví. Metoda se používá spíše na větší projekty, u kterých velice záleží na správnosti zadaných údajů. Geoinformatika Skenování + rozpoznávání textu • Další možností je scannování textu obsahující žádané atributy a poté jeho automatizované rozpoznávání pomocí nějakého OCR (Optical Character Recognition - nástroje na rozpoznávání písma) software. • Tato metoda, ačkoli relativně velice rychlá, je stále úspěšná jen z části a je možné ji aplikovat většinou pouze na již tištěný text (i z psacího stroje). Po automatickém převodu je navíc nutné vše pečlivě zkontrolovat (podobně jako u manuálního zadání pomocí metody Single Key Data Entry). • Problémy s diakritikou. • Další nevýhodou je obvyklá nutnost ručního navazování atributů na prostorovou část, podobně jako u ručního zadávání dat. Geoinformatika Převod z jiných zdrojů • Kritéria pro volbu vhodnosti či nevhodnosti zdroje: – Formát souboru - mám možnost ho použít/importovat, případně existuje konverzní program? – Přenosové médium - na čem budu data přenášet? (CDROM, disketa, DAT pásek, síť). Toto kritérium je důležité hlavně v případě přenosu dat velkých objemů, například letecké snímky. – Tematický obsah dat - jsou v datech obsaženy všechny prvky co potřebuji? – Měřítko a přesnost - jsou data v požadovaném měřítku a přesnosti ? – Časový interval pořízení - kdy byla data pořízena a k jakému časovému intervalu se vztahují? – Souřadnicový systém - v jakém SS byla data pořizována? Mohu takový souřadnicový systém využít (případně mohu provést transformaci do mnou používaného souřadnicového systému)? – Kompatibilita datových modelů - např. problematika převodu křivek při převodu z CAD do GIS nebo i z GIS do GIS, převod formátu atributů. – Cena - … Geoinformatika Chyby v datech • Při vkládání dat do systému není možné zabezpečit správnost 100% zadání dat. • Identifikace chyb je velice obtížná. Obvykle se data kontrolují vizuálně. Dalším způsobem kontroly chyb prostorových dat je proces vytváření topologie neboli topologické čištění dat. • GIS mají většinou schopnosti procházet místa s potenciální chybou a umožní uživateli interaktivně odstranit případné chyby. Geoinformatika Možné chyby při zadávání • Nekompletnost dat - scházejí body, linie, polygony. • Chybné umístění prostorových dat - chyby vycházející ze špatné kvality vstupních dat nebo z nedostatečné přesnosti při digitalizování. • Zkreslení prostorových dat - chyby z nepřesností vstupních dat (deformace podkladových dat, zkreslení již existující analogové kresby). • Špatná vazba mezi prostorovými a atributovými daty. • Atributy jsou chybné nebo nejsou kompletní – velice častá chyba zvláště pokud jsou atributy pořizoványz různých zdrojů v různých časech. Geoinformatika Chyby při vytváření topologie • Třísky a mezery (Sliver and gaps) - jev nastává, když jsou dvě hranice digitalizovány z různých zdrojů, ačkoli v terénu představují jednu a tu samou. V takovém případě jsou linie představující tutéž hranici neidentické (nepřerývají se) • Mrtvé konce (dead ends) - nedotahy a přetahy. • Duplikátní linie (hlavně v CAD, ale i u některých GIS, které z toho vytváří regulární polygon) reprezentující stejný objekt. • Pokud se používá pro reprezentaci polygonů metoda hranic a centroidů, tak i přiřazení více centroidů jednomu polygonu. Geoinformatika Geoinformatika Topologické čištění dat • Jednotlivé úlohy – Eliminace duplikátních linií (stejných i podobných). – Odstraňování nedotahů a přetahů. – Nalezení průsečíků dvou nebo více liniových prvků s následující segmentací. – Odstranění mezer (souvisí s nedotahy). • Topologicky čistá data jsou taková data, nad kterými je možné vytvořit topologii, aniž by se jakkoli změnila jejich poloha. • Pro tvorbu topologicky čistých dat se používají topologické koncepty (konektivita, definice plochy, sousednost). Geoinformatika Chyby právního charakteru • Při pořizování dat je nutné brát v potaz i právní souvislosti problematiky, kdo má na data obchodní práva, zda je možné data využívat pro akademické, soukromé, či obchodní účely. • Zdroje obvykle přesně popisují možnosti využití a omezují zejména komerční či veřejné použití dat (i jako podkladu). • Ochrana dat (vodotisk, záměrné chyby). Geoinformatika Kahoot Geoinformatika TEST (?) Životní cyklus GIS dat zahrnuje? [2 body] a)sběr, správa, analýza a prezentace b)software, hardware, personál c)sběr, údržbu, poskytování a sdílení Věková struktura patří mezi typy atributových dat [3 body] a)Nominální b)Ordinální c)Intervalová d)Poměrová Geoinformatika TEST (?) Pro výběr modré plochy při převodu do rastrového datového modelu je nutné použít metodu: [4 body] a)Metoda dominantního typu b)Metoda nejdůležitějšího typu c)Metoda centroidu d)Metoda Kruskal-Wallis Geoinformatika Komplexní GIS schéma Geoinformatika Transformace • Polohová – geometrická transformace – Lineární – Afinní – Projektivní • Datového modelu – RAVE – rastr to vector – VERA – vector to rastr • Formátu Geoinformatika Geometrické transformace • Transformace mezi rovinnými pravoúhlými souřadnicemi jsou založeny na poznání přesné polohy vybraných identických bodů. Geoinformatika Geometrické transformace volba identických bodů • U výběru dvojic identických bodů je také vhodné mít na paměti, že je nutné je vybírat co nejblíže okrajům transformovaného území, aby nebyly způsobeny nežádoucí deformace na okrajích. Geoinformatika Geometrické transformace identické body a transformační koeficienty • Transformační koeficienty jsou hodnoty, vypočtené z dvojic identických bodů, kterými se vyjadřuje přechod od zdrojové souřadnicové soustavy do cílové. • U transformace se ale obvykle používá více identických bodů, než je nutné pro výpočet transformačních koeficientů. • Hodnoty transformačních koeficientů se pak vypočtou metodou nejmenších čtverců, kde se minimalizuje suma rozdílů v poloze mezi souřadnicemi transformovaných bodů (více – Matematická kartografie). • Transformace je například posun a změna měřítka. Geoinformatika Geometrické transformace – typy transformací Transformace souřadnicového systému mezi rovinnými pravoúhlými souřadnicemi: – Lineární konformní transformace (LKT) – Afinní transformace (polynomická prvního řádu a polynomické transformace vyšších řádů) – Projektivní transformace Geoinformatika Lineární konformní transformace • X(X,Y) - nové souřadnice • x(x,y) - staré souřadnice • B - úhel otočení • m - změna měřítka • p(a,b) - posun • Transformační koeficienty (m, B, a, b) lze vypočíst již ze dvou dvojic identických bodů (X1,Y1), (X2,Y2) a původní (x1,y1), (x2, y2). Zápis rovnicí X = m . cos (B) . x - m . sin (B) . y + a Y = m . sin (B) . x + m . cos (B) . y + b Helmertova transformace – speciální případ LKT; m = 1 Geoinformatika Lineární konformní transformace • Posun • Rotace • Uniformní změna měřítka (v obou osách stejná) • Zachovává tvar objektu! (konformní) • Je potřeba dvou dvojic identických bodů Geoinformatika Afinní transformace • Jednotlivé souřadnice nejsou na sobě závislé – změna měřítka v různých směrech. • X(X,Y) - nové souřadnice • x(x,y) - staré souřadnice • A - regulární matice • p(c,f) – posun • Transformační koeficienty (a, b, c,d,e,f) lze spočíst ze tří dvojic identických bodů. Zápis rovnicí X = a.x + b.y + c Y = d.x + e.y + f Geoinformatika Afinní transformace • Posun • Rotace • Neuniformní změna měřítka (v každé ose jinak – zkosení) • „Z obdélníka kosodélník“ • Je potřeba tří dvojic identických bodů Geoinformatika Projektivní transformace • Transformace jednoho rovinného prostoru do druhého – vhodné pro data s menšími deformacemi. • Posun • Rotace • „Z obdélníka lichoběžník“ • Je potřeba čtyř dvojic identických bodů Geoinformatika Další typy geometrických transformací - Rubber sheeting, edge matching • Rubber sheeting -pro zdeformované mapy – lineární transformace po částech. • Edge Matching – sjednocení okrajů mapy. V důsledku dělení plochy na mapové listy, odpovídá rubber sheetingu, ale platí pouze pro okraje mapových listů. Geoinformatika Projevy geometrických transformací • Helmertova? • LKT, m=1 Geoinformatika Transformace datového modelu • Jelikož pro některé analýzy jsou vhodnější vektorové reprezentace dat a pro jiné zase rastrové, GIS systémy pracující s oběma typy nabízejí nejrůznější nástroje umožňující a usnadňující převod mezi oběma reprezentacemi. • Převod z rastrové do vektorové podoby se nazývá vektorizace (RAVE), opačný proces z vektorové do rastrové podoby je rasterizace (VERA). Geoinformatika Vektorizace Ruční • Vše dělá operátor (případně za asistence počítače při přichytávání vektorových prvků na existující rastrovou kresbu - tzv. „čtvrtautomatická). Poloautomatická • Operátor zvolí počátek rastrové linie, systém se pokusí identifikovat rastrový objekt, ukáže operátorovi směr, kterým se vektorizace bude ubírat, a při potvrzení ze strany operátora, se vydá vektorizovat, dokud nenarazí na nějakou překážku (mezera, křižovatka) či sporný bod, kde se zastaví a čeká na operátorovu odezvu (jestli má pokračovat, v jakém směru má pokračovat, …). • Existují dva módy poloautomatické vektorizace, podle způsobu přichytávání: – na střed rastru (používaný pro vektorizaci linií), – na okraj rastru (používaný pro vektorizaci polygonů). Geoinformatika Poloautomatická • Přichytávání na okraj je pro počítač výrazně jednodušší, jelikož vektorizační software pouze hledá hranu v rastrovém obrazu, které se drží. • Přichytávání na střed je složitější a pro identifikaci středu vektorizovaného objektu se využívá principu nazývaného „skeletizace“ , který vychází z principů používaných v automatické vektorizaci. Geoinformatika Generalizace Proč vůbec je generalizace v GIS potřebná: • Ekonomické požadavky - svět nelze nikdy modelovat úplně přesně, vždy je to kompromis přesnost/cena. • Požadavky redukce objemu dat – čím více je dat, tím je větší možnost udělat chybu a čím je přesnější (intenzivnější) měření, tím je větší šance ovlivnění dílčích měření individuální chybou. – generalizace slouží k odfiltrování těchto chyb a konsolidaci. • Víceúčelovost požadavků pro údaje - z jedné digitální reprezentace dat je nutné vytvářet mapy s různými informacemi i v různých měřítkách, často velice rozdílných. • Požadavky zobrazování a komunikace (percepce-vnímání) dat – vychází z kartografických doporučení některých limitů, při jejichž překročení se mapy stávají nečitelnými (př. Max 10 gr. znaků na cm2). Geoinformatika Přehled metod Vybrané generalizační metody užívané v kartografii a GIS • Selekce (výběr prvků) • Eliminace (eliminace prvků) • Zjednodušení (zjednodušení prvků) • Agregace (kombinování malých prvků do větších) • Prostorová redukce (collapse) • Typifikace (redukce hustoty prvků) • Zvýraznění (přehnání, exageration ) • Reklasifikace a spojení (spojení prvků se stejnými vlastnostmi) • Řešení konfliktů (posunutí méně důležitých prvků) • Redukce vrcholů (Coordinate Thinning) Geoinformatika Nástroje generalizace v ArcGIS – příklady a užití • Aggregate Points, Polygons • Collapse Dual Lines To Centerline • Merge Divided Roads • Simplify Building, Line, Polygon • Smooth Line, Polygon Geoinformatika Aggregate Points, Polygons • Kombinování menších prvků do větších – nahrazení shluku bodů či objektů (polygonů) jedním velkým objektem. Geoinformatika Collapse Dual Lines To Centerline • Prostorová redukce – obrysové linie nahrazeny centrální linií. Geoinformatika Simplify Building, Line, Polygon • Douglas –Peucker algoritmus Geoinformatika Point x pásmo (tvar!) Geoinformatika Smooth Line, Polygon • Shlazení (polynomální aproximace) • Bézierovy křivky Geoinformatika Automatizace generalizace • GIS obsahují jen omezené nástroje pro automatizovanou generalizaci, jelikož se jedná o poměrně složitou problematiku, než aby mohla být plně automatizována. – Automatizovaně lze provádět pouze dílčí, specializované kroky z celého procesu (viz některé výše), – Celý proces které musí s ohledem na aplikaci řídit uživatel – kartograf! – Měřítkové řady a přechody. Geoinformatika Vliv generalizace na kvalitu údajů • Snižuje se polohová (prostorová) přesnost. • Při snížení polohové přesnosti se může snížit i atributová přesnost! • např. reklasifikace a spojení.