Předmětem bakalářské práce je analýza datových toků v rámci Informační a datové platformy (IDP) určené pro podporu oblasti Smart Cities. Práce se zaměřuje na integraci dat z vybraných aplikací (DB strategií, DB dobré praxe, DB finančních zdrojů a Obce PRO) do relačního datového skladu, přičemž cílem je detailní zmapování původu a toku dat pomocí open-source nástrojů pro data lineage.

Student:

• Prostuduje strukturu existujícího datového modelu a zdrojové kódy stávajících ETL procesů v rámci platformy a zdokumentuje jejich vzájemné závislosti.
• Vytvoří sadu analytických SQL dotazů nad relačním datovým skladem, které umožní ověřit konzistenci, úplnost a správnost integrovaných dat. Dotazy budou pokrývat klíčové datové entity a vztahy mezi zdrojovými aplikacemi a cílovými strukturami datového skladu.
• Prozkoumá, identifikuje a porovná open-source nástroje pro sledování data lineage – a to jak na úrovni SQL schématu relačního datového skladu, tak na úrovni pipeline kódu ETL procesů. Porovnání bude provedeno podle předem stanovených kritérií, mezi která patří minimálně: typ a rozsah podporovaných integrací, podpora nasazení v Kubernetes, aktivita open-source komunity a kvalita dostupné dokumentace. Student posoudí minimálně tři nástroje.
• Nakonfiguruje, zdokumentuje a nasadí do připraveného Kubernetes clusteru vybrané řešení pro automatizované sledování metadat a data lineage. Pomocí tohoto řešení vizualizuje a zdokumentuje existující datové toky.
• Navrhne a implementuje mechanismus zpětné propagace metadat do platformy. Návrh bude zahrnovat specifikaci formátu předávaných metadat, způsob jejich validace a postup ověření, že propagace proběhla správně.

Zdrojový kód bude veřejně dostupný v archivu IS MU pod licencí MIT.