Bakalářská práce
Získaná ocenění: Cena děkana FI za vynikající závěrečnou práci

Infrastructure and support tools for processing and analyzing large structured data

Denis Straňák, učo 492616
Anotace

Táto bakalárska práca sa zaoberá spracovaním a analýzou rozsiahlych súborov obsahujúcich štruktúrované, ale nesprávne uložené dáta, s dôrazom na uniknuté dáta užívateľov. Tradičné nástroje na spracovanie dát majú často problém s veľkým objemom dát, čo obmedzuje efektívnu extrakciu hodnotných poznatkov. V tejto práci skúmame koncepty veľkých dát (big data), analyzujeme úniky užívateľských dát a posudzujeme …více

Abstract

This bachelor thesis focuses on the processing and analysis of extensive data sets that contain structured but incorrectly stored data, with a specific emphasis on user data leaks. Traditional data processing tools often struggle with the volume of data involved, hindering efficient management and extraction of valuable insights. In this thesis, we explore big data concepts, analyze user data leaks …více

Zadání práce
The bachelor thesis topic is the design and implementation of a solution enabling the processing and subsequent analysis of large files (tens of billions of records) of structured but incorrectly stored data. In the first part of the thesis, the student will design a tool that will allow interactive classification of these large data sets (in CSV, SQL, and JSON formats in particular), and will allow both the creation of their descriptive structure (item names, metadata, etc.) and, in particular, the iterative correction of frequently occurring errors in them (different delimiters, different number of items, different encodings, etc.). In the second part of the thesis, the student will propose and design a suitable infrastructure into which the corrected and properly described data will be indexed -- he will focus mainly on the ElasticSearch document database, for which he will create automated installation scripts for practical deployment. Moreover, he will also prepare a solution for indexing the data (or parts of it) into SQL databases and exporting them into the corrected CSV formats. When testing the data indexation into the deployed document database, he will also present several indicators of performance tests, especially in terms of indexing performance and data lookups according to different search criteria.
Práce zkontrolována:
18. 5. 2023 12:49, RNDr. Tomáš Rebok, Ph.D., učo 39685
Jazyk práce
angličtina angličtina
Termín obhajoby
28. 6. 2023
Práce byla úspěšně obhájena

Vedoucí

RNDr. Tomáš Rebok, Ph.D., učo 39685
VSTR VS CERIT SC ÚVT MU

Oponent

RNDr. Milan Čermák, Ph.D., učo 325314
TCSIRT DKSD ÚVT MU

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Informatika
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.