Bakalářská práce

Using Microsoft Azure Cloud Services for Flow Data Storage and Analysis

Dominika Rybárová
Anotace

Táto práca popisuje analýzu toku dát pomocou Microsoft Azure a jeho dvoch služieb Azure Blob Storage a Azure Synapse Analytics. Okrem toho poskytuje nástroje na vytváranie súborov vo formáte Apache Parquet pomocou Pythonu.

Abstract

This thesis describes an analysis of flow data using Microsoft Azure and its two services Azure Blob Storage and Azure Synapse Analytics. Furthermore, it provides tools for creating files in Apache Parquet format using Python.

Klíčová slova
flow data IPFIX protocol Apache Parquet Pandas PySpark cloud computing Microsoft Azure SQL queries Azure Blob Storage Azure Synapse Analytics
Zadání práce
Cílem práce je průzkum možností a omezení při ukládání a zpracování dat popisujících síťové toky ve formátu Apache Parquet do služeb pro zpracování velkých objemů dat.
Práce se zaměřuje na zpracování dat uložených v objektovém úložišti Azure cloudu pomocí služeb Azure BLOB Storage a Azure Synapse. Postup řešení práce:
  • Seznamte se s problematikou síťových toků a formátem IPFIX.
  • Seznamte se s otevřeným sloupcovým formátem Apache Parquet.
  • Seznamte se s daty popisujícími síťové toky ve formátu Apache Parquet.
  • Uložte dostatečný objem dat do zvoleného objektového úložiště.
  • Prozkoumejte možnost zpracování dat v objektovém úložišti Azure cloudu za pomoci služeb Azure BLOB Storage a Azure Synapse.
  • Zhodnoťte výsledky a vhodnost použití zvoleného úložiště a služby pro zpracování dat ve formátu Apache Parquet.
Administrativní informace
Práce zkontrolována:
7. 2. 2022 07:22, RNDr. Petr Velan, Ph.D., učo 255519
Plný text práce
1 MB / soubor PDF
Jazyk práce
angličtina angličtina
Termín obhajoby
10. 2. 2022
Práce byla úspěšně obhájena

Vedoucí

RNDr. Petr Velan, Ph.D., učo 255519
TR DKSD ÚVT MU

Oponent

RNDr. Martin Husák, Ph.D., učo 256631
PB DKSD ÚVT MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Informatika
Obor

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.