Diplomová práce

Evaluation of Pattern-Based Tools Integration into a Distributed Log Ingestion Pipeline

Bc. Matúš Jakab
Anotace

Táto diplomová práca hodnotí, či nástroje založené na vzoroch dokážu využiť štruktúrnu pravidelnosť produkčných logov na zníženie nákladov na ukladanie dát a umožnenie nových analytických funkcií v rámci spracovateľského reťazca platformy SolarWinds Observability, ktorá denne spracúva desiatky terabajtov logov. Skúmajú sa dva integračné body: formát Compressed Log Processor (CLP) ako náhrada za GZIP …více

Abstract

This thesis evaluates whether pattern-based tools can leverage the structural regularity of production logs to reduce storage costs and enable new analytics in the log ingestion pipeline of SolarWinds Observability, a multi-tenant platform that ingests tens of terabytes of logs per day. Two integration points are investigated: the Compressed Log Processor (CLP) format as a replacement for GZIP in the …více

Klíčová slova
logs patterns mining log analysis log parsing log pattern mining log compression Drain CLP Zstandard GZIP template extraction variable extraction JSON multi-tenant SaaS observability SolarWinds storage cost reduction
Zadání práce
The primary objective of this thesis is to develop a proof-of-concept
for Data Ingestion Log Analysis. The student will conduct research and evaluate
various pattern-based tools to improve the log ingestion pipeline. The
evaluation will focus on the potential to reduce storage costs and enable the
automated extraction of log patterns for new observability features. Based on
the evaluation, the student will design a proof-of-concept implementation and
perform tests to demonstrate its viability using production-representative
datasets. Finally, the student will evaluate the tool's potential impact on
system performance and scalability within the context of the SolarWinds
infrastructure.
Administrativní informace
Práce zkontrolována:
20. 5. 2026 13:22, RNDr. Josef Spurný, Ph.D., učo 274152
Plný text práce
1 MB / soubor PDF
Přílohy (1)
Jazyk práce
angličtina angličtina
Termín obhajoby
16. 6. 2026
Práce byla úspěšně obhájena

Vedoucí

RNDr. Josef Spurný, Ph.D., učo 274152
KPSK FI MU

Oponent

doc. RNDr. Radek Ošlejšek, Ph.D., učo 3636
KPSK FI MU
Citovat tuto práci
Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Smart Service Design a Systems Thinking

Práce na příbuzné téma

Seznam prací, které mají shodná klíčová slova.

Podobné práce

  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.

  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.

  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.

  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.

  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.