2016
Stream4Flow: Software for mining and analysis of the large volumes of network traffic
JIRSÍK, Tomáš; Milan ČERMÁK; Daniel TOVARŇÁK; Jakub Samuel PAULOVIČ; Michal ŠTEFÁNIK et. al.Základní údaje
Originální název
Stream4Flow: Software for mining and analysis of the large volumes of network traffic
Název česky
Stream4Flow: Software pro analýzu a dolování informací ze síťových dat velkého rozsahu
Autoři
JIRSÍK, Tomáš (203 Česká republika, garant, domácí); Milan ČERMÁK (203 Česká republika, domácí); Daniel TOVARŇÁK (203 Česká republika, domácí); Jakub Samuel PAULOVIČ (703 Slovensko, domácí) a Michal ŠTEFÁNIK (703 Slovensko, domácí)
Vydání
2016
Další údaje
Jazyk
angličtina
Typ výsledku
Software
Obor
10201 Computer sciences, information science, bioinformatics
Stát vydavatele
Česká republika
Utajení
není předmětem státního či obchodního tajemství
Odkazy
Kód RIV
RIV/00216224:14610/16:00087653
Organizační jednotka
Ústav výpočetní techniky
Klíčová slova česky
proudové zpracování dat; síťové toky; analýza; monitorování zařízení;
Klíčová slova anglicky
data stream processing; IP flows; analysis; host monitoring
Technické parametry
Stream4Flow je možné využít v odvětvích zabývajících se bezpečnostním monitorování počítačových sítí. Framework umožnuje přijmout, analyzovat a zobrazit výsledky analýz síťového provozu v reálném čase. Framewokr obsahuje aplikace, které umožnují detekovat různé druhy síťových útoků a vypočítávat základní charakteristiky o jednotlivých zařízeních v síti. Tyto aplikace je možné využít pro odhalení podezřelého chování zařízení v dlouhodobém horizontu či následně pro tvorbu reputace daného zařízení. Software je primárně distribuován mezi týmy zabývající se síťovou bezpečností, ale je možné ho využít i v jiných oblastech zabývajích se zpracováním velkého objemu dat. Kontaktní osoba: Mgr. Tomáš Jirsík Ústav výpočetní techniky, Masarykova Univerzita Botanická 68a, Brno 602 00 e-mail: jirsik@ics.muni.cz tel:+420 549 494 271
Štítky
Změněno: 22. 2. 2017 09:04, RNDr. Tomáš Jirsík, Ph.D.
Anotace
V originále
A framework for the real-time IP flow data analysis built on Apache Spark Streaming, a modern distributed stream processing system. The basis of the Stream4Flow framework is formed by the IPFIXCol collector, Kafka messaging system, Apache Spark, and Elastic Stack. IPFIXCol enables incoming IP flow records to be transformed into the JSON format provided to the Kafka messaging system. The selection of Kafka was based on its scalability and partitioning possibilities, which provide sufficient data throughput. Apache Spark was selected as the data stream processing framework for its quick IP flow data throughput, available programming languages (Scala, Java, or Python) and MapReduce programming model. The analysis results are stored in Elastic Stack containing Logstash, Elasticsearch, and Kibana, which enable storage, querying, and visualizing the results. The Stream4Flow framework also contains the additional web interface in order to make administration easier and visualize complex results of the analysis. Due to above-described architecture, the framework is suitable for host monitoring and long-term malicious behavior discovery, description of the behavior of individual entities in the network and building its reputation record. It is also suitable for real-time attack detection, network monitoring, and overall situational awareness.
Návaznosti
| TA04010062, projekt VaV |
|