Bakalářská práce

Improving Neural Network Abstraction through Neuron Activation Values

Michal Nosáľ
Anotace

Neurónové siete sa čoraz viac nasadzujú v bezpečnostne kritických systémoch, jepreto dôležité poskytovať formálne záruky o ich správaní. Ich formálna verifikácia je náročná, pretože existujúce metódy často zle škálujú s veľkosťou siete. Prístupy založené na abstrakcii riešia tento problém nahradením pôvodnej siete menšou korektnou abstrakciou. Existujúce abstrakčné metódy založené na CEGAR však pri …více

Abstract

As neural networks are increasingly deployed in safety-critical systems, it becomes important to provide formal guarantees about their behavior. Their formal verification is challenging because existing methods often scale poorly with network size. Abstraction-based approaches address this issue by replacing the original network with a smaller sound abstraction. Existing CEGAR-based abstraction methods …více

Zadání práce
Neural Network (NN) abstraction is a technique for reducing the size of an NN while ensuring that, if a property of interest holds on the smaller NN, it also holds on the original one; thus, an abstraction should provide an overapproximation of the original NN, either directly or through error bounds. This allows, for example, faster verification of NNs, as verification tools are often not scalable. Several works have been proposed for creating such abstractions. For example, [1,2] use the neuron activation values to group neurons that compute similar values for a given set of inputs. The groups of neurons are then merged. While [2] does not provide any formal guarantees, [1] provides an error estimation for a particular verification technique. Given a property, [3] can be applied such that the abstracted network will over-approximate the original network with respect to the property: for every input, if the property holds in the abstract network, it holds in the original network. This is not necessarily correct for [1] or [2].

In this thesis, we want to investigate the possibility of combining [3] with [1]. The student shall implement a new algorithm using closeness, as defined in [1], for identifying neurons to combine in the overall procedure outlined in [3]. Depending on the success of this method, we can incorporate [2], a complex improvement of [1], or work on an abstraction refinement step. Experiments shall be conducted to evaluate the improvements achieved.
Práce zkontrolována:
15. 6. 2026 10:11, prof. Dr. rer. nat. RNDr. Mgr. Bc. Jan Křetínský, Ph.D., učo 139914
Plný text práce
789,3 KB / soubor PDF
Jazyk práce
angličtina angličtina
Termín obhajoby
25. 6. 2026
Práce byla úspěšně obhájena

Vedoucí

prof. Dr. rer. nat. RNDr. Mgr. Bc. Jan Křetínský, Ph.D., učo 139914
KTP FI MU

Oponent

RNDr. Vít Musil, Ph.D., učo 246021
KTP FI MU

Konzultant

Sabine Rieder, M.Sc., učo 557344
KTP FI MU

Masarykova univerzita Fakulta informatiky
Studijní program
Plán
Informatika
  • Přidání souboru

    Soubor nebo složku lze nahrát pomocí tlačítka Přidat.
  • Další operace se soubory

    Podrobnosti lze zjistit označením příslušného řádku.
  • Pohled pro experty

    Pro častou práci je možné zvolit režim Více možností.
  • Vyhledávání souborů

    Vyhledávaný výraz můžete zadat přímo do adresního řádku.
  • Rychlý přístup k souborům

    Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.