Táto práca sa zaoberá návrhom a vývojom užívateľsky prívetivého
webového rozhrania pre BricksLLM AI bránu, ktorá funguje ako
sprostredkovateľ pre populárne API veľkých jazykových modelov.
BricksLLM uľahčuje bezpečný odpredaj a monitorovanie používania
týchto API a poskytuje funkcie, ako je sledovanie používania a
riadenie prístupu.
Hlavným cieľom je pochopiť, ako BricksLLM funguje, najmä ako
pracuje s databázami PostgreSQL a Redis, a využiť tieto
znalosti na vytvorenie kompletného, ľahko použiteľného webového
rozhrania. V rámci tohto projektu bol BricksLLM integrovaný do
služby JupyterHub v centre CERIT-SC, čo používateľom umožňuje
prístup k funkciám LLM.
Nové webové rozhranie umožňuje používateľom prihlásiť sa
pomocou OIDC, vygenerovať si vlastný API kľúč BricksLLM,
prezerať si štatistiky používania a zabezpečuje, že každý
používateľ má len jeden API kľúč. Správcovia môžu monitorovať
aktivitu používateľov a používanie API. Všetko beží v prostredí
Kubernetes, ktoré je spravované pomocou Helm chartu na
jednoduché nasadenie.