Infraštruktúra a hardvér
Nástenné hodiny s NTP: V novorekonštruovanej časti budovy C3 boli nasadené technicky celkom zaujímavé nástenné hodiny s hodinovým strojom Mobatime SAN 40. Ten je pripojiteľný k dátovej sieti pomocou Ethernetu, odkiaľ zároveň čerpá napájanie pomocou PoE (Power over Ethernet), a tiež využíva sieť na synchronizáciu presného času pomocou NTP. Motiváciou je, že doteraz používané hodiny riadené rádiovým signálom signál často strácajú a nefungujú spoľahlivo. Pre zaujímavosť, tieto hodiny je možné spravovať pomocou SNMP a dokonca by mali podporovať i IPv6.
Sledovanie chýb liniek medzi switchmi: V súvislosti s nedávnymi problémami na linke medzi dvomi našimi switchmi v A4 (ktorých príčina sa ukázala byť v transceiveri) sme začali sledovať a hlásiť väčšiu chybovosť na sieťových linkách medzi našimi switchmi. Tieto dáta máme už nejakú dobu dostupné i v podobe grafov, ale systematicky sme s nimi nepracovali. Navyše, pracovať so samotnou informáciou o počte chýb za daný čas nie je úplne prínosné, pokiaľ sa nezoberie do úvahy ich relatívny výskyt vzhľadom na celkový počet prenesených rámcov. Využijúc dáta z problému v A4 sme zistili, že vtedy dochádzalo k chybám na úrovni 100 ppm, pričom bežne to býva 0 alebo sem-tam na úrovni zlomkov ppm.
Linuxové učebňové stroje
K rozdeleniu linuxových a windowsových učební: V rámci rozvrhovania výuky do učební sa občas riešia situácie, kedy je náročnejšie uspokojiť požiadavky vyučujúcich s ohľadom na dostupné kapacity učební s daným operačným systémom. Pre zaujímavosť tu zmieňme, že v rámci diskusie na túto tému s fakultnou rozvrhárkou sme zisťovali prípadnú prínosnosť zmeny OS v niektorej z učební, keďže aktuálne je situácia s dostupnosťou linuxových učební pomerne napnutá (hoci nie tak veľmi ako bola do doby nedávneho otvorenia linuxovej učebne B011). Ukázalo sa, že aktuálny stav je zrejme rozumnou rovnováhou, pretože pri prehodení jednej windowsovej učebne na linuxovú by zas došlo k príliš veľkému tlaku na učebne s Windows. Preto bude zrejme do doby nových učební v relatívne vzdialenej budúcnosti aktuálny stav zachovaný. Zaoberali sme sa tiež možnosťou paralelného prevádzkovania Linuxu i Windows v niektorých učebniach, ale vzhľadom na komplikovanejšiu správu takýchto strojov to je riešenie, ktorého nevýhody v túto chvíľu neprevažujú väčšiu flexibilitu v rozvrhovaní.
Softvérové vybavenie a prostredie
Aktualizácia Aisy z RHELu 7 na 9: V priebehu piatka 25. 8. sme realizovali dlhoočakávanú aktualizáciu operačného systému Aisy, ktorý už v niektorých situáciách začal kvôli veľkému rozdielu verzií knižníc medzi fakultnými strojmi (napr. Nymfe, ale i Aura) spôsobovať problémy (napr. v systéme modulov). Pre zaujímavosť, počas aktualizácie, ktorá trvala zhruba 7 hodín, sme drvivú väčšinu funkcionality webu FI prevádzkovali na dočasnom virtuálnom serveri v Stratus.FI. Nedostupná bola teda hlavne pošta pre používateľov, ktorí ju prijímajú a čítajú na Aise (a nie na Anxurovi, čo je bežnejšie), a o prístup cez SSH. Napriek nášmu informovaniu o tejto udalosti vopred (mail zamestnancom a správa MOTD po prihlásení) sa ukázalo, že nie všetkých študujúcich zasiahla, preto sa o jej distribúciu budeme v budúcnosti snažiť širším spôsobom. Mesiac od reinštalácie sme ešte zobrazovali upozorňujúcu správu v MOTD o reinštalácii, ale ďalším námetom pre zlepšenie do budúcna je, že keď sa rozhodneme po dlhšej dobe meniť SSH kľúče, tak sa budeme musieť snažiť informovať širšie, než len správou na výveske.
Ako to býva, pri takejto väčšej zmene OS, a zvlášť o dve hlavné verzie, sprevádzalo aktualizáciu niekoľko problémov, s ktorými sme sa postupne vyrovnávali, aj keď sme sa ich nemalou prípravou, i vo forme skúseností z aktualizácie Aury na RHEL 9 snažili minimalizovať:
- výpis všetkých používateľov (
getent passwd) trval dosť dlho, čo spomaľovalo napr. cd ~xlogi<TAB> – to sa nám nejak podarilo redukovať, hoci zatiaľ nie úplne eliminovať, predĺžením platnosti cache údajov SSSD, ktorý toto (nie úplne najslávnejšie) zabezpečuje;
- nefungovalo kerberizované prihlasovanie medzi Aisou a napríklad Nymfami – dôvodom bolo, že kerberovské principály
pre stroje Nymfe používali už o niečo staršie typy šifrovania (enctypes), ktoré už RHEL 9 Aisy nepovažoval za dostatočne bezpečné; tento problém sme vyriešili vcelku jednoducho vygenerovaním nových principálov strojov Nymfe a ďalších dotknutých;
- získanie shellu cez SSH bolo dosť pomalé (oproti cca 1 sekunde na predchádzajúcom RHELi 7 trvalo kľudne i 5 sekúnd) – hlavným dôvodom bolo, že sa prostredníctvom
/etc/profile spúšťalo hostnamectl --transient, ktoré vyvolávalo spustenie služby systemd-hostnamed, čo je v situácii s množstvom pripájaných domovských adresárov používateľov (malé stovky) a rôznych bezpečnostných nastavení (napr. ProtectHome) dosť pomalé; bezprostredne nasledujúce prihlásenia aspoň využívali bežiacu inštanciu a boli výrazne rýchlejšie (0.5 sekundy), kým táto služba zviazaná s prihlásením bežala; preto sme nakonfigurovali spúšťanie systémovej inštancie tejto služby, čo tento problém prakticky odstránilo (1.5 sekundy); podobnú, ale menej výraznú komplikáciu (1.1 sekundy), spôsobuje (pri „prvom“ prihlásení) spúšťanie systemd --user; ešte dodajme, že prihlasovanie cez SSH trvá na Anxura (RHEL 7) 0.1 sekundy a na Auru alebo Nymfe 0.4 sekundy;
- v logu sme narazili na chyby
KDC has no support for encryption type – niekoľko používateľov malo príliš staré fakultné heslo využívajúce málo bezpečné enctype a podobne ako v bode vyššie mali teda problém s prihlasovaním sa; kontaktovali sme ich a do monitoringu nášho centrálneho syslogu sme nechali sledovať výskyty takýchto situácií i pre budúcnosť.
Dočasné úložiská Aisy bez noexec: Pre dočasné úložiská Aury /tmp a /var/tmp sme zrušili mountovací príznak noexec, ktorý zabraňoval jadru spúšťaniu binárok/skriptov z takéhoto úložiska. Idea tohto nastavenia je, že to môže znížiť útočný priestor malvéru, ale v praxi to skôr spôsobovalo problémy v tom, že konkrétne /var/tmp často odporúčame ako rýchle lokálne úložisko, kde sa spustiteľnosť vie hodiť (a navyše nič nebráni maléru, aby spúšťal skripty pomocou bash b.sh alebo python p.py).
Detekcia zmien MIGu na Aure: Grafické karty na Aure máme s cieľom zvýšenia ich dostupnosti vzhľadom ich na pomerne veľkú výkonnosť rozdelené mechanizmom MIG. Občas sa však môže stať, že pri niektorých operáciách (aktualizácia systému, ovládačov, rekonfigurácia GPU) dôjde k nezamýšľanej zmene rozdelenia. Preto sme zaviedli monitoring zmien tejto konfigurácie, aby sme podobné situácie vedeli detegovať. Zároveň nám tento monitoring zrobustňuje existujúce sledovanie funkčnosti GPU kariet.
Balíček s-nail na Aure: V nadväznosti na reinštaláciu výpočtového servera Aura sme naň doplnili chýbajúci balíček s-nail obsahujúci utilitu mail na odosielanie pošty. Pre zaujímavosť, ide o náhradu už neudržovaného balíčka mailx.
Služby
Sprístupnili sme API Stratus.FI: Naša virtualizácia Stratus.FI postavená na OpenNebule má k dispozícii i API XML-RPC. Dlhodobo ho používame na synchronizáciu dát o osobách či skupinách z Fakultnej administratívy do Stratus.FI, ale odteraz je API dostupné i z dôveryhodnejších sietí FI (napríklad z Aisy) – viď sekciu XML-RPC API.
Automatické zostavovanie obrazu v GitLab CI: Do dokumentácie GitLab CI sme doplnili sekciu o automatickom zostavovaní obrazu (Docker-in-Docker).
Tolerantnejšia autentizácia na Fadmine: Mobilné zariadenia nie sú vždy najergonomickejšími na zadávanie textu a často ponúkajú rôzne skratky zjednodušujúce písanie – napríklad automatická kapitalizácia prvého písmena slova alebo automatické doplnenie medzery po doplnení slova z pásu s návrhmi. Toto sa však môže celkom výrazne obrátiť proti funkčnosti, ak sa to deje v miestach ako sú formulárové prvky na zadávanie prihlasovacieho mena (hesla sa toto netýka). Na uvedené dva problémy sme narazili pri autentizácii k fakultnej administratíve – či už pomocou modálnej basic autentizácie alebo formulárovej v rámci captive portálu. Pre formulár sme sa to pokúsili zlepšiť použitím atribútov spellcheck="false" autocorrect="off" autocapitalize="none" (hoci niečo z toho je špecifické pre Safari) a tiež odstraňovaním koncových medzier. Pre basic autentizáciu je to však výrazne komplikovanejšie, takže tam tieto neduhy zostávajú.
Rate-limiting pre odosielanie mailov: V súvislosti s incidentom, kedy bolo od jedného používateľa na FI vylákané fakultné heslo a došlo k hromadnému rozosielaniu spamov prostredníctvom tohto účtu, sme nastavili rate-limiting odosielania mailov z poštového servera FI. Zamedziť úniku hesla nikdy nebude úplne možné, ale vďaka tomuto sme schopní výrazne limitovať potenciálne spôsobené škody pri takomto incidente.
Aplikácia Správa skupiny v angličtine: Aplikáciu umožňujúcu správu skupiny osôb na Fakultnej administratíve sme preložili do angličtiny.
Fakultný web a technická dokumentácia
Rýchlejšia detekcia chýb na webe FI: Naše už dlho zavedené riešenie situácií, keď web FI vráti 404 či iné podobné zvery (403 či 500), sme vylepšili automatickým detegovaním takýchto prípadov. To nám umožnilo zvýšiť frekvenciu kontrol problémov z mesačnej na týždennú. Stále však zostáva na ručnú prácu tá ťažšia časť: kde bol uvedený chybný odkaz na náš web? (Hlavička Referer už veľmi dlho nebýva veľmi informačne prínosná kvôli pochopiteľnej snahe o ochranu súkromia.)
Jednoduchšia konfigurácia autentizovaného webu: Súbor .htaccess dáva pomerne silné možnosti ovplyvniť fungovanie webservera, napríklad vyžadovať autentizáciu či obmedziť prístup na dané IP adresy, ako zmieňujeme i v našej dokumentácii. Návod pre kerberizovanú autentizáciu sme v súvislosti s prechodom na modernejšiu konfiguráciu ešte výrazne zjednodušili globálnym uvedením spoločných konfiguračných parametrov, takže teraz stačia namiesto pôvodných ôsmich riadkov iba tri: vyžiadať si kerberizovanú autentizáciu (AuthType GSSAPI), uviesť názov autentizovanej sekcie (AuthName "Chamber of Secrets") a udeliť prístup (Require user xriddle).
Vedeli ste, že…
… (naša DUPS má 23 ton) dynamická UPS, o ktorej ste už mohli počuť niekoľkokrát (napríklad v rámci prednášok PV005), je pomerne veľkým zariadením, ktorej kľúčovými časťami sú lodný motor (palivo → rotačná energia), veľký zotrvačník (preklenutie doby do štartu motora) a statoalternátor (rotačná energia → elektrická energia), a ktoré dohromady váži 23 ton? Bohužiaľ, hmotnosť samotného (celkom masívneho) zotrvačníka nie je úplne dohľadateľná. Vďaka DUPS môžeme mať väčšiu dôveru v to, že v prípade výpadku napájania pre objekt fakulty to naše dôležitejšie služby nepocítia.
… (zrkadlo otvoreného softvéru) na fakulte prevádzkujeme archív ftp.fi.muni.cz, ktorý zrkadlí množstvo open source projektov, ako napríklad bežnejšie linuxové distribúcie či projekty GNU? Uložený objem dát sa pohybuje okolo 40 TB a priemerný odosielaný dátový tok je 300 Mbps.
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
