Stalo sa, stane sa
Pomalší CEPH 17. 3. až 20. 3.: V dôsledku zmien v organizácii uzlov s diskovými kapacitami úložiska CEPH používaného v rámci Stratus FI ste mohli dočasne pozorovať viditeľne vyššiu latenciu diskových operácií. Reorganizácia prebiehala od piatka 17. marca až do pondelka 20. marca, typicky večer a v noci. Najviditeľnejšie zasiahnutými službami boli GitLab a GitLab CI.
Vyťaženejšie GitLab CI 20. 3.: V dôsledku väčšej záťaže zdieľaného fakultného runnera GitLab CI ste mohli v pondelok 20. 3. pozorovať od zhruba šiestej večer až do skorého rána výrazné zdržanie pri spúšťaní úloh (až do 100 minút). Šlo o dôsledok termínu odovzdania predmetovej úlohy, ktorá využívala CI s obrazom, ktorý nebol optimalizovaný: vždy pri jeho spustení dochádzalo k sťahovaniu potrebných závislostí namiesto ich zahrnutia do už predpripraveného obrazu. Začali sme teda naším monitoringom sledovať dobu, ktorú čakajú úlohy CI vo fronte, a tiež sme s vyučujúcimi predmetu zabezpečili optimalizáciu obrazu.
Vyčerpané pseudoterminály na Aise 22. 3.: V stredu 22. 3. ste mohli naraziť na problém s prihlasovaním na Aisu. 16:03 došlo k vyčerpaniu voľných pseudoterminálov (PTYs: /dev/pts/NNN), takže ste pri pokuse o prihlásenie mohli dostať chybu PTY allocation request failed a shell ste nedostali. O probléme sme sa dozvedeli okolo 16:30 a podarilo sa nám ho vyriešiť o 17:08. Problémom bolo hlavne to, že mnoho študentov využíva VS Code so vzdialenou prácou na Aise a jeden takýto VS Code využije niekoľko PTY. Problém odolával rýchlemu odhaleniu vďaka tomu, že množstvo z týchto PTY bolo už zmazaných (výpis /dev/pts teda nenaznačoval, že by sa minuli), ale stále otvorených, takže sa započítavali do globálneho limitu na počet (4096). Táto možnosť nám napadla pomerne rýchlo, ale ďalším problémom bolo, že výpis všetkých popisovačov všetkých procesov na systéme (lsof) s toľkými procesmi ako Aisa (v tom čase zhruba 3700) trvá dosť dlho (malé jednotky minút). Nakoniec sme však po zistení príčiny tento limit navýšili (/proc/sys/kernel/pty/max).
Nefunkčný GitLab 31. 3.: V dôsledku problému pri aktualizácii našej inštancie GitLabu došlo v piatok 31. 3. k jeho nefunkčnosti vrátane nefunkčnosti jeho závislostí (CI, pages) medzi 22:17 a 23:17.
Linuxové učebňové stroje
Nový softvér (indent, podman-docker): Na učebňové stroje sme doplnili nástroj indent umožňujúci manipuláciu s bielymi znakmi v jazyku C. Tiež sme nainštalovali konverznú vrstvu v podobe podman-docker umožňujúcu pracovať s Podmanom pomocou syntaxe Dockeru.
Softvérové vybavenie a prostredie
Nové moduly unix@fi: Vyrobili sme moduly s novšími verziami softvéru, a to pre nástroj na automatizáciu prekladu CMake (cmake-3.26.0) a pre sadu nástrojov a prekladačov LLVM (llvm-16.0.0)
Novšia verzia Node.js: Na základe používateľskej požiadavky sme doplnili na učebňové stroje novšiu verziu Node.js z repozitára NodeSource, vďaka čomu je namiesto distribučnej verzie 12 k dispozícii najnovšia LTS verzia 18.
Služby
Fakultné účty s predĺženou platnosťou: Pri určovaní platnosti fakultného účtu sme upravili pravidlá tak, aby bola prípadne nastavená ručná platnosť (vzniká pri predĺžení platnosti účtu na požiadanie) menej „permanentná“. Doteraz sa v prípade nastavenej platnosti a znovuvzniknutého práva na účet (na základe informácií z ISu) preferovala informácia o nastavenej platnosti. Dôležité je, že v prípade nastavenej platnosti má účet zmrazené členstvá v skupinách, aby mu zostali relevantné práva (keďže sa to typicky používa pre prípady, kedy by človek o ne inak prišiel). To však mohlo mať nechcený efekt v prípade, že by mal účet na základe informácií z ISu ešte pred vypršaním platnosti získať nové/silnejšie práva – tieto by sa neuplatnili. Teraz v prípade opätovného vzniku práva na účet platnosť rušíme, čím synchronizáciu práv opäť aktivujeme. Má to istú nevýhodu v tom, že takéto nastavenie platnosti nie je garantované na celú určenú dobu a eventuálne môže byť zrušené (vlastník účtu však bude informovaný) a vlastník účtu si bude musieť požiadať cez nadriadenú osobu o opätovné predĺženie. Z hľadiska uplatňovania priznaných práv je tento systém určite príjemnejší. Pre zaujímavosť, po zmene týchto pravidiel sa uplatnili zadržované práva pre jednotky osôb.
Rýchlejšie blokovanie útočiacich adries: Optimalizovali sme dobu, ktorá uplynie od detekcie hádania hesiel na fakultných systémoch (napríklad pri prihlasovaní sa k odosielaniu pošty cez SMTP) po zablokovanie zdrojovej adresy. A to tak, že namiesto doterajšej reakčnej doby blokácie cca minúty sa dostávame na jednotky sekúnd.
Lepšia odolnosť autentizácie voči fakultnému SMTP: Zhruba raz za mesiac sa nám stávalo, že náš monitoring SMTP (čítanie pošty) zistil, že táto služba nie je na minútu či dve dostupná. Na základe kontroly logov sme zistili, že dochádza k nelegitímnym pokusom o prihlasovanie sa k SMTP. Zrobustnili sme preto konfiguráciu fakultného poštového servera Postfix tak, aby ich bolo dostupných viac. V spojení s rýchlejším blokovaním útočiacich adries by k tomto už dochádzať nemalo.
Sledovanie centrálneho logu a ENFILE/EMFILE: V rámci sledovania významnejších udalostí v našom centrálnom syslogu sme po minulom doplnení začali sledovať aj dve veľmi podobné chyby ENFILE 23 Too many open files in system a EMFILE 24 Too many open files ohľadne globálneho či per-proces limitu na počet otvorených popisovačov. Tým by sme mali mať pokryté všetky sledovaniahodné štandardné chyby.
Prístup k DB PgSQL z Wi-Fi: Vďaka konfiguračnému nedopatreniu nebol povolený prístup k databáze PostgreSQL zo sietí Wi-Fi (wlan_fi alebo Eduroam) po IPv4. U ostatných databáz a pre IPv6 toto problém nebol. Dôvodom bolo, že toto povolenie bolo nutné spraviť na dvoch miestach (konfigurácia databázového servera a fakultný firewall), pričom na jednom z nich sme na to zabudli.
Fakultný web a technická dokumentácia
Aktualizácia dokumentácie k jazykovému prostrediu: V súvislosti s minule vyriešenými problémy so zmenou jazyka v unixovom prostredí sme vynovili obsah dokumentácie k nastaveniu jazyka: doplnili sme zmienku o nastavovaní v grafickom prostredí a jeho dosahu (neplatí pre servery; nie je tak granulárne).
Preklad webu raz za hodinu: Web FI sme začali namiesto dočasného neplateného účtu prekladať cez oficiálne univerzitné API DeepL. To nám vďaka absencii limitu na počet prekladaných znakov umožnilo vrátiť frekvenciu prekladu z raz denne na pôvodných raz za hodinu. Pre zaujímavosť dodajme, že napriek použitiu neplateného účtu sme sa boli pri dennej frekvencii schopní vojsť do základného mesačného limitu služby – 500 tisíc znakov.
Oprava vyhľadávania v katalógu predmetov: Donedávna sme mali vďaka programátorskej chybe nefunkčné vyhľadávanie na webe FI, keď ste ho skúšali použiť zo stránok katalógu predmetov. V túto chvíľu je funkčnosť vyhľadávacieho políčka opravená.
Vedeli ste, že…
… (vyháňanie z PC haly) aby sme vám zjednodušili proces odchodu z FI v neskorých večerných hodinách, kedy sa zatvára počítačová hala a učebne, prihláseným používateľom sa pred zatváračkou zobrazí pekné grafické upozornenie i s prebiehajúcim odpočtom?
… (možnosti výroby webov) pokiaľ máte záujem o výrobu webu na fakultnej infraštruktúre, v závislosti na požiadavkách existuje niekoľko možností (od vlastného stroja až po osobný web na Aise), ktoré zhŕňame na prehľadovej stránke?
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
