Stalo sa, stane sa
Problém s prihlasovaním na Nymfách 13. 10.: V stredu 13. 10. došlo u časti Nymf k problému s automatickým pripájaním vzdialených domovských adresárov (autofs). To sa ráno prejavilo nemožnosťou prihlásenia v grafickom rozhraní. Išlo o jednorázový problém spôsobený krátkodobou vysokou záťažou siete FI v čase štartu Nymf, ktorý sa vcelku rýchlo podarilo vyriešiť spustením tejto služby. Zároveň sme doplnili monitoring, ktorý nám pomôže odhaliť tento typ problému.
Záťaž databázy PostgreSQL a krátka nedostupnosť GitLabu: V druhej polovici mesiaca sme sa potýkali so zvýšenou záťažou databázového servera PostgreSQL spôsobenou intenzívnejšími výukovými aktivitami. V rámci riešenia úlohy si študenti a ani jej zadávateľ zrejme neuvedomili, že pri spúšťaní (nie vždy optimálnych) dotazov nad rozsiahlymi tabuľkami môžu negatívne ovplyvniť celkový výkon databázového servera používaného aj inými službami. Toto v jednom prípade (štvrtok 21. 10., chvíľu po obede) spôsobilo zaplnenie databázového úložiska a dokonca vyústilo v polhodinu trvajúce problémy s GitLabom (webové rozhranie vracalo chybu 500). Prijali sme opatrenia, vďaka ktorým sme zvýšili odolnosť voči takýmto situáciám.
Problémy s webhooks a CI GitLabu: Zrejme 27. 10. (streda) došlo k zaseknutiu komponentu GitLabu zabezpečujúceho asynchrónne spúšťanie úloh (Sidekiq). V dôsledku toho sa viditeľne predĺžila doba, než došlo k spusteniu úloh CI, a tiež neboli funkčné webhooks. Tento stav trval malé jednotky dní, než sa nám ho podarilo reštartom služby napraviť.
Z dielne Google Translate: Prinášame zábavný preklad, na ktorý sme vďaka službe strojového prekladu na webe narazili: Identification of weak public keys in the wild → Identifikace slabých veřejných klíčů ve volné přírodě.
Infraštruktúra a hardvér
Menej neopodstatnených blokovaní IP pri používaní SSH: V priebehu mesiaca sme dostali od používateľov tri žiadosti o odblokovanie adresy na našom firewalle. Spoločným menovateľom týchto prípadov bolo, že v skutočnosti šlo o blokovanie na univerzitnom firewalle, a to v dôsledku detekcie „SSH útokov“ na adresy v sieti FI. Podľa používateľov však nešlo o útoky, ale o legitímne a úspešné pripojenia. Po konzultácii so správcami univerzitného firewallu sme vzhľadom na relatívne veľkú chybovosť zabezpečili deaktiváciu tejto problematickej kontroly SSH spojení. Pre úplnosť dodáme, že z pozície správcov fakultných strojov si túto funkcionalitu historicky zabezpečujeme sami, a to na základe spoľahlivejších informácií priamo z logov spravovaných (ale i ďalších) strojov.
Detekcia zahodených paketov na smerovači FI: Zaviedli sme sledovanie zahadzovania paketov na našom fakultnom smerovači. K tejto situácii môže dôjsť, keď sa zaplní odosielacia fronta fyzického rozhrania (TX queue). Štandardne je veľkosť tejto fronty 1000 paketov (viď grep ^ /sys/class/net/*/tx_queue_len) a informácie o nej je možné sledovať pomocou tc -s qdisc show. Na základe týchto informácií sme realizovali opatrné zväčšenie front, čo prispelo k zníženiu množstva udalostí zahodenia paketov. Vzhľadom na pomerne konzervatívnu počiatočnú veľkosť fronty a fakt, že máme 10-gigabitové linky, máme slušný manévrovací priestor bez toho, aby sme začali pociťovať zvýšenie latencie. Pre predstavu ohľadne zahadzovania však ide v relatívnom objeme o skutočne marginálny podiel (týka sa to výrazne menej než promile paketov), takže toto vylepšenie nie je bežne citeľné.
Odhalený problém s vnorenou virtualizáciou v Stratus.FI: Podarilo sa nám eliminovať problém, vďaka ktorému mohlo zriedkavo dochádzať k tvrdým reštartom virtuálnych strojov vo virtualizácii Stratus.FI. Dohromady sme zaznamenali dva takéto prípady, konkrétne u stroja zabezpečujúceho fakultnú VPN, a to iba na základe detekcie prebehnutého reštartu (sledujeme vynulovanie uptime). Ukázalo sa, že problém spôsobovalo používanie vnorenej virtualizácie s hardvérovou akceleráciou v rámci jedného výukového predmetu, pričom jeden virtuálny stroj mohol spôsobiť pád iného virtuálneho stroja na rovnakom hostovi. Problém vyriešil prechod z distribučného jadra na mainline jadro na hosťovských uzloch našej virtualizácie.
Linuxové stanice Nymfe
Kontrola divergencie verzií Firefoxu: Po udalostiach z minulého mesiaca sme automatizovali detekciu situácie, keď sa verzia Firefoxu na všetkých strojoch Nymfe nezhodovala. K tomu obvykle došlo v dôsledku neoptimálneho spôsobu aktualizovania balíčkov na strojoch (v rôznych časoch), ale mohlo k tomu dôjsť napríklad i v dôsledku celkovej reinštalácie systému na stroji (deje sa napríklad po návrate stroja z reklamácie).
Fixovanie káblov periférií k šasi: V dôsledku občasných problémov s odpájaním periférií od staníc Nymfe študentmi, sme sa už dávnejšie rozhodli pripevniť ich káble k šasi sťahovacími páskami – pôvodne bolo toto realizované len v PC hale, ale teraz sme to rozšírili na všetky stroje Nymfe. Týmto sa snažíme naznačiť neželanosť takejto manipulácie s klávesnicou či myšou v poslednej možnej chvíli, keď tomu môžeme zabrániť: stávalo sa, že následne už myš či klávesnica nazad zapojené neboli, a tiež nám to komplikuje detekciu skutočných problémov s perifériami. Preto takúto nepovolenú manipuláciu postihujeme blokovaním fakultného účtu.
Softvérové vybavenie a prostredie
TL;DR: TLDR na Aise a Nymfách. Už vás nebaví prehrabávať sa nekonečnými manuálovými stránkami? Už viac nechcete na vaše otázky dostávať odpoveď RTFM? Nezúfajte, pretože pre vás máme riešenie! Na Nymfe, Aisu, Anxura a Auru sme doplnili užitočný nástroj tldr – simplified and community-driven man pages. Okrem toho dodajme, že na týchto strojoch máme nainštalovaných i pár ďalších praktických utilít – viď vedeli ste že.
Kontrola linuxového prostredia na strojoch: V súvislosti s problémom zmieňovaným vyššie sme na Nymfe, Aisa, Anxur a Auru pridali kontrolu základnej funkčnosti unixového prostredia. V rámci tejto kontroly dôjde k prihláseniu pod testovacím účtom a overeniu funkčnosti základnej práce so súbormi (čítanie, zápis) a pod., takže sa o prípadných problémoch (či pomalosti stroja) dozvieme rýchlejšie.
Nové moduly: Pribudol modul s Rustup rustup-1.24.3 umožňujúci inštalovať nástroje Rustu a tiež modul dafny-3.2.0 s jazykom Dafny s podporou pre formálnu verifikáciu.
Služby
Rozšírenie práva tlače i pre dohodárov: V rámci iniciatívy vyvinutej Teaching Labom došlo k sprístupneniu všetkých všeobecne prístupných tlačiarní na FI i pre tých, čo majú na FI dohody (t.j. cvičiacich). Doteraz bol tento prístup automatický pre zamestnancov a doktorandov; ostatní ho typicky získavali na žiadosť. Súčasťou tohto je tiež udelenie prístupu kartou do kuchyniek A2 až A4 pre dohodárov. Tiež tu stojí za pripomenutie nedávne rozšírenie platnosti osobného kódu na kopírky.
Všeobecná aktualizácia obrazov v GitLab CI: V rámci kontroly verzií dostupných obrazov v runneri nášho GitLab CI sme sprístupnili novšie verzie, kde to bolo možné. Konkrétne pribudli nové minor verzie pre Alpine, GCC 9, GCC 10, Maven (s JDK 11 až 17), OpenJDK 17 a Perl 5. Pridali sme tiež nové major verzie GCC 11, Haskell 9, Node 16, clang 12 a Ubuntu 21. Niektoré staré a už nepodporované verzie obrazov sme z bezpečnostných dôvodov zas zrušili (viď užitočný projekt endoflife.date).
Problémy s tlačou cez Sambu z Windows cez Wi-Fi: Zaznamenali sme problém s funkčnosťou tlače cez Sambu z Windows pri pripojení cez Wi-Fi. Problém sme zatiaľ nevyriešili, ale pracujeme na tom.
Fakultný web a technická dokumentácia
Stránka o informačných paneloch: V technických informáciách sme (odkázaním z rozcestníka) zviditeľnili už nejakú chvíľu existujúcu stránku s informáciami o tom, ako môžete požiadať o zobrazenie grafických materiálov na fakultných informačných paneloch.
Zverejnený návod na prístup k fi-graphics: Už nejakú dobu existuje v obsahovej gescii fakultného propagačného oddelenia úložisko obrazových materiálov propagačného charakteru, nazývané fi-graphics. Návod na prístup k tomuto úložisku (ktorý sme pôvodne posielali pri prideľovaní prístupu) sme zverejnili (a tamtiež viď i okruh osôb, ktoré k nemu majú prístup).
Stránka o zápožičkách hardvéru: V technických informáciách pribudla nová stránka s návodmi pre zapožičanú techniku.
Lepšie radenie správ z vývesky na webe: Upravili sme funkčnosť wiki značky fi-news pri použití type=all („zobraz aktuality s dátumom i bez neho“) tak, aby usporiadanie týchto správ dávalo väčší zmysel. Je však treba poznamenať, že tento spôsob zobrazenia všetkého spolu (type=all) nemá dobré riešenie: buď budú na začiatku už dávno uplynulé oznamy (pri radení od najstarších) alebo naopak, akcie najďalej v budúcnosti (pri opačnom radení).
Oprava dokumentácie k Stratus.FI: V dokumentácii Stratus.FI sme upravili postup, ako nastaviť prihlasovacie heslo pre virtuálne stroje: je nutné použiť user view (to v tomto návode chýbalo), ktorý typicky nie je predvoleným zobrazovacím režimom.
Vedeli ste, že…
… (užitočné utility na Nymfách a Aise) na Nymfách môžete nájsť okrem čerstvo doplneného tldr i ďalšie praktické utility, napríklad: jq (práca s JSONom), ncdu (príjemnejšia alternatíva du na zisťovanie obsadeného diskového miesta), pwgen (generovanie hesiel), pandoc (konvertor medzi značkovacími formátmi) alebo rubber (nadstavba pre kompiláciu TeXových dokumentov)? Na Aise nájdete navyše mosh, ktorý spríjemňuje prácu cez SSH po pomalom alebo nespoľahlivom internetovom pripojení. Ak by ste vedeli o niečom inom všeobecne užitočnom, budeme radi za návrh.
… (ako riešiť problémy v PC učebniach) pokiaľ dôjde k problému pri práci s nejakou Nymfe, na vnútornej strane dverí v PC učebni nájdete návod, ako postupovať? Predovšetkým by ste sa nemali snažiť stroj reštartovať, ale napísať nám na unix@fi, aby sme problém mohli preveriť a prípadne ak je to možné, pre budúcnosť tento typ problému vyriešiť.
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
