Stalo sa, stane sa
Nezmeškali ste staršie blogové príspevky? Na úvod pripomeňme blogové príspevky za letné mesiace, ktoré sme tentokrát zverejňovali i po konci semestra:
- 05/2024: Káble k monitorom v PC hale, Dualboot v PC hale, Lepšia práca so spamom tečúcim cez FI v schránke ISu, …
- 06/2024: Zrýchlenie captive portálu, ďalší vývoj dualbootu, odspomalenie CPU Aisy, …
- 07/2024: Lepší rozvrh v mape miestností, aktualizácia PgDB, mailový odpovedač verzus presmerovania, …
- 08/2024: Dualboot v A215, aktualizácia Anxura 6. 9. (nové kľúče SSH!), aktualizácia učebňových strojov na Ubuntu 24, ofset tlačových úloh, …
Dva samovoľné reštarty Anxura 17. 9.: V utorok 17. 9. medzi 13:32–13:43 a 20:34–20:46 došlo k nečakaným reštartom novoaktualizovaného servera Anxur, a to kvôli chybe v jadre. Tento problém sme eliminovali v rámci plánovaného výpadku v stredu 18. 9., medzi 21:59–22:16.
Oprava kvality siete pre C2 a výpadok: Naša detekcia chýb liniek medzi switchmi zaznamenala chyby na optickom spojení C2 (a S2) so zvyškom FI. Od 14. 9. sme pozorovali 1–2 ppm chýb v jednom smere. V snahe o nápravu sme v stredu 18. 9. prepojili časti linky, čo však nemalo želaný efekt, a naopak, došlo k zásadnému nárastu počtu chýb (linka bola zjavne už „načatá“) na 10–1000 ppm a krátkym výpadkom linky, čo vyvrcholilo jej úplným výpadkom vo štvrtok doobeda. Problém sa nakoniec ukázal byť v infraštruktúrnej časti trasy, ktorú sme obišli alternatívnou trasou.
Vyčerpanie adries v Eduroame 25. 9.: V stredu 25. 9. došlo na necelú polhodinu, medzi 10:36 a 11:02, k vyčerpaniu dostupných adries v sieti Eduroam na FI.
Nefunkčnosť A215 25. 9. a súvisiace problémy: Pri pre tento semester premiérovom behu Linuxu v dualbootovej učebni A215 sme bohužiaľ narazili na nečakané problémy s nefunkčnosťou prihlasovania sa na stroje. Prvá časť problému sa ukázala byť v nefunkčnosti pripájania (hlavne) domovských adresárov cez NFS, k čomu zrejme došlo až v dôsledku aktualizácie OS na Anxurovi. V rámci riešenia tohto problému sme sa nevyhli trom zaseknutiam ostatných linuxových učební (viď problém Zaseknutia strojov s NFS nižšie). Po vyriešení tohto problému nás však čakal ďalší, a to s nscd (name service cache daemon). Tento démon zabezpečuje cache aj pre DNS a znefunkčňoval rezolvovanie napríklad DNS záznamov pre naše servery LDAPu (kľúčové pre autentizáciu). Eventuálne sa nám ho podarilo vyriešiť a jadro riešenia bolo až priamo zmazanie súborov s cache tohto démona. Tieto problémy sme počas celého dňa intenzívne riešili, čo bolo mierne komplikované i využívaním tejto učebne. Nakoniec sa nám podarilo A215 dostať do funkčného stavu až pred 16:00. Výraznou nepríjemnosťou však bolo, že práve na tento deň (do 16:00) pripadli behy prváckych Naskoč na FI v PC učebniach.
Odstávka zálohovaného napájania v sobotu 12. 10.: Kvôli rekonštrukcii priestorov pôvodnej serverovne B103 a skladu B104 (nachádzajú sa po ľavej strane od chodbičky za hlavným vstupom do PC haly) na jednu novú serverovňu B103 (kde bude mať svoje servery umiestnené ÚVT) dôjde túto sobotu medzi 8:00 a 12:00 k odstávke zálohovaného napájania na FI, čo postihne sieť pre budovu, Wi-Fi či stroje pripojené do zálohovaných (hnedých a červených) zásuviek.
Infraštruktúra a hardvér
Captive portál na učebňových strojoch s Windows: Zaznamenali sme, že v novodualbootizovanej učebni A215 či PC hale môžete niekedy po prihlásení sa pod Windows naraziť na zobrazenie sa stránky súvisiacej s detekciou captive portálu. Tento problém zatiaľ nemáme úplne vyriešený. Ide však viac o otravnosť než nefunkčnosť.
Menej blokovaní zariadení kvôli Wi-Fi: Podobne ako cca pred rokom, začiatok semestra nám priniesol zas nový typ pokusov o nevyžiadanú komunikáciu v lokálnej sieti, ktoré robia typicky zariadenia vo Wi-Fi sieťach, a po vynesení von a pripojení sa k inej sieti mimo FI/MU sa ešte pokúšajú komunikovať na pôvodné IP z Wi-Fi siete. Tentokrát sme preto pridali na hranici siete FI zahadzovanie pokusov o komunikáciu na port TCP/7680 do našich Wi-Fi sietí, čo zodpovedá službe Windows Update Delivery Optimization. Vďaka tomu nebudú používatelia zariadení vynesených mimo sieť FI blokovaní za síce neoptimálne, ale nie škodlivé pokusy o komunikáciu.
Oprava spoľahlivého pripájania k Eduroamu a nový problém: Problém zmieňovaný v minulom blogu sme vyriešili a funkčnosť spoľahlivejšej komunikácie cez RadSec sme koncom mesiaca obnovili. V rámci našej metriky ohľadne funkčnosti pripájania sa k Eduroamu sme sa však zatiaľ z problémových 60–70 na pôvodných ~90 nedostali a momentálne sme na úrovni ~80 (ideálny stav je 100), preto budeme ešte tento stav skúmať, na čo sa snáď po hektickom septembri ujde už viac času.
Učebňové stroje s Linuxom
Softvér pre výuku: V nadväznosti na požiadavky na výuku sme na linuxových učebňových strojoch aktualizovali či doinštalovali rôzne softvéry: R (4.4.1), RStudio Desktop (2024.04.2), OpenJDK (17 a 21), Maven (3.8.7), IntelliJ IDEA (2024.2.1) (na single-boot strojoch aj ako lokálny modul idea-loc), Visual Studio Code (1.93.0); PyCharm (na single-boot aj pycharm-loc), Python 3 (ako modul python3-3.12.5), Python Imaging Library, IBM ILOG CPLEX Optimization Studio (22.1.1, i na Lunách).
Najväčšie komplikácie sa ukázali byť s IDE Thonny, ktoré pribaľujeme do modulu s Pythonom. V dôsledku nesúladu verzií závislostí a problémom s nepeknými fontami vyžadovala inštalácia neštandardné zásahy a viac práce, ale po konzultácii ohľadne požiadaviek od vyučujúcich sa nám softvér podarilo dostať do pre graficky gramotných ľudí neurážajúceho stavu. Je však potrebné použiť dedikovaný modul thonny-4.1.6.
Softvérové vybavenie a prostredie
Nové moduly unix@fi: perl-5.40.0, pycharm-2024.2.1, rstudio-2024.04.2, idea-2024.2.1, python3-3.10.9, thonny-4.1.6.
Služby
Aktualizácia Anxura: Avizovaná akcia prebehla a Anxur sa teraz teší novšiemu OS (RHEL 7 → 9) i hardvéru. Práce prebiehali vcelku hladko, hoci sme nakoniec Aisu a Auru nechali vypnuté dlhšie, vzhľadom na ich využívanie NFS Anxura. Až v závere nás celkom zdržala komplikácia s aktiváciou časti úložísk, ktorá nefungovala automaticky (šlo o RAID nad multipath), čo sme eventuálne obišli ich ručnou aktiváciou cez /etc/rc.local. Nedostupnosť služieb bola teda nakoniec ohraničená 18:05 a 22:24. Aktualizácia so sebou priniesla i pár zmienkyhodných vecí či neželaných efektov:
- Nové kľúče SSH: Ako sme upozorňovali už aj v avíze, menili sme serverové kľúče SSH. Občas rotovať tieto kľúče je dobré z dôvodu vývoja kryptoalgoritmov (väčšia dĺžka kľúča RSA) či ich teoretickej možnosti kompromitácie. O tomto sme navyše cielene informovali tých, ktorí sa v poslednej dobe na Anxura cez SSH pripájali. Pokiaľ využívate kľúče z našej databázy fakultných kľúčov, kľúče sa vám aktualizovali automaticky.
- Zmena hostname pre sambové úložiská: Vzhľadom na komplikácie s konfiguráciou Samby bolo od 3. 9. potrebné úložiská na Anxurovi pripájať nie cez hostname
home(.fi.muni.cz), ale anxur(.fi.muni.cz). Týka sa to napríklad prístupu k domovským adresárom či špecifickým úložiskám fi-graphics a stavbadok. (K 10/2024: Toto sa nakoniec podarilo vyriešiť.)
- Starí klienti SSH: Niektorí používali príliš starých klientov SSH (obvykle PuTTY), ktorí sa už na Anxura po aktualizácii servera SSH prihlásiť nedokázali, čo sa v logoch servera SSH prejavovalo správami
Unable to negotiate with, či už z dôvodu nepodpory kľúčov servera ako sme písali i vyššie (no matching host key type found) alebo nepodpory algoritmov na výmenu symetrického kľúča (no matching key exchange method found). Dotknutých používateľov sme kontaktovali a tiež sme zaviedli na 30 dní monitoring takýchto prípadov, aby sme im mohli proaktívne poslať postup nápravy.
bracketed paste v termináli: Moderné terminály pri vložení viacriadkovej schránky typicky obsah hneď nespustia, pretože podporujú bracketed paste: terminálový emulátor takto vložený text obalí do sekvencie znakov, ktorú shell rozpozná, a umožní používateľovi takto vložený obsah upraviť alebo rozhodnúť sa nespustiť ho. U servera Anxur ide o nové správanie, ktoré by mohlo prípadne niekoho prekvapiť, hoci na iných fakultných strojoch už funguje dlhšie. Je prípadne vypnuteľné cez set enable-bracketed-paste off v ~/.inputrc (prejaví sa v nových shelloch).- Chyby sieťovej karty: Na sieťovom porte servera sme odhalili výskyt chýb (
ethtool -S eno2np1 ukazoval nenulové rx_errors), ktorý sme chvíľu podozrievali ako príčinu problému nižšie. Použili sme teda druhé sieťové rozhranie, ktoré je v poriadku.
- Občasné minútové výpadky autentizácie: S SSSD (zabezpečujúcim autentizáciu) sú stále nejaké problémy. Narazili sme na problém s cca minútovými výpadkami autentizácie na Anxurovi. Problém sa síce podobá na ten z vtedy novej Aisy, ale príčina je iná. Zatiaľ sa nám po nejakom úsilí podarilo zistiť, že príčinou je zrejme preťažovanie našich fakultných serverov LDAPu klientom SSSD na Anxurovi. Vďaka tomu sa nám celkom podarilo redukovať incidenciu týchto problémov (viď i ďalší bod), hoci zatiaľ ešte nie s istotou úplne odstrániť.
- Vypnutá enumerácia účtov a skupín: S cieľom nájsť riešenie problému vyššie sme dočasne vypli enumeráciu unixových účtov a skupín na Anxurovi (ide o časté odporúčanie pri systémoch s SSSD a veľkým množstvom účtov – u nás cca 4500). To v praxi znamená, že vo výstupe príkazov
getent passwd a getent group na Anxurovi nenájdete fakultné účty a skupiny, prípadne vám nebude fungovať doplňovanie domovského adresára klávesou Tab (~xlogi<Tab>). Ak sa toto ukáže ako želaný stav, pokúsime sa tieto možnosti opäť nejak sprístupniť, hoci nejde o bežne potrebnú funkcionalitu. Aktuálne je možné získať tento zoznam buď týmito príkazmi Aise alebo na Anxurovi priamo cez LDAP, napríklad ldapsearch -x -H ldap://ldap.fi.muni.cz -b ou=People,dc=fi,dc=muni,dc=cz cn gecos.
- Zaseknutia strojov s NFS: Tesne pred semestrom sme zistili, že po aktualizácii Anxura začalo občas dochádzať k zamrznutiu klientov NFS (teda napr. Aisy, Aury či učebňových staníc) v dôsledku spomalenej reakčnej doby servera NFS. V grafických rozhraniach učebňových strojov sa to prejavilo ich zaseknutím a vo výpise procesov procesmi v stave D (tu je dosť podstatné dívať sa na vlákna, napr.:
ps -eL -o stat,user,pid,args | grep ^D). Príčinu sme ešte pred semestrom stihli do veľkej miery neutralizovať – problém sa dial pri zmene exportov (v dôsledku výroby/zániku fakultných účtov) a volaní exportfs, ktorých počet sme zatiaľ aspoň výrazne eliminovali a odsunuli do málo prominentného času. I tak nám však odhalenie príčiny a korelácie s touto synchronizáciou zabralo istý čas.
- Balíčkový joe: Pre milovníkov klasickejšieho softvéru sme vedľa už starého modulového editora joe doinštalovali na Anxura i jeho výrazne novšiu distribučnú verziu.
Chýbajúce fakultné účty nových študentov: So začiatkom semestra sa objavili prípady študujúcich, ktorí nemajú fakultný účet, hoci majú na FI zapísaný nejaký predmet v PC učebni. Dôvodom bude v drvivej väčšine prípadov to, že pre vytvorenie fakultných účtov a prácu na fakultných strojoch je potrebné mať aktívnu prístupovú kartu (pre prístup do priestorov s PC), ale títo študujúci si prístupovú kartu (v podobe ISICu) na študijnom oddelení nevybavili.
(Ne)členstvo v katedrových mailoch: Na základe upozornenia sme zistili, že pokiaľ má niekto dohodu na viacerých katedrách, dostane sa z pohľadu ISu len do tej, ktorá zadala požiadavku na dohodu ako prvá. To má za následok, že sa v ISe zobrazuje len táto kmeňová katedra a odtiaľ sa i do Fakultnej administratívy dostane len ona. To môže komplikovať veci naviazané na katedry, napríklad na ich mailové adresy (člen viacerých katedier teda dostane maily len z jednej). Zatiaľ o tomto stave iba informujeme a riešenie len plánujeme. Zákernosť tohto problému však spočíva v tom, že človek obvykle nezistí, že mu niečo chýba, keď o tom nevie – zrejme preto sme naň boli prvýkrát upozornení až teraz.
Zneprístupnené operácie s VM v Stratus.FI: V Stratus.FI sme zakázali vo webovom rozhraní operácie, ktoré nám komplikujú aktualizáciu virtualizačných uzlov (blokovaním zdrojov) a nie sú bežne užitočné alebo majú vhodnú alternatívu. Ide o operácie lock, unlock, poweroff, poweroff_hard, stop, suspend. Namiesto operácie poweroff je možné použiť operáciu undeploy. Tá oproti poweroff navyše deasociuje stroj z jeho virtualizačného hosta a tým uvoľní jeho zdroje.
Kvóty RUNNING_MEMORY v Stratus.FI: V našej virtualizácii Stratus.FI sme nastavili nové kvóty na pamäť bežiacich virtuálnych strojov. Implicitne má účet kvótu 16 GB, zamestnanci 32 GB. Svoje kvóty nájdete či už v Stratus.FI (Settings → Quotas) alebo na Fadmine.
Copy5c končí: Pôvodne tu mala byť správa o konci nedostupnosti kopírky copy5c od 4. 9., ale bohužiaľ sa čerstvo vymenený komponent 25. 9. opäť pokazil a bolo rozhodnuté, že kopírka už ďalej nebude opravovaná. Kopírka bola na mieste označená ceduľkou a označená ako zrušená v našom zozname, kde prípadne môžete nájsť i jej možné alternatívy.
Oprava prístupu k logu webového CGI na Aise: Zistili sme, že log /var/log/httpd-user/suexec obsahujúci informácie o chybách CGI skriptov bežiacich na Aise omylom nebol čitateľný bežným účtom. Odkazujeme naň z našej dokumentácie CGI. Je opäť prístupný.
Fakultný web a technická dokumentácia
IPv6 a Windows: Do dokumentácie IPv6 sme doplnili jednoduchší spôsob zisťovania DUID vo Windows.
Možnosti zverejňovania na infopaneloch: Do dokumentácie infopanelov pri recepcii sme doplnili možnosť uvádzať, odkedy sa má obrázok zobrazovať, a tiež že granularita zobrazovacích časov je hodinová.
Info o dualboote v A215 v ISe: Pre lepšiu informovanosť sme k učebni A215 v ISe doplnili, že ide o učebňu s dualbootom, a tiež plán behu OS (po–ut Linux, st–pi Windows).
Vedeli ste, že…
… (presun PC učební do C1) v rámci rekonštrukcie budovy D a priľahlých častí budov B a C prídeme o drvivú väčšinu celkovej kapacity PC učební na FI (B011, časť PC haly, B116, B117, B130, B311). V pláne je premiestniť tieto učebne do C1, kde prebehne do konca tohto roka rekonštrukcia na PC učebne (kapacita učební sa bude líšiť).
… (kontajnery a koncepcia subuids a subgids) v súvislosti s podporou kontajnerizácie prideľujeme podradené UID a GID pre fakultné účty podľa schémy popísanej v dokumentácii Podmanu na Aure. Na strojoch s podporu kontajnerov (z celofakultných sú to Aura a singleboot linuxové učebňové stroje) máte pridelený rozsah 100000 UIDs a GIDs v rozsahu $fiid * 100000 až ($fiid + 1) * 100000 - 1, kde $fiid je vaše fakultné unixové UID (zistíte napríklad volaním id -u).
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
