Stalo sa, stane sa
Pomalá fakultná pošta 2.–7. 1.: Od štvrtka 2. 1. sme začali dostávať upozornenia na pomalšie (často i rádovo pomalšie) operácie s poštou (IMAP) na serveri Anxur, ktoré sa však zrejme týkali len časti používateľov. Od rovnakej doby sme tiež dodatočne zistili vyššiu záťaž CPU, ktorú však nešlo jednoznačne priradiť nejakému pôvodcovi. Obdobný typ problému (zvýšená záťaž systému po vyše 200 dňoch behu, ale bez zjavnej príčiny) sme už zaznamenali i dávnejšie, s podozrením na nejakú chybu v linuxovom jadre, a bohužiaľ lepšie riešenie, než reboot sme zatiaľ neidentifikovali. Preto sme na piatok 7. 1. naplánovali večerný reštart Anxura, ktorý tento problém vyriešil.
Infraštruktúra a hardvér
Oprava wlan_fi v okolí B103: Na základe hlásenia sme zistili chybnú konfiguráciu switcha, ktorá znefunkčňovala wlan_fi v B103 a okolí (PC hala). Pre zaujímavosť, išlo o chybne nakonfigurovaný DHCP snooping. Ten zabezpečuje, že odpovede od DHCP servera môžu prichádzať len z označeného dôveryhodného portu (uplink port switcha). V dôsledku dodatočnej úpravy siete v B103 došlo k chybe a na miestnom switchi chýbala definícia dôveryhodného portu. Rovno sme teda implementovali automatizovanú kontrolu takejto situácie.
Učebňové stroje s Linuxom
GPU v A219 nasadené: Ako sme avizovali, v A219 boli fyzicky nainštalované Nvidia GeForce RTX 4060 Ti, vrátane výmeny napájacieho zdroja. (Grafický výstup však stále zabezpečuje integrované GPU.)
Ďalšia reorganizácia učební: Prvý neúplný týždeň roka sa tesne stihla stavebná a následne i naša technická príprava PC haly. Aktualizovali sme mapku PC haly (vrátane eliminácie technického dlhu SVG), plánik sme tiež doplnili k vstupu do PC haly a rozoslali skúšajúcim vyučujúcim. PC učebne v C1 boli na základe požiadaviek v rozvrhu rozplánované na windowsové C117 (11), C118 (23), C119 (27) na jednej strane a linuxové C121 (24), C122 (24) a C123 (12) na druhej (v zátvorkách počet miest bez katedry). Z toho tiež vyplynulo osadenie PC haly: 48 linuxových, 19 dualbootových a 6 iMac strojov. Zároveň je v riešení navýšenie kapacity PC haly na najbližšie skúškové. A korekcia minulého blogpostu: informácia o PC učebni A214 bola chybná – šlo o zvažovanú, ale zavrhnutú možnosť.
Podivný Caps Lock Nymfe105 v A219: Boli sme upozornení na zvláštne správanie sa LEDiek na klávesnici katedrového PC v A219. Jadrom problému je, že pri vypnutí Caps Locku totiž táto LED typicky nezhasne, i keď samotná funkčnosť klávesnice je správna, takže zobrazovaný stav LED je len mätúci. Po následnom stlačení hocijakej inej klávesy už táto LED (oneskorene) zhasne a indikuje stav správne. Svet módov zlyhania je nekonečný…
Softvérové vybavenie a prostredie
Nové moduly unix@fi: r-4.4.2
Služby
Trvajúca pomalosť zápisov v Stratus.FI: Ďalšie pokračovanie:
- Vypli sme write cache pre disky s dátami Cephu (
hdparm -W 0 alebo smartctl --set wcache,off), čo minimálne našu syntetickú záťaž zrýchlilo trojnásobne, hoci to so sebou prinieslo riziko väčšieho preťaženia celého úložiska jedným intenzívne zapisujúcim klientom.
- Ešte sme opravili konfiguráciu ohľadne scrubbingu Cephu (jeho funkčnosť je ovplyvňovaná viacerými premennými).
- Začali sme získavať grafy latencie commitu Ceph OSD (zodpovedá zápisom).
- Preskúmali sme tiež možnosti ad hoc rate-limitingu I/O operácií z vonkajška VM v prípade nutnosti – cez QEMU alebo RBD.
- Eliminovali sme ďalší VM, ktorý zbytočne vyvolával zápisy.
Tieto opatrenia síce pomohli a funkčnosť Cephu optimalizovali, ale neviedli k definitívnemu vyriešeniu. Priebežne sme teda stále zaznamenávali napríklad pomalosť VM gitlab-ci (zdieľaný fakultný runner). Vzhľadom na to, že Ceph aktuálne prevádzkujeme nad rotačnými diskami, rozbehli sme tiež plán prechodu na NVMe disky. (K 02/2025: viď zápis z porady vedenia, doc. Řehák. Tiež sa nám zrejme podarilo tento problém s pomalosťou razantne zlepšiť.)
Nedostupnosť tlačiarní: V súvislosti s preložkami dátovej siete a rekonštrukcie častí budov B a C priliehajúcich k bývalej budove D boli dočasne nedostupné ďalšie kopírky/tlačiarne lj3b, lj4c, copy4c. Tlačiareň lj2b bola definitívne zrušená (i s ohľadom na jej vek a občasné problémy).
Ojedinele pomalá tlač na kopírkach: Začali sme dostávať hlásenia o tom, že niekedy trvá tlač na kopírkach (nie tlačiarňach) veľmi dlho. Podľa analýzy tlačových úloh šlo v najhoršom identifikovanom prípade až o 4 hodiny od zadania tlače do jej dokončenia: časť problému bola spôsobená samotnou pomalou tlačou, časť čakaním úlohy v danej tlačovej fronte (zdržovali ju iné úlohy, a, bohužiaľ, i iná kópia tej istej úlohy). Ide však o mizivý zlomok úloh, ktorých sa to týka – viď prehľad úloh trvajúcich aspoň N minút za posledný polrok:
| minút |
úloh |
% úloh |
| 60+ |
5 |
0.03 % |
| 30+ |
20 |
0.10 % |
| 15+ |
47 |
0.30 % |
| 5+ |
152 |
0.90 % |
| 0+ |
17732 |
100.00 % |
Problém sa začal zo zatiaľ neodhalených dôvodov vyskytovať u tlačového filtra CUPSu (ide o proprietárnu súčasť konfigurácie špecifickej pre model tlačiarne) a zrejme súvisí so spracovaním pomocou Ghostscriptu. Zdá sa, že typicky ide o PDF generované ISom a tlačené ručne (tlač priamo z ISu sa javí byť v poriadku – tá tlačové filtre nevyužíva). V jednom skúmanom prípade šlo o tlačovú úlohu s veľkosťou 0.25 MB, ktorú však Ghostscript transformoval na súbor veľkosti 40 MB, ktorý na výstup generoval rýchlosťou iba 10 kBps…
Aktuálnym rýchlym riešením je v prípade takéhoto problému využiť tlačiareň (lj*) namiesto kopírky (copy*) , hoci tie mimo duplexnej tlače nepodporujú iné rozšírené možnosti tlače, vrátane tej farebnej.
Časový limit na tlačové úlohy: V súvislosti s problémom vyššie (ale v princípe ide o všeobecne užitočné nastavenie) sme i na základe štatistiky tlačových úloh znížili nastavenie CUPSu MaxJobTime z implicitných 3 hodín na 30 minút. Ide o dobu, po ktorú môže byť tlačová úloha spracovávaná na strane tlačového servera CUPS (nepočíta sa do nej teda napríklad minutý papier v zásobníku a pod.). Cieľom je, aby nedochádzalo k až takým excesom, ako bol ten popísaný vyššie, hoci sa to môže dotknúť malého množstva tlačí, ktoré budú prerušené.
Zas problém s konfiguráciou tlačiarní na macOS: Zistili sme, že podpora tlačiarní a kopírok je nikdy nekončiaci boj. Po novom zrejme došlo k úprave rozhrania v macOS, takže oproti nášmu návodu ohľadne tlače cez Sambu pribudla potreba kliknúť na ikonku retry.
Duplexné fronty Samby pre všetky kopírky: A kolo druhé! Vzhľadom na to, že u macOS sa nám i napriek istému úsiliu nepodarilo vypátrať, ako je možné pri inštalácii sambovej tlačovej fronty zabezpečiť duplexnú tlač (voľby na strane klienta sú zhusta ignorované, hoci u klientov s Windows takýto problém nie je…), pridali sme ku všetkým kopírkam (až na copy2c, kvôli jej modelovej odlišnosti) duplexnú sambovú frontu (oproti frontám CUPSu, kde historicky poskytujeme rôzne variantné fronty, bola doteraz vždy len jedna sambová fronta na tlačové zariadenie).
Oprava duplexnej ISovej tlače na lj4a: Na základe podnetu sme opravili konfiguráciu tlačiarne lj4a, kde zrejme niekto v používateľskom rozhraní nastavil implicitne tlač obojstranne, čo však nie je v niektorých situáciách, ako napríklad tlač odpovedníkov, úplne žiadúce. Istou nevýhodou je, že ide o nastavenie, ktoré zrejme nie je prístupné cez webové rozhranie, ktoré používame na administráciu, a teda toto nastavenie je pre nás horšie viditeľné či meniteľné.
Podpora CSV s termínmi skúškových sedení: Pre zjednodušenie a zníženie chybovosti importu práv na manipuláciu so skúškovým sedením (a tiež zadávania URL odpovedníkov) sme umožnili import z CSV – podrobnosti dodáme na unix@fi.
Prepínanie jazyka klávesnice v skúškovom režime: V úvodnej obrazovke odpovedníkového skúškového sedenia nemáme zatiaľ vyriešené správne zobrazovanie klávesovej skratky na prepínanie jazyka klávesnice (líši sa pod Linuxom a Windows). Pôvodne sa totiž táto informácie zobrazovala na základe hostname stroja, ale s príchodom dualbootu už toto rozlíšenie prestalo platiť.
Zrkadlenie RPM Fusion: V rámci nášho zrkadla ftp.linux.cz sme začali zrkadliť RPM Fusion – repozitár s balíčkami typu RPM, ktoré poskytujú doplnkový softvér pre Fedoru, RHEL či klony. Ide o druhé zrkadlo tohto projektu v ČR.
Fakultný web a technická dokumentácia
Prístup k VM z našich šablón: V dokumentácii Stratus.FI sme zjednoznačnili, že do inštancií VM odvodených z našich linuxových šablón ([CVTFI]) sa vždy prihlasuje účtom root a heslom podľa CRYPTED_PASSWORD. Občas dochádzalo k zmäteniam (či už kvôli chybke pri nasledovaní postupu alebo neuvedomeniu si, že distribúcie typicky zakazujú rootovi prihlasovanie cez SSH heslom) a snahe používať fakultné prihlasovacie údaje, ktoré ale nemôžu fungovať.
DYK o kvótach v Stratus.FI: Na minule publikované Vedeli ste že o kvótach v Stratus.FI sme doplnili odkaz do našej dokumentácie Stratus.FI, aby sa tento vysvetľujúci textík nestratil a slúžil i v budúcnosti.
Dokumentácia img.data-alt-src: V rámci automatizovaného prekladu stránok sme dodokumentovali nejakú chvíľku existujúcu možnosť uvádzania alternatívnych ciest k obrázkom, ktoré sa použijú v preloženej verzii stránky. Rovnakú možnosť už dávno podporujeme pre ciele odkazov.
Vedeli ste, že…
… (platnosť členstva vo FA skupinách) v prípade potreby je možné pri nastavovaní členstva účtu v skupine (mailovej, stratusovej, GitLabovej, …) nastavovať i časovú platnosť (s granularitou na dni).
… (Kerberos otvárajúci brány) vďaka využívania autentizačného protokolu Kerberos (viď i informácie o našom Kerberovi) na nami spravovaných strojoch a službách sa vám pri prihlásení (heslom!) k niektorému z fakultných linuxových strojov automaticky vytvorí lístok Kerbera (viď výstup príkazu klist). Prostredníctvom neho získavate po obmedzenú dobu (u nás jeden deň) právo autentizovať sa voči ďalším službám, ktoré sú súčasťou systému bezheslového/kerberizovaného prihlasovania. Teda za predpokladu, že prácu s takýmito lístkami podporuje ako služba, tak i nástroj, ktorou k nej pristupujete (typicky prostredníctvom GSSAPI). Napríklad, ak sa raz prihlásite heslom cez SSH na Aisu, tak následný pokus o prihlásenie na niektorú Nymfe by už mal prebehnúť bez toho, aby ste museli zadávať heslo. Podobne je možné tlačiť z Aisy či Anxura alebo strojov Nymfe/Musa. Na podobnom princípe funguje (vďaka našej systémovej konfigurácii prehliadačov Firefox a Chrome) i prihlasovanie na Fadmin či do GitLabu z grafického prostredia Nymfe/Musa. Alebo prístup ku GitLabu z terminálu z Aisy/Nymfe/Musa cez príkaz git. Z nami nespravovaných služieb tu zmieňme napríklad nástroj Frag využívaný na odovzdávanie domácich úloh.
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
