Stalo sa, stane sa
Výpadok siete FI 12. 4.: V pondelok 12. 4. došlo v ranných hodinách k cca hodinovému výpadku siete FI a následne vo večerných hodinách k súvisiacim krátkym niekoľkominútovým výpadkom. Stav sa nám večer podarilo zabezpečiť tak, aby k týmto výpadkom už nedošlo. Pre viac informácií viď samostatný blogový príspevok.
Problém s STS v datacentre FI 15. 4.: Vo štvrtok 15. 4. došlo o 7:30 ku niekoľkominútovému problému na súčasti jednej napájacej trasy v datacentre FI. Konkrétne sa týkal zariadenia static transfer switch (STS, viď i starší blogový príspevok) zabezpečujúceho rýchle a automatické prepínanie medzi dvomi napájacími vetvami v prípade servisu či nečakanej poruchy na niektorej z vetiev. U serverov napájaných len z tohto napájacieho zdroja mohlo dôjsť ku výpadku napájania. Servery s dvojzdrojovým redundantným napájaním tento výpadok nepocítili. Veľkosť dopadu tiež limitoval fakt, že šlo o STS s najmenším množstvom napájaných záťaží/serverov.
Tento stav sme sa pokúsili stabilizovať a nastaviť STS do manuálneho režimu, kedy však došlo k úplnému zlyhaniu STS a ďalšiemu párminútovému výpadku, ktorý bol vyriešený prepnutím do režimu ručného bypassu (a problém je ďalej riešený servisnou firmou).
Tento druhý výpadok však mal neblahý následok na našu virtualizáciu Stratus.FI, kde došlo 09:20–09:40 k výpadku dostupnosti jej dátového úložiska založeného na Cephe. V praxi to mohlo spôsobiť dočasnú nedostupnosť diskového priestoru pre virtuálne stroje v Stratus.FI. K strate dát však nedošlo. Problém týkajúci sa výpadku úložiska plánujeme vyriešiť náhradou jeho dôležitých uzlov, ktoré sú teraz jednozdrojové, za dvojzdrojové servery.
Infraštruktúra a hardvér
Rýchlejšie zotavovanie z problémov s IPv6: V súvislosti s výpadkom siete FI (z 12. 4.) sa opäť u niektorých našich serverov prejavil problém, vďaka ktorému im prestala fungovať komunikácia po IPv6 (viď i IPv6 na FI) – nejde však o úplne jednoduchý problém, preto do technických podrobností zachádzať nebudeme. Za normálnych okolností by to nebolo zásadné, keďže IPv4 je v takýchto situáciách stále funkčné, ale u niektorých služieb, typicky LDAP udržujúci informácie o fakultných účtoch, nefunguje použitie záložného LDAP servera vždy spoľahlivo. Vďaka tomu môže byť na serveroch, ktoré majú IPv6 a využívajú služby LDAPu, problém s prihlasovaním.
Na dôležitejších miestach sme preto pridali mechanizmus automatizovanej kontroly a prípadnej nápravy problematického stavu (doteraz bolo toto riešené ručne). Nejde o systémovú nápravu, ale vďaka tomu dôjde k skráteniu doby trvania takýchto problémov.
Softvérové vybavenie a prostredie
Kontrola prístupových práv adresárov: Zaviedli sme automatizovanú kontrolu prístupových práv na domovskom adresári a veľkom úložisku. V prípade detekcie neobvyklých práv dostanete jednorázový upozorňujúci mail s popisom potenciálnych problémov. Motiváciou kontroly je, že študenti si často omylom nastavia príliš voľné práva na svojom domovskom adresári a neraz tým doňho umožnia prístup či zápis ostatným.
Lepší príkaz quota: Na Aise, Anxurovi, Aure a Nymfách sme prekryli štandardný príkaz quota tak, aby zobrazoval zrozumiteľnejšie informácie o aktuálnom využití diskových kvót.
Motiváciou bolo, že príkaz quota štandardne zobrazuje informáciu pre zariadenie (napr. home.fi.muni.cz:/export/home/xakcny) a nie pre názov adresára (napr. /home/xlogin), ktorý je však informačne prínosnejší. Ďalším neduhom bolo, že pri pripájaní viacerých domovských adresárov cez NFS sa príkaz quota uspokojí s prvým nájdeným názvom pripojeného vzdialeného adresára na danom vzdialenom zariadení. Číselné informácie o kvóte sú síce správne, ale v názve pripojeného adresára sa vyskytuje názov v poradí prvého pripojeného domovského adresára na danom zariadení – používateľ môže získať dojem, že sa mu zobrazuje kvóta niekoho iného.
Správa využívaných zdrojov na Aure: Do dokumentácie výpočtového servera Aura sme pridali príklady užitočných príkazov na sledovanie využívania pamäte a CPU (systemd-cgtop) a na obmedzovanie spúšťaných procesov (ulimit).
Služby
Nový odosielateľ v mailoch od GitLabu: Po novom majú maily generované GitLabom odosielateľa Autor Autorovič <noreply@gitlab.fi.muni.cz> namiesto doterajšieho Autor Autorovič <gitlab@fi.muni.cz>. Priebežne sa nám totiž stávalo (a minulý mesiac o niečo intenzívnejšie), že nám (na unix@fi, správcom GitLabu) dorazili maily od študentov, ktoré boli ale zamýšľané pre vyučujúcich – v takých prípadoch sme sa snažili odosielateľa promptne upozorniť na nesprávneho adresáta.
V drvivej väčšine prípadov k tomuto nedochádza, pretože takéto maily majú nastavené mailovú hlavičku Reply-To (obsahujúcu mail pod kontrolou GitLabu), ktorú mailový klient použije namiesto adresy z hlavičky From a následne GitLab zabezpečí doručenie mailu do správnych rúk. Ukázalo sa však, že pri odpovedi z webového rozhrania ISovej pošty občas študenti využili možnosť odpovede cez link na odosielateľa mailu v zozname prijatej pošty, čo síce zobrazovalo Autor Autorovič, ale zákerne to poštu odoslalo nám, správcom GitLabu (gitlab@fi.muni.cz). To by sa už teraz diať nemalo a snáď teda budeme môcť mailovú pálku načas odložiť do skrine.
Krajšie názvy nových GitLab skupín: Relaxovali sme z podmienky, že v prípade ručne spravovanej skupiny v GitLabe nemusí mať v URL prefix grp-. Pôvodne išlo o konvenciu, ktorá však v rámci vylepšenia mechanizmu synchronizácie skupín z Fakultnej administratívy prestala byť nutná. V prípade, že by ste u nejakej takej už existujúcej skupiny mali záujem o zrušenie grp- z URL, dajte nám vedieť.
Firewall pre úlohy GitLab CI: Pri zavádzaní služby GitLab CI sme z opatrnosti nastavovali striktnejšie pravidlá firewallu, na ktoré teraz jeden z používateľov narazil. Preto sme pre CI úlohy fakultného GitLab Runner povolili prístup do siete 147.251.58.0/24 (kde je napríklad server VPN, festival.fi.muni.cz či iné produkčné virtuálne stroje) pre najčastejšie používané porty SSH, HTTP a HTTPS.
Limit pamäte pre Docker v GitLab CI: S cieľom predchádzania možným vyčerpaniam pamäte (a aktiváciám divokého pištoľníka zvaného OOM killer) na fakultnom GitLab CI sme obmedzili dostupnú pamäť jednotlivým úlohám na 8 GB.
Synchronizácia skupín osôb do Stratus.FI: Začali sme podporovať synchronizáciu skupín vo Fakultnej administratíve do virtualizácie Stratus.FI. V prípade záujmu nás kontaktujte na obvyklej adrese unix@fi.
Obraz Fedory 34 v Stratus.FI: S východom novej verzie Fedory (po novom Fedora Linux 34) sme s ňou sprístupnili predpripravenú šablónu vo virtualizácii Stratus.FI. Zároveň sme do obrazu šablóny pre väčšiu pohodlnosť doplnili balíčky vim a git.
Oprava šablóny Fedory 30: Zistili sme, že u šablóny Fedory 30 dochádzalo vinou chybne nastaveného disku k inštanciovaniu Fedory 31. V tejto chvíli je už šablóna opravená (bohužiaľ sa tam pre istotu zobrazuje mätúce [root@fedora29 ~]#, ale skutočne ide o Fedoru 30). Tu ešte poznamenáme, že motiváciou zachovávania i starších už nepodporovaných verzií distribúcií je v prípade potreby umožniť testovanie i v starších prostrediach.
Zrušenie starších verzií TLS pre poštu: Vzhľadom na to, že už nejakú dobu je používanie šifrovacích protokolov TLS verzie 1.0 a 1.1 neodporúčané (aktuálne odporúčanými sú verzie 1.2 a 1.3), po kontrole jeho využívania osadenstvom FI a vyriešení marginálneho počtu používateľov, sme ich na poštových serveroch FI zakázali. Ide o zmenu, ktorú by ste však nemali nijak pocítiť (v menej častých prípadoch však môžete pocítiť hrejivý pocit bezpečia).
Vzhľadom na to, že nedávno (RFC 8996) prestali byť TLS 1.0 a 1.1 odporúčané všeobecne, postupne budeme skúmať možnosť ich vypnutia i pre iné služby.
Fakultné VPN pre KDE: Na základe hlásenia o probléme s pripojením sa na fakultnú VPN z prostredia KDE sme do FAQ doplnili návod o postup, ako takúto situáciu riešiť. Pre zaujímavosť, pointa problému spočíva vo vlastnej implementácii spracovania konfigurácie appletom KDE namiesto toho, aby na to bola použitá štandardná knižnica z Network Manager (viď bugreport).
Nová kopírka copy2c: K dispozícii je nová kopírka umiestnená na druhom poschodí budovy C v miestnosti naproti kuchynke.
Konfigurácia tlače cez Sambu na macOS: Návod konfigurácie tlače z macOS cez Sambu sme na základe zistených skúseností doplnili o poznámku, že počas tohto postupu je nutné mať stroj odpojený od siete, inak konfigurácia tlačiarne neuspeje.
Informatívnejšia aplikácia Správa zařízení: Do aplikácie Správa zařízení sme (hlavne pre správcov laboratórií) k strojom doplnili užitočné informácie: dátum odkedy je stroj UP/DOWN, detekciu nesprávne nakonfigurovaného firewallu pre ICMP (typické pre Windows) a zobrazovanie pridelenej IP adresy.
Lepšia stránka o výpadkoch: Modernizovali sme dizajn stránky o výpadkoch, aby boli informácie zobrazované prehľadnejšie, a zároveň sme tam doplnili odkazy na užitočné informácie.
Fakultný web a technická dokumentácia
Stránkovanie pre aktuality: Doplnili sme stránkovanie pre archív aktualít (odkazovaný hlavne z titulky webu FI), vďaka čomu je jeho zobrazovanie výrazne rýchlejšie.
Úprava značky fi-news: Upravili sme správanie značky fi-news zobrazujúcej prevažne aktuality a akcie z vývesiek IS MU tak, aby sa v niektorých rozloženiach vhodne zobrazovali i budúce či minulé správy. Viď jej dokumentáciu.
Technická podpora k tlači: Ku informáciám o tlači i kontaktným adresám sme pridali informáciu o kontaktnej adrese pre tlač: tech@fi.
Vedeli ste, že…
… (svetový deň hesiel) včera, 6. 5., bol svetový deň hesiel? Môžete pri tejto príležitosti zvážiť, či máte fakultné heslo rozumne bezpečné, ideálne odlišné od sekundárneho hesla, a prípadne ho zmeniť. Ak si neviete rady s vymýšľaním nových hesiel, môžete sa inšpirovať klasickým xkcd a nástrojom xkcdpass.
… (kód pre kopírovanie) na kopírkach môžete pri použití prihlasovacieho kódu 0 skenovať dokumenty a odoslať si ich na svoju mailovú adresu? Záujemcovia z rád zamestnancov si môžu v prípade potreby kopírovania vyžiadať na tieto účely na tajemnice@fi osobný šesťmiestny prihlasovací kód.
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
