Stalo sa, stane sa
(Vy)riešená pomalšia odozva GitLabu 5. 5.: Moloch GitLab je večným zdrojom možností, inšpirácie, problémov i utrpenia. V pondelok 5. 5. sme dostali hlásenia o niekoľko minút trvajúcom reflektovaní bežných operácií vo webovom rozhraní (merge request, spúšťanie CI), pričom tento stav trval asi hodinu. Nakoniec sa nám po nemalom úsilí podarilo odhaliť ako najpravdepodobnejšiu príčinu komponent GitLabu Sidekiq, zabezpečujúci asynchrónne vykonávanie úloh (prvý výsledok vyhľadávania je zrovna Troubleshooting Sidekiq – náhoda!? asi áno…). Po zvýšení počtu týchto procesov sa nám, napriek zložitosti rozumného a relevantného sledovania metrík GitLabu, javí, že to tento problém pomohlo vyriešiť.
Výpadok Anxura 7. 5.: V stredu 7. 5. došlo medzi 17:58 a 18:14 k samovoľnému resetu servera Anxur. Tentokrát šlo o iný typ výpadku ako posledne, nanešťastie bez akýchkoľvek indícií v logoch, až na pozorované zasekávanie pri interaktívnej práci tesne pred výpadkom.
5 rokov sondy RIPE Atlas: 12. 5. oslávila naša sonda #6788 projektu RIPE Atlas už päť rokov prevádzky. Je však škoda, že informácie napríklad ohľadne dostupnosti nie sú priamo použiteľné/vypovedajúce. Za päť rokov sme vraj mali dostupnosť sondy 99,91 %, čo by znamenalo nedostupnosť 1,6 dňa (39 hodín). Pohľadom na (o 30 dní mladšiu) sondu CESNETu #6810 s dostupnosťou 99,93 % by šlo našu skutočnú dostupnosť odhadnúť (alebo zdola ohraničiť) skôr na 99,98 %, čo zodpovedá 8,8 hodinám nedostupnosti. Zvyšok tvoria „artefakty“ samotného monitoringu projektu RIPE Atlas.
Výpadok Anxura 28. 5., ale inak: Ani nás a asi ani vás nepotešil ďalší výpadok Anxura a zas ešte iného typu… Došlo k nemu v stredu 28. 5. o 02:46 ráno, kedy začalo jadro hlásiť BUG: soft lockup (zaseknutie úlohy v jadre na príliš dlho), v súvislosti s XArrays alebo XFS. Jadro síce ďalej žilo, ale userspace časť systému a všetky súvisiace služby prestali byť dostupné. K riešeniu problému sme sa dostali okolo 07:30 a o 07:47 už služby naviazané na Anxura bežali, a do 08:07 sa nám podarilo doriešiť problémy s PC stanicami.
Učebňové stroje s Linuxom
C117 dualbootizovaná: V súvislosti s presunom strojov Dryáda z C117 do PC haly sme ich dualbootizovali.
Skúškové rozloženie strojov v PC hale: Viď mapa miestností.
Titány implicitne v Linuxe: Na dobu skúškového obdobia budú Titány (štandardne windowsové stroje v PC hale) implicitne nabootované do Linuxu.
Softvérové vybavenie a prostredie
Terraform na Aise: Na Aisu sme doinštalovali Terraform umožňujúci spravovať virtualizovanú infraštruktúru ako kód, čo sa môže hodiť napríklad pre Stratus.FI.
Služby
Oprava chýb Terraformu so Stratus.FI: Podarilo sa nám vyriešiť nedeterministické chyby GOCA client error: ... EOF, s ktorými sa dalo stretnúť pri práci s Terraformom voči Stratus.FI. Skúmanie bolo celkom zapeklité, keďže na zapuzdrenie XML-RPC do TLS používame Lighttpd, čo nie je štandardná konfigurácia, no a práve tam ležala príčina. Terraform čaká na dokončenie operácie a pravidelne sa dopytuje providera, ale vďaka nízkemu implicitnému server.max-keep-alive-idle mu občas Lighttpd spojenie nečakane uzatvoril, z čoho sa už Terraform nezvládol zotaviť.
API Stratus.FI aj zo Stratus.FI: XML-RPC API OpenNebuly sme na našom firewalle sprístupnili aj z privátnych a verejných adries našej virtualizácie. Yo dawg!
Platnosť tokenov Stratus.FI: Predĺžili sme maximálnu povolenú platnosť autentizačných tokenov Stratus.FI na polrok (implicitne je dňová).
Ku skúškovému sedeniu a bezISovému fragless odovzdávaniu: Okrem odovzdania riešenia v obmedzenom skúškovom sedení cez automatický vyhodnocovací systém Frag podporujeme aj odovzdávanie riešení v jednoduchom webovom rozhraní na Aise (cieľom je umožniť odovzdávanie riešení bez prístupu do ISu). Toto rozhranie sme preložili do angličtiny, umožnili sme nahrávanie viacerých súborov a tiež výpis zoznamu odovzdaných súborov.
Správa zariadení a WoL v zobrazení zariadenia: V správe zariadení sme doplnili možnosť vyvolať Wake-on-LAN priamo zo zobrazenia konkrétneho zariadenia, nielen z prehľadu zariadení.
Fakultný web a technická dokumentácia
Terraform a Python: Do dokumentácie Stratus.FI sme doplnili zmienku o module Terraformu pre Python.
Vedeli ste, že…
… (výpadky našich služieb) existuje stránka s prehľadom plánovaných výpadkov či dodatočným informovaním o väčších neplánovaných problémoch? Zároveň máme stavovú stránku Status FI, kde dokážete získať prehľad o problémoch našich dôležitejších služieb.
… (monitoring služieb/strojov) poskytujeme možnosť monitoringu dostupnosti strojov/služieb naším Nagiosom (konkrétne zaslanie mailu v prípade zmeny stavu). Služba je primárne cielená na správcov laboratórií a vlastníkov produkčných virtuálnych/fyzických strojov.
Záverom
Máte pripomienky, návrh na vylepšenie alebo jednoducho potrebu pochváliť nás? :-) Napíšte nám mail či využite IT ideas.
Ak vás tieto novinky zaujali, môžete si zapnúť sledovanie blogu a následne zapnúť posielanie mailových upozornení.
