PV005 Služby počítačových sítí
Technické vybavení nové budovy Fl
Mgr. Tomáš Szaniszlo
Fakulta informatiky, Masarykova univerzita
22. októbra 2015
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 1/47
Budova
Krátka história budovy
• pôvodná budova z prelomu 70./80. rokov
• sídlom Fl a ÚVT od 1996
• rozšírenie do Gotexu (Šumavská 15) v 2010-2014
• demolácia starej budovy A v 2012
• konštrukcia nových budov A a S v 2012-2014 (dve etapy)
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        2 / 47
Budova
Budova A (Al)
• akademická časť novostavby
• 5 poschodí
• kancelárie, laboratóriá, učebne, prednáškové miestnosti, počítačové sály, technické zázemie
• CERIT-SC (Center for Education, Research and Innovation in ICT in Brno, Scientific Cloud)
• podzemná garáž pod budovami A, S a parkom
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        3 / 47
Budova
Budova S (A2)
• CERIT SP (Science Park)
• komerčná časť pre firmy
• 7 poschodí
• priebežne zasídľovaná (18 firiem)
• priestory pre menšie alebo väčšie firmy, open space
• súčasní nájomníci: Comprimato Systems, MycroftMind, Red Hat, Axenta, ...
• laboratórium na rohu budovy - Kybernetický polygon :) (http://www.kypo.cz/), CSIRT, bezpečnostné cvičenia
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        4 / 47
Oblasti záujmu prednášky
• silnoprúd
• počítačové sály
• sieťová infrastruktura a Wi-Fi
• chladenie
• meranie a regulácia (MaR), Building Management System (BMS)
• elektrický požiarny systém (EPS)
• elektronický zabezpečovací systém (EZS)
• učebne a laboratóriá
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        5 / 47
Silnoprúd
Prehľad
• základ systému
» navrhovaný redundantne
• 2 VN prípojky od E.ONu (22 kV)
• 3 VN transformátory 1600 kVA
• dynamická UPS
• rozvádzacie polia
• Static transfer switch (STS)
• N N rozvádzače
• 400 V trojfázové alebo 230 V jednofázové napájanie http://f i.muni.cz/~kas/datacentrum/rozvodna-it.html
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        6 / 47
Silnoprúd
Dynamická UPS (DUPS)
Uninterruptible Power Supply
• static - akumulátorové batérie
• dynamic (rotary) - masívny zotrvačník V novej budove je umiestnená DUPS. Súčasti:
• masívny zotrvačník
• statoalternátor
• motor
• pomocné systémy
• nádrž na naftu
• chladenie: nádychová a výdychová miestnosť
http://www.fi.muni.cz/~kas/datacentrum/dups.html
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        7 / 47
Silnoprúd
Naša DUPS
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        8 / 47
Silnoprúd
Parametre DUPS
• dimenzovaná záťaž 1200 kVA
• rozmery 7 x 2 x 2 m
• hmotnosť 23 t
« rotačná rýchlosť 1500 min-1
• lodný motor Mitsubishi - objem 49 I
• antivibračné uloženie
• nádrž na naftu - 1 m3 paliva, kapacita 2.5
• dodávanie energie 10 hodín
• chladenie - prietok vzduchu až 30 m3.s-1
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        9 / 47
Silnoprúd
Delenie elektrických obvodov
Elektrické spotreby sú delené podľa dôležitosti:
• EPS - spotreby požiarneho systému
• VDO - počítačové sály, slaboprúdové miestnosti „stupačky"
• DO - laboratória, učebne, vybrané kancelárie a miestnosti
• M DO - ostatné spotreby
V prípade požiarneho zásahu možnosť vypnutia elektrických spotrieb STOP tlačítkami.
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 10 / 47
Silnoprúd
STOP tlačítka
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 11 / 47
Silnoprúd
Static Transfer Switch (STS)
výkonové prepínanie medzi N N napájacími vetvami elektronické, nie mechanické reakčná doba 4 ms len pre počítačové sály 3x 250 A, 3x 400 A
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015
12 / 47
Silnoprúd
STS a N N rozvádzače
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 13 / 47
Počítačové sály
Umiestnenie a účel
Stará budova (pôvodný stav):
• dolná sála UVT v CO - fakultné servery, IS, univerzitné servery
• horná sála UVT v Cl - univerzitné servery, CESNET uzol
• serverovňa B103 - fakultné servery, IS, servery laboratórií
• serverovňa B104 - servery laboratórií Nová budova:
• sála Fl v A5 - fakultné servery, servery laboratórií
• sála CERIT v A5 - časť superpočítača CERIT-SC
• serverovňa SP v SO - servery CERIT-SP Prázdninové rozšírenie:
• montáž nových PDR, STS, rackov a LCP
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 14 / 47
Počítačové sály
Sála Fl
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015 15 / 47
Počítačové sály
Schematická mapa
hl	— r.	hi	u		— r.	U	hi		— r.	hl		— n			—			—	hl	hl	—	
k>		kí	k>	k)			k)	k>		k>		■3 u		u	— kí	u	u		U	w		
	í— i—	U>	t-	'Ji	h-	Os	-J	00	— u			M £.						—		O!	— -J	-4
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 16 / 47
Počítačové sály
Sála Fl a CERIT
Sála Fl
• 111 m2, 18 (34) rackov, max. energetická bilancia 150 (250) kW Sála CERIT
• 147 m2, 20 (40) rackov, max. energetická bilancia 200 (450) kW
http://www.fi.muni.cz/~kas/datacentrum/ Servery:
• rackové prevedenie, zvyčajne 1-4 U (1 U = 44.5 mm)
• umiestnené v štandardných 42 U a 19" (48.26 cm) rackoch
• väčšina s redundantnými napájacími zdrojmi
• väčšia časť umožňuje vzdialenú správu (IPMI, iLO, atď.)
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 17 / 47
Počítačové sály
Račkový server
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 18 / 47
Počítačové sály
Vybavenie sál
Sály okrem serverov obsahujú dalšie aktívne prvky: switche, KVM, diskové polia, inteligentné PDU, teplomery, ...
• dvojitá podlaha
• káblové žľaby: napájanie, optika, metalika
• trojfázové napájacie zásuvky —>> PDU v rackoch
• rack dimenzovaný na 10.5 kW
• hasiaci systém
• hygienická výmena vzduchu
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015 19 / 47
Počítačové sály
CERIT-SC
• https://www.cerit-sc.cz/cs/Hardware/
• superpočítačový klaster, dátové úložisko
• 4500 CPU jadier
• 4 PB úložného priestoru
• súčasť NGI/EGI (National/European Grid Infrastructure), ELIXIR (európska infrastruktura zameraná biologické informácie)
• http://www.metacentrum.cz/
• výpočtové prostriedky pre vedecké skupiny
• ľudský genóm, NASA dáta, simulácia elektrickej siete ČR
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        20 / 47
Chladenie
Prehľad
• kritická súčasť technického zázemia počítačových sál
• serverovne dimenzované na príkon 700 kW
• nutný odvod stratového tepla
• niekoľko chladiacich okruhov a režimov
• technológia chladenia pomocou uzavretej teplej uličky
• redundantné riešenie
Súčasti:
• medzirackové chladiace jednotky (LCP)
• akumulačná nádrž s chladiacou zmesou
• výrobníky chladu
• suché chladiče
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        21 / 47
Chladenie
Uzavretá teplá ulička
• uzavretý priestor s teplým vzduchom medzi dvomi radmi rackov
• efektivita chladenia
• medzi rackmi sú pravidelne vsunuté LCP - cirkulácia a ochladzovanie vzduchu (row-oriented cooling)
• dimenzované na 18-25 °C v okolí (používame 27 °C)
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        22 / 47
Chladenie
Uzavretá teplá ulička - suboptimálne riešenie
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        23 / 47
Chladenie
Medzi rackové chladiace jednotky (LCP)
• výmena tepla - vzduch v počítačovej sále, voda zo strojovne chladenia
• maximálny chladiaci výkon LCP je 27 kW, príkon 2 kW
• 23 (38) jednotiek
• redundancia
• voda privádzaná/odvádzaná potrubiami pod podlahou
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        24 / 47
Chladenie
Strojovňa chladenia
Chladiaca zmes:
• voda a propylénglykol
• v systéme prítomných cca 5 m3 zmesi Okruhy chladenia:
• primárny - teplotný spád 15/21 °C (používame 20/22 °C)
• sekundárny - teplotný spád 42/47 °C Suché chladiče
• 2 (3) kusy, strecha budovy A
• chladiaci výkon 580 kW, príkon 14.5 kW Chladiace jednotky
• 2 (3) kusy, strojovňa chladenia v A5
• chladiaci výkon 466 kW, príkon 125 kW
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        25 / 47
Chladenie
Strojovňa chladenia
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        26 / 47
Chladenie
Režimy chladenia
freecooling
čiastočné strojové chladenie plné strojové chladenie
>zamszlo
PV005 Služby počítačových sítí
22. októbra 2015        27 / 47
Chladenie
Schéma chladiaceho systému
provoz: AUT plne chlazeni 1
/íf
r i_i
l-ÍJ
7.BÍ   |   liJJh |
Júr MJPh
í; oř
ml
íúí |  |:EOHh
ťV1
	3 T:	2 H		M4Z
ttlCERfľ		43 1		
V.TT s:-i	plŕrt>! AUT ■.'ipmlú			
tj'jJMJiiĽJiíu usni
Mgr. Tomáš Szaniszlo  (Fl MU)
	W|  131 í	■	....
n	líh	n	íl
p^1 ■		nm Eľľľ	HM diui
PV005 Služby počítačových sítí
22. októbra 2015        28 / 47
Meranie a regulácia
Prehľad MaR a BMS
• množstvo systémov v novej budove
• nutnosť koordinácie, kontroly a riadenia
• koncept inteligentnej budovy
• „meranie stavu systémov a regulácia ich nastavenia"
• zvažovaná nadstavba - Building Management System (BMS)
• centrálny monitoring, kontrola a riadenie
• vizualizácia systému, komplexné úkony
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        29 / 47
Meranie a regulácia
MaR kontrolér
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        30 / 47
Meranie a regulácia
Protokoly
Vzdialený prístup k zariadeniam realizovaný rôznymi protokolmi a v nezávislej sieti:
Modbus (RS485), RTU2TCP -> IP (Ethernet)
• DUPS, riadenie chladenia
• jednoduchý protokol M-Bus, dvojlinka
• elektromery
• impulzná signalizácia
BACnet - varianty MS/TP (RS485), UDP (Ethernet)
• chladenie, MaR kontroléry
• komplexný protokol ISO/OSI 16484-6:2005
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        31 / 47
Meranie a regulácia
Protokoly
SNMP - UDP (Ethernet)
• štandardný protokol na monitoring siete a zariaden
• LCP HTTP(S)
• vizualizácia, správa, manipulácia
• LCP, VZT, chladenie, DUPS
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        32 / 47
Meranie a regulácia
Súčasný stav
zber dát a monitoring - Nagios, MRTG
čiastočné technické vizualizácia, aplikácie vo Fakultnej administratíve
FAKULTA INFORMATIKY
MASA RYKO VY U MV E RZI TY
Jste zde: Fakulta informatiky > Fakultní administrativa
STS switch sts-2-1.m2.fJ.muni.cz
Temperature:   32 °C Sync angle:     2 ■
STS date: 2014-10-08      STS time: 17:59
Firmware: STA10-21A
51
52
Source 1
LI L2 L3 Freq
232 V 232 V 232 V 50Hz
■ PSP i — Output: 17.3 V
□
Source 2—
LI: 240V L2: 238 V L3: 238 V
Freq: 50.1 Hz
4
Output
LI L2 L3
4 %    10 A
3 %     7 A
4 %    10 A
ß
-PSP 2 — Output: 17.3 V
Alarms: (none)
Update STS data |   Showfhide parameters |   Load STS log [slow!) | STS documentation
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        33 / 47
Elektrický požiarny systém (EPS)
Prehľad
Monitoring budovy, hasenie (SHZ), signalizácia a opatrenia proti šíreniu požiaru. Nezávislý systém, ale v prípade potreby reguluje iné systémy -požiarne klapky, SHZ, VZT, silnoprúd.
Špecifický systém pre počítačové sály
Detekcia požiaru
• laserová detekcia dymu
• tepelné poistky SHZ
• požiarny hlásič Strojovňa hasenia
• nádrž s niekoľko m3 hasiacej vody
• vysokotlakové čerpadlá
• hasenie vysokotlakovou hmlou (100-150 barov)
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        34 / 47
Elektrický požiarny systém (EPS)
EPS v počítačových sálach
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        35 / 47
Elektrický požiarny systém (EPS)
Strojovňa hasenia a signalizácia požiaru
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        36 / 47
Elektronický zabezpečovací systém (EZS)
V širšom poňatí zahŕňa:
• zastŕežovací systém - ústredne Galaxy, senzory narušenia (PIR, MG, trieštenie skla, plášťová ochrana)
• kamerový systém - cez 100 IP kamier (vonkajšie a vnútorné), kamerový server na ukladanie záznamu
• kartičkové elektronické zámky - ústredne Duha System, prístup riadený ISom
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        37 / 47
Sieťová infrastruktura a Wi-Fi
Kabeláž - suboptimálne riešenie
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        38 / 47
Sieťová infrastruktura a Wi-Fi
Fakultná sieť - stará budova
• upstream konektivita od ÚVT, centrum na dolnej sále ÚVT
• 10 GbE a 1 GbE optické linky
• hlavné chrbtové spojenia siete Fl - 10 GbE optika
• 1 GbE ethernetové zásuvky v miestnostiach
• fyzická topológia hviezda
• cca 40 switchov, 2 core switche s 24 10 GbE portmi
• fakultný router a firewall - redundantný, Linux
• takmer výhradne verejné IP adresy, 802.IX
• IPv4 a IPv6 konektivita
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        39 / 47
Sieťová infrastruktura a Wi-Fi
Fakultná sieť - nová budova
• centrum siete v DC Fl
• štruktúrovaná kabeláž Cat 6A
• 1 GbE switche a zásuvky v miestnostiach
• 10 GbE optické/metalické switche a zásuvky v serverovniach
• 41 switchov, 6 core switchov s dohromady 240 10 GbE portmi a 40 GbE portmi
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        40 / 47
Sieťová infrastruktura a Wi-Fi
Access point (AP)
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        41 / 47
Sieťová infrastruktura a Wi-Fi
Wi-Fi
• riešenie postavené na RouterBoard a OpenWrt - unixové prostredie
• PoE napájanie, PXE boot, IPv6-only režim*
• podpora 802.11g/n a pásiem 2.4 a 5 GHz
• 56 access pointov v starej budove
• 46 access pointov v novej budove
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        42 / 47
Učebne a laboratóriá
Počítačové učebne
• A215 (Windows), A219 (Linux - Ubuntu)
• konfigurácia strojov A219: Core Í5-4690 (3.5 GHz), 16 GB RAM, 256 GB SSD, SATA 3, USB 3.0, 24" monitor (1920x1200, PLS, DVI-D)
Posluchárne
• väčšie posluchárne - 2 full HD projektory, prídavné displeje, H.323/SIP videokonferenčné jednotky
• menšie posluchárne - 1 full HD projektor
• v oboch prípadoch stereo ozvučenie, mikrofóny a riadiaci systém Rozvrhové panely
• pred prednáškovými miestnosťami
• riadiaci systém Raspberry Pi, napájanie cez PoE
• 22" monitor
• prehliadač (SVG, JS)
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        43 / 47
Učebne a laboratóriá
SITOLA
• 2x H.323/SIP videokonferenčná jednotka
• full H D stereoskopická projekcia
• displejová stena 4x6 displejov 22" Kybernetický polygon
• FullHD stereoskopická projekcia
• interaktívna displejová stena 3x5 displejov 46"
• zabudovaná H.323/SIP videokonferenčná jednotka
• UltraGrid (Sitola), SÁGE HCI
• full H D stereoskopická projekcia
• motion capture systém
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        44 / 47
Záver
Blog CVT Fl
• aktuálne informácie z diania a činností CVT Fl:
• timelapse video výstavby Fl
• technológie datacentra
• novinky v sieti a Wi-Fi
• https://is.muni.cz/auth/blog/cvt_fi/
• https://is.muni.cz/blog/cvt_fi/
• nástenka pri vstupe do PC haly
• sledovanie príspevkov, zasielanie príspevkov mailom
Mgr. Tomáš Szaniszlo  (Fl MU)
PV005 Služby počítačových sítí
22. októbra 2015        45 / 47
Záver
Poďakovanie
Ďakujem RNDr. Janovi 'Yenyovľ Kasprzakovi, PhD. a RNDr. Vítovi Rusňákovi za poskytnuté informácie a niektoré fotografie.
Zdroje obrázkov:
• http://www.apcmedia.com/salestools/DBOY-7EDLE8/DB0Y-7EDLE8 R3_EN.pdf
• https://communities.bmc.com/blogs/green-it/2011/02/02/ iso1ation-expermentation
• https://www.dotcom-monitor.com/blog/index.php/ network-services-monitoring/
15-server-room-cabling-nightmares/
• http://www.industrialcomputersystems.com/images3/ 2u2008-2.jpg
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        46 / 47
Záver
Ďakujem za pozornosť. Otázky?
Mgr. Tomáš Szaniszlo  (Fl MU) PV005 Služby počítačových sítí 22. októbra 2015        47 / 47