C2115 Praktický úvod do superpočítání -1-III. lekce
C2115
Praktický úvod do
superpočítání
III. lekce
Petr Kulhánek
kulhanek@chemi.muni.cz
Národní centrum pro výzkum biomolekul, Přírodovědecká fakulta
Masarykova univerzita, Kamenice 5, CZ-62500 Brno
C2115 Praktický úvod do superpočítání -2-III. lekce
Obsah
➢ Architektura klastrů a (super)počítačů
➢ Čelní uzly
➢ Výpočetní uzly a elementy
➢ Datové úložiště
➢ Síťová infrastruktura
C2115 Praktický úvod do superpočítání -3-III. lekce
Klíčové části
User Interface
(UI) #1
User Interface
(UI) #X
Computing
Element (CE) #1
Work Node
(WN) #1
Work Node
(WN) #2
Work Node
(WN) #Z
…
…
…
Storage Element
(SE) #1
Storage Element
(SE) #M
uživatelé
interconnect (IN) #1
Interconnect (IN) #Y
interconnect
Computing
Element (CE) #N
Work Node
(WN) #1
Work Node
(WN) #2
Work Node
(WN) #Z
…
interconnect
C2115 Praktický úvod do superpočítání -4-III. lekce
Čelní uzel
Čelní uzel (front-end node, user interface) je počítač vyhrazený pro přímou interakci s
uživatelem. Uživatel jej může použít pro přípravu vstupních dat úloh, zadávání
úloh do dávkového systému, správu úloh a pro manipulaci s výsledky úloh
(vizualizace).
Čelní uzel, pokud to není explicitně povoleno, by se neměl používat pro spouštění CPU a
paměťově náročných úloh, případný pre-processing či post-processing dat úloh je nutné
zadávat jako samostatné úlohy do dávkového systému.
U malých výpočetních klastrů je čelní uzel často zároveň i výpočetním uzlem.
Klastr či superpočítač většinou obsluhuje úlohy celé řady uživatelů, což vyžaduje
přistupovat k čelnímu uzlu pouze vzdáleně. (Nehledě na to, že čelní uzel je typicky fyzicky
přítomen v počítačovém sále, kde je poměrně velký hluk.).
C2115 Praktický úvod do superpočítání -5-III. lekce
DO NOT RUN ANY CPU OR DATA INTENSIVE JOBS ON UIs!
User Interface (UI)
User Interface (frontend) is a computer that interfaces the
supercomputer.
UI usually provides only command line interface (CLI) via
secure shell (ssh).
If graphics user interface (GUI) is available do not use X11
forwarding but VNC (virtual network connection).
skirit.ics.muni.cz
ssh skirit.ics.muni.cz
login1
ssh salomon.it4i.cz
login2
loginN
loadbalancer
sshlogin2
direct access indirect access
C2115 Praktický úvod do superpočítání -6-III. lekce
Výpočetní uzel
Výpočetní uzel (worker node - WN, computational node) je jednotka, která se chová jako
samostatný počítač, který je vyhrazený pro řešení úloh uživatelů. Uzel může
obsluhovat několik úloh současně. Počet úloh by však neměl překročit výpočetní
zdroje (CPU, RAM, HDD), které tento uzel poskytuje. O efektivní využívání
výpočetních zdrojů se stará OS (operační systém) ve spojení s dávkovým
systémem.
Výpočetní element (computational element - CE), velmi často též nazýván jako klastr, je
uskupení výpočetních uzlů nejčastěji se stejnou architekturou (homogenní klastr). Tyto uzly
jsou většinou spojeny velmi rychlou lokální sítí (ethernet 1 Gbs, Infiniband, či proprietárním
řešením). Kromě výše uvedeného může jedna úloha běžet na více výpočetních uzlech.
Úloha může běžet i na uzlech, které jsou v různých CE. Toto je však vhodné jen pro
speciální typ úloh.
WN #1
úloha #1
úloha #2
WN #2 WN #3
úloha #3
CE#1
C2115 Praktický úvod do superpočítání -7-III. lekce
Computing Element (CE)
Computing Element (Cluster) is either a single computer
(Work Node) or most often a set of computers (Work
Nodes) that are dedicated for computation.
Work nodes are usually identical and connected by fast
interconnect (for example, Infiniband).
Computational node and computing node are a synonyms
for a work node.
DIRECT USAGE OF CEs and WNs IS PROHIBITED.
JOBS MUST BE SUBMITED VIA A BATCH SYSTEM.
C2115 Praktický úvod do superpočítání -8-III. lekce
Accessing WNs
direct access indirect access
MetaCentrum,
all NCBR/CEITEC MU clusters IT4I
You should access WNs only for monitoring of your
running jobs.
Access can be restricted only to
WNs with your running jobs.
C2115 Praktický úvod do superpočítání -9-III. lekce
Výpočetní element / uzel
Klastr LEX
(výpočetní element)
Řadiče Infinibandu
výpočetní uzly
skříň (rack)
C2115 Praktický úvod do superpočítání -10-III. lekce
Výpočetní uzel
1U výška = 1,75 palce (44.45 mm)
twin – dva počítače v jednom šasi
jeden počítač v jednom šasi
ukázky typických výpočetních uzlů, které se používají v "levných"
klastrech – v superpočítačích se většinou používá proprietární řešení
C2115 Praktický úvod do superpočítání -11-III. lekce
Výpočetní uzel
disky – lokální datové úložiště
procesory paměť
chlazení
C2115 Praktický úvod do superpočítání -12-III. lekce
Výpočetní uzel
SGI UV2000
pip
jeden výpočetní uzel
192 CPU jader, 4 TB paměti
blades
sběrnice
diskové pole – lokální
datové úložiště
C2115 Praktický úvod do superpočítání -13-III. lekce
Výpočetní uzel - akcelerátory
NVidia Tesla K20 (GPGPU)
Intel Xeon Phi (MIC)
Výpočetní výkon akcelerátorů
může přesáhnout výkon
instalovaných CPU na
výpočetním uzlu.
C2115 Praktický úvod do superpočítání -14-III. lekce
Typické schéma počítače
CPU
severní
můstek
jižní
můstek
USB
myš, klávesnice
hodiny reálného
času
řadiče SATA
pevné disky
BIOS
grafický
systém
paměť
řadič paměti
periferie s rychlým přístupem přes
PCI Express (akcelerátory)
síť (ethernet)zvuk
PCI sběrnice
C2115 Praktický úvod do superpočítání -15-III. lekce
Víceprocesorové uzly
Výpočetní uzly v dnešní době obsahují více fyzické
procesorů (minimálně dva), kdy každý obsahuje
více výpočetních CPU jader. Operační paměť je
pak většinou přístupná s různou rychlostí (NUMA
Non-Uniform Memory Architecture).
Důvodem pro toto uspořádání je navyšování
výpočetního výkonu, což však sebou přináší
zvýšené nároky na přípravu a spouštění
výpočetních úloh.
C2115 Praktický úvod do superpočítání -16-III. lekce
Datové úložiště - dělení
Typy úložišť a jejich použití:
➢ lokální datové úložiště – dočasné data úloh
➢ (vzdálená) datové úložiště (diskové pole) – živá data úloh či řešených projektů
➢ hierarchické datové úložiště – ukončené projekty a zálohy
wikipedia.org
C2115 Praktický úvod do superpočítání -17-III. lekce
Storage Element (SE)
Types of storages and their use:
➢ local data storage
- temporary job data
➢ (remote) data storage (disk array)
- data of running projects
➢ hierarchical data storage
- finished projects and backups
local data
storages
Data storages server for storage of input data,
intermediate data, computed data, archives and
backups.
C2115 Praktický úvod do superpočítání -18-III. lekce
Lokální datové úložiště
▪ Diskové pole připojená lokálně k výpočetnímu uzlu.
▪ HDD - pevný disk (Hard Disk Drive) je zařízení, které se používá v počítačích k trvalému
uchovávání většího množství dat pomocí magnetické indukce.
▪ SSD - Solid-State Drive je v informačních technologiích typ datového média, které na
rozdíl od magnetických pevných disků neobsahuje pohyblivé mechanické části a má
mnohem nižší spotřebu elektrické energie.
wikipedia.org
Lokální dočasné úložiště (scratch adresáře) jsou určené pro aktuálně běžící úlohy na
výpočetním uzlu.
Tyto adresáře se NESMÍ* používat pro
dlouhodobé ukládání dat.
*) samozřejmě můžete, ale pak se nedivte, že je jednoho krásného dne nenaleznete,
protože administrátor, či jiný inteligentní nástroj, úložiště pročistil
C2115 Praktický úvod do superpočítání -19-III. lekce
Diskové pole
souborové servery zpřístupňující data
diskového pole vzdáleně přes NFS
(Network File System) protokol
diskové pole RAID6
diskové pole RAID6
RAID 0
velké množství HDD
brno9-ceitec 269 TiB
Disková pole jsou vhodná
pro aktuálně řešené
projekty.
C2115 Praktický úvod do superpočítání -20-III. lekce
Diskové pole – ochrana dat
RAID (Redundant Array of Inexpensive/Independent Disks) je v informatice metoda
zabezpečení dat proti selhání pevného disku. Zabezpečení je realizováno specifickým
ukládáním dat na více nezávislých disků, kdy jsou uložená data zachována i při selhání
některého z nich. Úroveň zabezpečení se liší podle zvoleného typu RAID, které je
označováno čísly (nejčastěji RAID 0, RAID 1, RAID 5 či nověji RAID 6).
Při poškození části diskového pole běží pole v degradovaném režimu, kdy již další selhání
by bylo neopravitelné. Proto jsou v diskových polích vyhrazeny tzv. spare disky, které se
ihned použiji jako náhrada za poškozené. Po dobu rebuildování diskového pole (nový
výpočet parity dat) může být přístupová rychlost k datům snížena.
wikipedia.org
Diskové pole obsahují velké množství HDD, což jsou mechanické komponenty, které jsou
náchylné k selhání. Pro omezení poškození dat jsou data nejčastěji chráněna pomocí
techniky RAID.
C2115 Praktický úvod do superpočítání -21-III. lekce
Hierarchické datové úložiště
Hierarchical storage management (HSM) is a data storage technique, which automatically
moves data between high-cost and low-cost storage media. While it would be ideal to have
all data available on high-speed devices all the time, this is prohibitively expensive for
many organizations. Instead, HSM systems store the bulk of the enterprise's data on slower
devices, and then copy data to faster disk drives when needed. The HSM system monitors
the way data is used and makes best guesses as to which data can safely be moved to
slower devices and which data should stay on the fast devices.
wikipedia.org
brno10-ceitec-hsm
(páskový robot)
HSM úložiště jsou vhodná
pro archivaci a zálohu dat.
C2115 Praktický úvod do superpočítání -22-III. lekce
Jednotky
původní značení
wikipedia.org
C2115 Praktický úvod do superpočítání -23-III. lekce
Síťová infrastruktura
Ethernet (česky i eternet) je název souhrnu technologií pro lokální počítačové sítě (LAN),
které používají kabely s kroucenou dvoulinkou, optické kabely pro komunikaci přenosovými
rychlostmi od 10 Mbit/s po 100 Gbit/s.
InfiniBand (abbreviated IB), a computer-networking communications standard used in
high-performance computing, features very high throughput and very low latency. It is
used for data interconnect both among and within computers. InfiniBand is also utilized as
either a direct, or switched interconnect between servers and storage systems, as well as
an interconnect between storage systems.
wikipedia.org
Infiniband je vhodné použít pro datově náročné paralelní úlohy, které využívají více
výpočetních uzlů.
C2115 Praktický úvod do superpočítání -24-III. lekce
Dávkový systém
Dávkové zpracování je vykonávání série programů (tzv. dávek) na počítači bez účasti
uživatele. Dávky jsou připraveny předem, takže mohou být zpracovány předány bez účasti
uživatele. Všechna vstupní data jsou předem připravena v souborech (skriptech) nebo
zadána pomocí parametrů na příkazovém řádku. Dávkové zpracování je opakem
interaktivního zpracování, kdy uživatel až teprve za běhu programu poskytuje požadované
vstupy.
Výhody dávkového zpracování
▪ sdílení zdrojů počítače mezi mnoha uživateli a programy
▪ odložení zpracování dávek do doby, kdy je počítač méně vytížen
▪ odstranění prodlev způsobeným čekáním na vstup od uživatele
▪ maximalizace využití počítače zlepšuje využití investic (zejména u dražších počítačů)
wikipedia.org
Naše lokální klastry, MetaCentrum: PBSPro
IT4I: PBSPro
PBSPro je odvozen z OpenPBS.
C2115 Praktický úvod do superpočítání -25-III. lekce
Cvičení 1
1. Jaké jméno má vaše pracovní stanice (počítač) na klastru WOLF?
2. Jakou roli má tento počítač v rámci klastru WOLF?
3. Z dokumentace zjistěte jména čelních uzlů virtuální organizace MetaCentrum.
4. Ověřte, že se můžete přihlásit na jeden z čelních uzlů MetaCentra.
5. Kolik pevných disků může selhat ve skupině disků, které jsou chráněny pomocí RAID6?
6. Může sloužit RAID0 k ochraně dat?
7. Jak se označuje kombinace RAID6 a RAID0?
8. Jaký typ akcelerátoru je využit v superpočítači salomon (IT4I)?