Distribuované Datové Sklady

HEJTMÁNEK, Lukáš a Luděk MATYSKA. Distribuované Datové Sklady. In Širokopásmové sítě a jejich aplikace. Olomouc: CESNET, z.s.p.o. a UP Olomouc, 2005, s. 168-175. ISBN 80-244-1035-4.

Základní údaje

• Originální název: Distribuované Datové Sklady
• Název anglicky: Distributed Data Storage
• Autoři: HEJTMÁNEK, Lukáš (203 Česká republika, garant) a Luděk MATYSKA (203 Česká republika).
• Vydání: Olomouc, Širokopásmové sítě a jejich aplikace, od s. 168-175, 8 s. 2005.
• Nakladatel: CESNET, z.s.p.o. a UP Olomouc

Další údaje

• Originální jazyk: čeština
• Typ výsledku: Stať ve sborníku
• Obor: 20200 2.2 Electrical engineering, Electronic engineering, Information engineering
• Stát vydavatele: Česká republika
• Utajení: není předmětem státního či obchodního tajemství
• Kód RIV: RIV/00216224:14610/05:00021334
• Organizační jednotka: Ústav výpočetní techniky
• ISBN: 80-244-1035-4
• Klíčová slova anglicky: IBP; distributed data storage; distributed file systems; libxio
• Štítky: Distributed data storage, distributed file systems, IBP, libxio

Anotace

V rámci projektu DiDaS byla vybudována síť deseti datových skladů o celkové kapacitě 15 TB, s uzly v pěti městech České republiky připojenými na síť CESNET2 rychlostí 1 Gbps, případně 100 Mbps. Distribuovaný datový prostor tvoří protokol IBP (Internet Backplane Protocol), který poskytuje časově omezené alokace diskových bloků na aplikační úrovni. Informace o jednotlivých blocích je držena nezávisle, v metadatovém prostoru, který je v projektu DiDas uložen v AFS pro garanci distribuovaného přístupu. Dále jsou rámci projektu vyvíjeny nástroje a rozhraní pro snazší práci s celým distribuovaných prostorem, jako je webové rozhraní pro ukládání a přístup k souborům, distribuovaný souborový systém, implementovaný v uživatelském prostoru operačního systému Linux, a dále distribuovaný index pro správu metadat. Datový prostor projektu DiDaS je rovněž využit pro distribuované překódování video souborů, např. záznamů univerzitních přednášek, kdy distribuce uzlů umožňuje paralelní vysoce efektivní zpracování videodat.

Anotace anglicky

We developed network of distributed data storage servers of total capacity 15TB. They are distributed in five towns across the Czech Republic. They are connected to high speed network CESNET2 using 1 Gbps connection. Distributed data storage consists of IBP (Internet Backplane Protocol) that offers time-limited byte arrays allocations. Information about particular data arrays is stored independently in metadata area, for which is used AFS storage to garant distributed access. We are developing further tools and interfaces for easier access to data storage. It is Web interface for uploading/downloading files, distributed file system that is implemented in userspace of operating system Linux, and distributed index for metadata handling. Data area of DiDaS project is used also for distributed encoding environment, e.g. lecture recording and processing where distribution boosts encoding performance.

Návaznosti

• MSM0021622419, záměr: Název: Vysoce paralelní a distribuované výpočetní systémy

Investor: Ministerstvo školství, mládeže a tělovýchovy ČR, Vysoce paralelní a distribuované výpočetní systémy