HEJTMÁNEK, Lukáš and Luděk MATYSKA. Distribuované Datové Sklady (Distributed Data Storage). In Širokopásmové sítě a jejich aplikace. Olomouc: CESNET, z.s.p.o. a UP Olomouc, 2005, p. 168-175. ISBN 80-244-1035-4.
Other formats:   BibTeX LaTeX RIS
Basic information
Original name Distribuované Datové Sklady
Name (in English) Distributed Data Storage
Authors HEJTMÁNEK, Lukáš (203 Czech Republic, guarantor) and Luděk MATYSKA (203 Czech Republic).
Edition Olomouc, Širokopásmové sítě a jejich aplikace, p. 168-175, 8 pp. 2005.
Publisher CESNET, z.s.p.o. a UP Olomouc
Other information
Original language Czech
Type of outcome Proceedings paper
Field of Study 20200 2.2 Electrical engineering, Electronic engineering, Information engineering
Country of publisher Czech Republic
Confidentiality degree is not subject to a state or trade secret
RIV identification code RIV/00216224:14610/05:00021334
Organization unit Institute of Computer Science
ISBN 80-244-1035-4
Keywords in English IBP; distributed data storage; distributed file systems; libxio
Tags Distributed data storage, distributed file systems, IBP, libxio
Changed by Changed by: RNDr. Lukáš Hejtmánek, Ph.D., učo 3545. Changed: 19/12/2006 14:15.
Abstract
V rámci projektu DiDaS byla vybudována síť deseti datových skladů o celkové kapacitě 15 TB, s uzly v pěti městech České republiky připojenými na síť CESNET2 rychlostí 1 Gbps, případně 100 Mbps. Distribuovaný datový prostor tvoří protokol IBP (Internet Backplane Protocol), který poskytuje časově omezené alokace diskových bloků na aplikační úrovni. Informace o jednotlivých blocích je držena nezávisle, v metadatovém prostoru, který je v projektu DiDas uložen v AFS pro garanci distribuovaného přístupu. Dále jsou rámci projektu vyvíjeny nástroje a rozhraní pro snazší práci s celým distribuovaných prostorem, jako je webové rozhraní pro ukládání a přístup k souborům, distribuovaný souborový systém, implementovaný v uživatelském prostoru operačního systému Linux, a dále distribuovaný index pro správu metadat. Datový prostor projektu DiDaS je rovněž využit pro distribuované překódování video souborů, např. záznamů univerzitních přednášek, kdy distribuce uzlů umožňuje paralelní vysoce efektivní zpracování videodat.
Abstract (in English)
We developed network of distributed data storage servers of total capacity 15TB. They are distributed in five towns across the Czech Republic. They are connected to high speed network CESNET2 using 1 Gbps connection. Distributed data storage consists of IBP (Internet Backplane Protocol) that offers time-limited byte arrays allocations. Information about particular data arrays is stored independently in metadata area, for which is used AFS storage to garant distributed access. We are developing further tools and interfaces for easier access to data storage. It is Web interface for uploading/downloading files, distributed file system that is implemented in userspace of operating system Linux, and distributed index for metadata handling. Data area of DiDaS project is used also for distributed encoding environment, e.g. lecture recording and processing where distribution boosts encoding performance.
Links
MSM0021622419, plan (intention)Name: Vysoce paralelní a distribuované výpočetní systémy
Investor: Ministry of Education, Youth and Sports of the CR, Highly Parallel and Distributed Computing Systems
PrintDisplayed: 29/6/2024 20:17