H.261 a H.263 - vznikl primárně pro konference nad ISDN - variabilní šířka pásma • 40 Kbits/s až 2 Mbits/s (typicky 64 či 128 kbps) - obdoba P snímků Picture FofTttaís Supported I-------------- Picture format Luminance pixels Luminance lilies H.261 support Uncompressed bitrate (Mint's) 10 frames."s 30 frames.'s Grey Colour Grey Colour QCIF 176 144 Yes ^0~ 3.0 6.1 9.1 GIF 352 1____________1 233 i___________________________________i Optional 8.1 12.2 24.3 36.5 1 1 H.263 - lepší kompenzace pohybu (půlpixelová přesnost) - hierarchická struktura proudu - obdoba P a B snímků (proč to nemusí být vždy dobrý nápad?) Picture Formats Supported Picture format Lmrunance pixels Luminance lines H.261 support H.263 support Uncompressed bitrate (Mbiťs) 10 frame s/s 1------------------------------------1 30 frame s/s Grey Colom Grey Colom SQCIF 128 96 Yes [TčT 1.5 3.0 4.4 QCIF 176 144 Yes Yes 2.0 3.0 6.1 9.1 CIF 352 288 Optional Optional 8.1 12.2 24.3 36.5 4CIF 704 576 Optional 32.4 48.7 97.3 146.0 16CIF 1408 1152 Optional 129.8 194.6 389.3 583.9 - PSNR = Peak Signal Noise Ratio - 15 kbps - 4-QAM - 30kbps-16-QAM - 45 kbps - 64-QAM 4-QAM H.261 fA-QAM 4-QAU lfc-QAM H.263 A4-QAM Další formáty Motion JPEG - série obrázku komprimovaná pomocí JPEGu - často s podporou HW AVI - formát MS - obálkový formát MOV - formát pro QuickTime - různé komprese Nekomprimované video 768*576*24*25 = 265,420,800 k čemu to může být dobré? - vysoká kvalita - nízká latence Metadata o multimédiích - Multimedia Content Description Interface Feature Extraction standardization Feature Extraction: Content analysLs (Ľ. DS) Feature extraction (D, DS) Annotation tools ÍDS) Authoting (BS) MFEG-7 Scope: Description Schemes (DSs) Descriptors (Ds) Lan^ua^e (DDL) Ecf: MPEG-7 Concepts Search Engine: Classification Manipulation Summarize ion Indexing QmUnt crgoiH atfKw Collections Models Creatiün& Production ^A---------------------- r * Media ■ i r ^K----------------- Usage Confe nř manag*meflŕ [ K. —i \ GwsríŕíŕíídÄľnpŔuH / Structun aspects 1 f m ±1 '\ vri semantic aspects \_______________j Swu^ries Viewsj Variations j Cfar interaction User P liefe Hrnce s User History B&sic ůlsmmt6 Schema Tools Basic datatypes r -h Links & media loc auction Basic 11 Tools J j popis obrazu a zvuku: - obraz: tvar, velikost, povrch, barva, pohyb... - zvuk: klíč, nálada, tempo... - na nejvyšší úrovni: „This is a scene with a barking brown dog on the left and a blue ball that falls down on the right, with the sound of passing cars in the background." ukazuje na různé části jednoho materiálu další informace - formát - podmínky přístupu k materiálu - klasifikace (např. předdefinované kategorie, např. adult) - odkazy na další relevantní materiály - kontext pořízení materiálu MPEG-21 -L'i £i'e £dit View Tool Window Help Test d|^|h| | | | m\f| k\ I I Preview 2570 5140 12850 15420 17990 20560 Eh n 6.200 TONNES 3 [Temporal Key H 1 iS SH j^^j 002379 002^7 002759 0028Ó9 Detect temporal / spatial keys Compose a logical structure File Edit View Tool Help DďB|^ ^m\m f |wg - 0abs _. E'-Df Mpeg7 - 0 choice + 0abs Description Unit 0-0^ choice - Qabs ContentDescription El'DW ContentDescription Content Entity Description! - Dabs AudioVisualContent - 0W AudioVisualContent AudioVisualType S-0abs Header - n^fl" Audiovisual mpeg? AudiovisualSej - 0 |SegmentDecomposítí + 0abs Header Š-E1?8 choice B--0abs Segment 171^ Segment AudioSegi - 0W Segment Audio Visu. [±]--0abs Header S 0?fi choice .....05? CreationĽiformatl 171 Usagelhformatiot 0?£? Text Annotat i 02g Matching H iní 05£ PointOfView mpj 0 Seg ment Deco mpi Š-0abs Relation - 0^ MediaTime mpei 0?S choice ITI^S" MediaReľJľl] Annotate MPEG-7 mpeg7:Seg ment Deco mpos it ionType | Type : mpeg7:Seg ment Deco mpos it ionType Occurs : minOccurs = 0 maxOccurs = Unbounded Body < Media Re ITi me Point timeBase=""> [PTÖS3ÖF1 I I pJM~| Hardware audio: - zvukové karty (D/A, A/D převodníky; syntéza zvuku) - vstupy: mikrofonní, linkové vstupy, digitální vstupy (S/PIDF) - výstupy: sluchátkové, linkové výstupy (zesilovač -> reproduktory), digitální výstupy (S/PIDF), podpora více než 2 reproduktorů - hw podpora: např. DSP procesory, podpora pro syntézu zvuků mikrofony zesilovače a repro vs. aktivní reproduktory video: - grafické karty - hw podpora kódování - grabovací karty (capture cards) • kompozitní signál S-Video signál rozdělený na složky firewire(IEEE-1394) COMPONENT VIDEO OUT scannery (bubnové, ploché - flatbed, filmové) videokamery - analogové (square pixel): PAL (768x576, 25fps) NTSC (640x480, 30/29.97 fps) - digitální (DV-based) PAL (720x576, 25fps) NTSC (720x480, 30/29.97 fps) - HDTV (mnoho možností) - interlaced vs. progressive scan HDTV |Cornrnon Name Resolution Frame Rate* High-Definition1" Worth Saving? llOGOp 1920x1030 30 p s ■ 1920x1000 29.97 p s 1920x1000 24 p s / 1920x1000 23.976 p s |l0S0i 1920x1000 30 i 1920x1000 29.97 i |720p 1200x720 60 p s 7 1200x720 59.94 p s 1200x720 30 p s / 1200x720 29.97 p s 1200x720 24 p s 1200x720 23.976 p s 704x400 60 p 704x400 59.94 p 704x400 30 p 704x400 29.97 p 704x400 24 p 704x400 23.976 p 704x400 30 i 704x400 29.97 i |4S0p 640x400 60 p 640x400 59.94 p 640x400 30 p 640x400 29.97 p 640x400 24 p 640x400 23.976 p |4S0i 640x400 30 i 640x400 29.97 i barevné prostory -RGB -YUV Y- luminance | luma U, V - chrominance Y = 0.299R + 0.587G + 0.114B U = 0.147R + 0.289G + 0.436B = 0.492(B - Y) Y = 0.615R + 0.515G + 0.100B = 0.877(R - Y) - YCrCb (YUV + scale + offset) Y = (77/256) R + (150/256) G + (29/256) B Cb = - (44/256)R + (87/256) G + (131/256)B + 128 Cr = (131/256)R + (110/256)G - (21/256)B + 128 vzorkování - 4:2:2 Lin« Lin« Lin« Lin« Ľf^ĽE Ortíy i b m | m m ffl@ra®ra®ra@* ra®ffl®ffl®ra®^ 5PMÍ}fflÍBl>> -4:1:1 - 4:2:0 Lin« Lin« Lin« Lin« Cr ťJnJj/ V V ÚnJy i ePH o BePI o HePU o HePU o k ------- ďRoMojMoj^y^ IMMiWE ^olCTolCTo^ :••••*■•*•• . rc: ŕJ-ftJT ^-■ Mjq I TilA'i ŕ* r r: y-Mff rt1 CmT | J O U (J Q O http://www.adamwilt.com/pix-sampling.html Projekce zobrazování - CRT monitory, LCD displeje, plasmové obrazovky - projekce - 3D projekce, helmy - polohování v prostoru - snímání objektů ve 3D haptika Nároky multimediálních o prenosu video - velká šířka pásma (negarantovaná), nepříliš velké nároky na QoS (výpadky nejsou příliš rušivé) audio - střední šířka pásma, důležité nároky na QoS haptika - extrémni nároky na QoS - problém s latencí (částečně limitované i rychlostí světla), nutnost existence lokálního modelu Videokonference díky požadavku interaktivity není možné použít buffery potřeba využívat kodeků s minimální latencí Videokonference a chyby v přenosu týká se hlavně zvuku Forward Error Correction (FEC) - XORování - posílání druhého proudu (ev. v nižší kvalitě) - prokládání (interleaving) - oprava chyb na straně klienta nahrazení daty z předchozího paketu interpolace (pokračování) - posílání druhého proudu (pokračování) - interleaving Streamování video a zvuk díky jednosmernosti můžeme data dostat na cílový počítač ještě před tím, než jsou použita omezování vlivu rozptylu (jitter) - číslování a značkování paketů časovými značkami (RTP) - buffery (na straně klienta, příp. i serveru) • buffery mohou být adaptivní s ohledem na aktuální síťové podmínky potřeba rozumně spolehlivého síťového připojení Streamovací produkty obálkové protokoly - RealMedia - Microsoft Media - QuickTime - mohou v sobě obsahovat různé formáty komprimovaného a nekomprimovaného videa a audia (např. MPEG-4 video a MP3 audio) pokusy se streamováním DivX synchronizační a režijní jazyky: SMIL (W3C standard), Lingo (Macromedia) RSTP Real-Time Streaming Protocol RFC 2326 RSTP je protokol řídící průběh streamování - neurčuje ani formát audia/videa, ani jeho přenos nebo zpracování - protokol typu out-of-band - udržuje vlastní dvojici portů web browser HTTP GET web erver SETUP PLAY stream prehrávač server klient server např. SMIL nebo jiný popis C: SETUP rstp://server/path RSTP/l.O Transport: rtp/udp; compression; port=3056; mode=PLAY S: RSTP/l.O 200 1 OK Session 4111 C: PLAY rstp://server/path/file RSTP/l.O Session: 4111 Range: npt=0- PAUSE rstp://server/path/file RSTP/l.O Session: 4111 Range: npt=2 2 TEARDOWN rstp://server/path/file RSTP/l.O Session: 4111 200 3 OK SMIL synchronizace SMIL (Synchronized Multimedia Integration Language) - http://WDVL.com/Authoring/Languages/XML/SMIL /Intro/smil.html http://www.w3.org/TR/REC-smil -XML - např. RealPlayer G2, Quicktime >=4.0 - Microsoft neSMILni;-) - synchronizační tágy • dur (trvání) • begin (zpoždění) • seq (sekvenční přehrávání) • par (paralelní přehrávání) - události posílání události čekání na událost - switch tag Standardy ve videokonferencích MBone tools - multicastový a unicastový režim H.323 a SIP (Session Initiation Protocol) - často komerční řešení s podporou HW - MS Netmeeting - CUSeeMe - OpenH323 Isabel (http://isabel.dit.upm.es/) Architektura H.323 videokonferencí klienti - HW a SW (SW povětšinou nejsou příliš kompatibilní) brány (gateways) - přechody mezi sítěmi - konvertování dat pro různé sítě gatekeepery - překlady adres, management šířky pásma -AAA multipoint connection units (MCUs) - H.323 je v podstatě point-to-point protokol - MCU přidává schopnosti point-to-multipoint H.323 Terminal H.323 MCU H.323 Gatekeeper H.323 Gateway H.323 Terminal QoS LAN N-ISDN H.323 Terminal Architektura H.323 protokolu Application Audio Signal G.711 )f~G.72B ] G.722 G.729 G.723.1 (Presentation ISession iTransport Video Signal [ H.261 ) ( H.263 121 XT f RTCP 1 íRÄŠ ■■______________________________________________■■ ■■__________________________________ RTP Supplementär/ Services í H.450.3 1 í H.450.2 1 k---------- . > ^ . —> H.235 H. 450.1 Data A T. 127 T. 126 T. 124 T.125ÍT.122 X.224.0 Control H.245 H.225 U DP K, TCP |N et work ID ata Link iPhysical Komunikace v H.323 Signalizační část hovorové spojení Capabilities Exchange Open Logical Channel Open Logical Channel Acknowledge RTP Stream RTP Stream RTCP Stream H.225 (TCP) F (Q.931) > H.245 (TCP) 7 (UDP) I Ukázky z H.323 konference File Phone View Tools Help ^Jnjxj © Ba ^ 0 0:21:46 In a call: 05237350690970*1234 ©Ba®! 18:06:14 | LOW AUDIO INPUT LEVEL IdSfflEEHSEl File Phone View Tools Help ^Jnjxj ©B^l | 0:02:11 | Received capabilities. ^Ba&FI 18:12:19 ctureTel 550 - 05237350690970*11 File Phone View Tools Help ^JsL*l PictureTel 550 - 05237350690970*1234 File Phone View Tools Help ^jnjxj JHftloaiMßslß? f\LL MíC-s I \m <£ | | 0:22:14 [lna call: 05237350690970*1234 í "EKl® | 17:30:08 | LOW AUDIO INPUT LEVEL PictureTel 550 - 05237350690970*12 File Phone View Tools Help ^jnjxj ^ "EM | | 17:19:16 | LOW AUDIO INPUT LEVEL SIP RFC 3261 (a starší 2543), řada navazujících RFC kódován prostým textem entity - user agent - klient (UAC) i server (UAS) současně - proxy server - redirect server • na rozdíl od proxy serverů jen překládá adresy, nejedná ale za klienty - registrar • přebírá registrační funkci gatekeeperu v H.323 INVITE sip:eva@fi.muni.cz SIP/2.0 Via: SIP/2.O/UDP From: Petr Holub To: Eva Hladká Call-ID: 2 83 76 876@stanice.ics.muni.cz Subject: Bude dnes prednáška? Content-Type: application/SDP ... (vynecháno) s=call from Petr m=audio 3456 RTP/AVP 0 3 4 5 SIP/2.0 200 OK Via: SIP/2.0/UDP stanice.ics.muni.cz From: Petr Holub To: Eva Hladká Call-ID: 2 83 76 876@stanice.ics.muni.cz Content-Type: application/SDP ... (vynecháno) s=Bude dnes prednáška? c=IN IP4 stroj.fi.muni.cz m=audio 5 0 04 RTP/AVP 0 3 SDP - Session Description Protocol Informace o sezení (session) - jméno, účel, čas - informace o pásmu - kontaktní informace informace o médiích - typy médií (např. audio a video) - transportní protokol (např. RTP/UDP) - formát médií (např. H.261 a GSM) - v případě multicastu adresa a port SIP - navázání a ukončení spojení UAC INVITE eva@fi.muni.cz 100/TRYING 180/RINGING 182/Queue, 1 caller ahead 200/OK ACK UAS BYE eva@fi.muni.cz SIP - složitější scénáře s presmerovaním - UAC zkontaktuje Redirect Server, který pošle informaci o momentálním umístění UAS - UAC zkontaktuje přímo UAS s proxy serverem - proxy server utvoří za UAC spojení - na závěr utvoření spojení přijde od UAS přes proxy klientovi 200/OK s přímou adresou UAS - UAC pošle ACK přímo UAS a další komunikace jde přímo neboje možno udržovat komunikaci přes proxy SIP - konference typu multipoint 4 způsoby: - dialup conference bridge (podobné MCU, volá se adresa mostu) - distributed multiparty conferencing (bez serveru) - multicast (INVITE proběhne do multicastové skupiny; neuplatňuje se full-mesh signalizace) >- v případě pouze 3 účastníků může jeden UA pozvat třetího účastníka a sám fungovat jako mixer VoIP integrace sítí s telefonními službami protokoly H.323 a často experimentálně i SIP telefonní přístroje a ústředny s podporou VoIP někdy i s přenosem obrazu Struktura VoIP v síti CESNET FAF Hradec Králové FAF Hradec Krajové Liberec 495067XXX Univerzita Pradubice 466036XXX 466037XXX 466038XXX SLU Opava 553684XXXX OPF SLU Karviná 596398XXXX ' EWS D Aliatel Praha VŠB-TU Ostrava 59699XXXX 59732XXXX UP Olomouc GW a GK v zahraniční 58563XXXX VUT Brno 54114XXXX MUNI Brno) 541512XXX 420 xxx xxx xxx ČVUT Praha 94 22435XXXX FZU Praha UK Praha 224491xxx 74 MBone Tools vie (video) rat (audio) wb/wbd (sdílená pracovní plocha) NTE a další použití jak v multicastovém tak unicastovem režimu Multicast Zrcadlo *-----S T___,ŕ 1 ______ ŕ | __ - pc n ,___/ m ______ ŕ ______ ŕ ______ŕ pc pc m* r __ - i n,-----ŕ-| d,-----ŕ ■T 'Ľ lisař pc pc pc pc Prostředky na sdílení presentací sdílená pracovní plocha - wb/wbd/sdílené malování v NetMeetingu - VNC a sdílení aplikací pomocí NetMeetingu sdílení presentací - distributed PowerPoint -VNC aplikace určené pro sdílený provoz - NTE AccessGrid - Mbone Tools on Steroids? • pro spolupráci v prostředí gridových technologií • specifikuje požadavky na HW • Virtual Venues • další vývoj - těsnější integrace s gridovými technologiemi (např. AA) - přechod k web services Architektura AG RGB Video Display Computer Digital Video Shared App? Control Digital Video n. Digital Audio Video Capti o ^_ Audio Capture Analog Audio RGB Vüeo Control Computer nöFI kďsAl li if« rsiczn ■D ■■ m ■ "•» * QoS v operačních systémech QoS není jen o sítích! - QoS je třeba zajišťovat od uživatele k uživateli, včetně všech mezičlánků QoS na úrovni operačních systémů - přístup k procesoru - přístup k filesystému - přístup k síťovým rozhraním - podpora v aplikacích Eclipse/BSD začlenění podpory QoS do FreeBSD motivace - podpora aplikací (web servery, video servery) - QoS parametry na základě • klienta • serveru • přenášeného materiálu cíle - isolation - differentiation - fairness - (cumulative) throughput - flexibilní management zdrojů - podpora aplikací bez nutnosti významnějších změn jejich architektury - hierarchičnost v plánování příklad - dvě společnosti mají hostována svá webová přípojná místa -každá společnost má dvě stránky network bandwidth cpu cycles disk bandwidth 0.8/^ \[L2 0.8 -^ \ü.2 0.8 >/ \jl2 company A company B company A company B company A company B 0.5 /\o.5 0.5 /\0.5 O.5A0.5 0.5 /\o.5 / \ page 1 page 2 page 1 page 2 / \ page 1 page 2 page 1 page 2 ukázka chování pod zátěži - 1 Apache se 4 virtuálními hosty a modulem mod_eclipse - fixovaný počet klientů k místu 1 - mění se počet klientů k místům 2, 3, 4 obrázek 1 - FreeBSD obrázek 2 - Eclipse/BSD Loading the CPU: CGI intensive HTTP accesses 0 I___________i___________i___________i___________i___________i___________i___________i___________I 0 2 4 6 8 10 12 14 16 Number of clients of each competing site o ü OJ ■j:- O) Ü ■:/:■ O 30 25 Loading the CPU: CGI intensive HTTP accesses i i i i i i i i "2" -h— "3" -B— "4" -* 20 -1 15 ' v_ -----H---- —m- m--------v 10 x-" =—9— —p y-----* 5 ____________I____________I____________I____________I____________I____________l_ ___i___________ 4 6 8 10 Number of clients of each competing site 12 14 16 Odkazy http://www.cs.cf.ac.uk/Dave/Multimedia/BSC MM C ALLER.html http://www.bell-labs.com/project/eclipse/release/ http://www.mpeg.org/MPEG/ http://ipsi.fhq.de/delite/Proiects/MPEG7/ http://www.protocols.com/pbook/h323.htm http://www.protocols.com/pbook http://www.cesnet.cz/iptelefonie http://www.zvon.on http://www.dv.cz