Dialogové systémy Luděk Barték O píédmétu Úvod do dialogových systému StruCné historie zpracovéní zvuku Fyzikální akustika Fyziologickaé akustika Základy fyziologické akustiky Mechanizmus vytvéěéní réci Vníméní zvuku Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Cíl a náplň předmětu Dialogové systémy Luděk Bértek O predmétu Úvod do dialogových systému ■ Cíl - seznámení s oblastí dialogových systémů. StruCna historie zpracování zvuku Fyzikélní akustika ■ přenos hlasu prostřednictvím počítačové sítě ■ digit a In í zpracován í zvuku FyziologickÚa akustika ■ rozpoznáván í řeči ■ syntéza řeči Zéklady fyziologické akustiky Mechanizmus vytvéěéní réci Vnímaní zvuku □ ť3> ~ - '. Cíl a naplň přédmétu pokračování Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovéni zvuku Fyziologicka akustika fyziologick é akustiky Méchanizm ytvéřém réci Vmmám zvuk Dialogové systémy: ■ formální ■ analýza dialogu, kooperativn í a nekooperativn í ■ dialogové dialogov ý ch syst é mu Strucna historié Fyzikaln i akustika mm Ukončení predmetu Dialogové systémy O p^édmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Základy fyziologické akustiky Méchanizmus vytvářéní réci Vnímaní zvuku Možná ukončení: ■ žkouska ■ žapočet Požadavky: ■ žkouska dobra ustni ■ nástin řešení problémové Úlohy a detailnější z použitých technologií. žapočet - schopnost navrhu řešení daneho problému dialogových systemu. nektere Strucna historié Fyzikaln í akustika Doporučená literatura Knihy Dialogové systémy O p^édmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Zaklady fyziologické akustiky Méchanizmus vytvářéní réci Vnímaní zvuku reci, Mařík, Metody rozpoznávání Strucna historié Fyzikaln í akustika Doporučená literatura Web Dialogové systémy O predmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Zaklady fyziologické akustiky Mechanizmus vytváření řeci Vnímaní zvuku dialogové systémy Různé projekty z oblasti počítačové sémantiky y Stranky Strucna historié Fyzikaln í akustika Co je dialogový systém? Dialogové systémy O predmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Základy fyziologické akustiky Mechanizmus vytváření řeci Vnímání zvuku přirozenou reci. Dialogový system - system komunikující s uZivatelem pomocí dialogu v přirozenem jazyce ■ vetsinou se jedná o dialogové rozhraní ke klasickému Častá komu Alternativne pomoci textová komunikace prirozenou reci multimodální řeč + obraz (simulace lidské tváře znakové reci, Strucna historié Fyzikaln í akustika Výhody a nevýhody dialogových systémů Dialogové systémy Luděk Bartek O predmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Zaklady fyziologické akustiky Mechanizmus vytváření řeci Vnímaní zvuku Výhody: + Přirozenější způsob + Přístupnost: ■ zrakově a motoricky postižen í uživatel e ■ dalS í uživatele, kterym Cin í probl ě my prace ovl a dan í poC ítaCe ■ možnost podrobnejSího veden í uživatele cel ym procesem ■ dalS ím krokem k lepSí prístupnosti - multimodalní rožhran í Strucna historie Fyzikaln í akustika Výhody a nevýhody dialogových systěmU Dialogové syst émy Luděk Bartek O predmetu Uvod do dialogovych systemu zpracovaní zvuku Fyziologicka akustika Zaklady fyziologicke akustiky Mechanizmus vytvéření řeci Vníméní zvuku Výhody: + Vétsí mnoZství potenciálních ůZivatelů: ■ počet uzivatelu poč ítaču počet uzivatelu Nevýhody: sekvenční vn ím aní; lze č ástečne paraleln í vn ímá n í pomoč í vhodne dialogove Strucna historie Fyzikaln í akustika Aktuální práce v oblasti dialogových systémů Fl MU Dialogové systémy O predmétu Uvod do dialogových systému zpracovaní zvuku Fyziologicka akustika fyziologické akustiky Mechanizm ytvéření řeci Vnímání zvuk Laboratoře: ■ LSD - doc. Kopeček, ■ zaměřuje se na: ■ vyhledávání ■ diálogove systémy á zpracování; zameruje ■ korp ■ slovn íky se mantiku analýzu Strucna historie Fyzikaln í akustika Aktuální práce v oblastech souvisejících s dialogovými systémy Výzkum Česká republika Dialogová systemy O predmetu Úvod do dialogových systémů zpracovan í zvuku Fyziologicka akustika fyziologicke akustiky Méchanizm ytváření réCi Vnímání zvůk analýza signálu rozpoznávání řeči system pro automatizovane zpracování konferencí zču rozpoznávaní reci dialogove sýstemý ČVUT syntěza řeči StrůCna historie Fyzikaln í akustika Aktuá ln í prá če v oblastech souvisej íč íčh s dialogovými syst e my KomerCní sfera - Česká republika Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika fyziologick é akustiky Méchanizm ytvářéní réci Vnímaní zvuk Strucna historié Fyzikaln í akustika □ ť5> - - Aktuální práce v oblasti dialogových systémů Výzkum a práce ve svete Dialogové syst émy O predmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytváření řeci Vnímaní zvuku Strucna historie Fyzikaln í akustika European Masters in Language and Speech Dialogové syst émy Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku Evropské navazující studium v oblastech zpracovaní reCi přirozeného jazyka (na FI behem magisterskeho Zapojeny VŠ napr. v Dansku, Řecku, Španelsku, Nemecku, Velke Britanii, Nizozemí, .. . Více informací: ■ Stranka o EuroMasters na FI ■ doc. Pala, doc. Kopeček. a Strucna historié Fyzikaln í akustika Struktura dialogového systému Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan i zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvéřém réci Vmmám zvuku Ě51 ~ - 5-0^0- Strucna historié Fyzikaln i akustika Komponenty dialogove ho systemu Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku Uživatel - koncove žařížení, ktere uživateli umožnuje dialogovým systemem: prostřednictvím PSTN pres prevádí hlas na data a žpet prost rednictví prímo s dialogovým systemem textový klient - komunikace prostrednictvím protokolu Rožpožnívaní reci: ■ prevadí mluvene ■ využíví se: ■ rozpoznáván í plynul e řeCi ■ rozpoznáván í izolován ých slov ■ pro žvysení uspesnosti se používají množinu očekávanych vstupu. Strucna historié Fyzikaln í akustika Komponenty dialogového systému Dialogové syst émy O predmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytváření řeci Vnímaní zvuku míemantickíy analyzaítor ■ získava relevantní ídaje z rozpoznaneho ■ vyuzívají se napr. atributove Dialogový manazer ■ konecny zaklade aktuílního dalsím prubehu uzivatele Generátor manazeru syntetizov any. Recovy syntetizer dialogoveho nísledne převadí řec, ktera generatoru posla na uřzivateli. textu Strucna historie Fyzikaln í akustika Udajé používané dialogovým systémém Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan i zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvéřéné réci Vnímam zvuku Lingvistické znalosti - údaje o jazyce, které využíva rozpoznávač reci pro zvysení úspěšnosti (pravdepodobnosti vyskytů jednotlivých sekvencí řečovych segmentů, Strucna historié Fyzikaln i akustika Historie zpracování a napodobování řeči Dialogové syst émy O předmětu Úvod do dialogových systémů zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Mechanizmus vytvéření řeci Vnímaní zvuku před 3 milióny artikulované řeči starovek - budovaní mluvících soch buZku system rezonótoru p napodobení samohlásek StruCna historie Fyzikaln í akustika Historie zpracování a napodobování řeči Dialogové systémy O předmětu Uvod do dialogových systému zpracovíní zvuku Fyziologická akustika Zíklady fyziologickí akustiky Mechanizmus vytvíření řeči Vn ímí n í zvuku méchanicky mluvící stroj 835 - zrekonstruován mel navíc pruZnou ,,Ustní mluvící Stručna historie Fyzikaln akustika Historie zpracování a napodobování řeči Dialogové systémy O přédmétu Uvod do dialogových systému zpracovaní zvuku Fyziologická akustika Základy fyziologické akustiky Méchanizmus vytvářéní réci Vnímání zvuku mechanický mluvící napodobuj ící lidske reCove Ustroj í (elektromechanický řečový (elektricke zařízen í kodova n í a sýntetize r) přenos řeci) l eta 20. stolet í- sýnteza ve frekvencn í sýnt eza v řcasov e poc ítace pozdřeji 5 •£}<\Qb stroj Strucna historié Fyzikaln í akustika Základy moderní analýzy řeči Dialogoví systémy O predmetu Úvod do dialogových systémů zpracovan í zvuku Fyziologicka akustika Zaklady fyziologické akustiky Méchanizmus vytvířéní řeci Vnímaní zvuku stolet í i J.B. F analýze veta - výuZíva se pri spektra In í zabýval se fýziologi í vn ím a n í HelmholtzUv rezonator spektraln í analýza reci na bazi formantove analyzy samohlasek vokod er - zařr izen i pro kompresi řreřci pro uřcely přrenosu hlasu radiem a transkontinent aln im kabelem zařízen i pro graficky zaznam reci stolet í - intenzivn í vívoj jak teorie, tak pořc itařcov ych aplikac i. Strucna historie Fyzikaln í akustika Základní řeCově technologie Dialogoveí systíemy Luděk Bartek O predmetu Uí vod do dialogovíych systemu Strucna historie zpracovaíníí zvuku Fyzikíalníí akustika Fyziologickía akustika ■ synteza řeCi ■ rozpoznávan ířeCi ■ souvisej íc í oblasti - zpracovan í jak v Casove oblasti ■ rozpoznívan í řecn íka tak frekvencn í Zaíklady fyziologickíe akustiky Mechanizmus vy^rení řeci Vnímím zvuku Zvuk Dialogové syst émy Luděk Barték Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku prostředí prostředí rovnovazne výchylkou maximainí vychylkou zpet maximílní protilehleho místa s rovnovazneho Strucna historié Fyzikaln í akustika Kmity Dialogová systemy Uvod do dialogovych systemu zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick e akustiky Mechanizmus vytváření řeci Vnímaní zvuku Strucna historie Fyzikaln í akustika Kmity Fyzikální veličiny Dialogoví syst é my Ludčk Barték O prédmétu Uvod do dialogovych systé mu zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytví řen í řeci Vn ímaní zvuku maxim a In í výchylka kmitavé ho opakova n í périodické ho déjé. počét opakovan í périodické ho déjé plat í casů. Strucna historie Fyzikaln í akustika Kmity Fyzikaln í veličiny Dialogoví systemy O predmetu Uvod do dialogovych systemu zpracovan í zvuku Fyziologicka akustika Zíklady fyziologicke akustiky Mechanizmus vytvíření řeci Vnímíní zvuku pruZiny, s - aktuální výchylka pruZiny telesa, a - zrychlení uhlova rychlost kmitav eho fáze kmitavého okamZitá vychylka okamZitá okamZite zrychlení Strucna historie Fyzikaln í akustika Harmonické versus tlumené versus vynucené kmitání Dialogove syst emy O predmétů Úvod do dialogových systémů zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick e akustiky Mechanizmus vytvíření řeci Vnímaní zvuku Harmonické kmitaní ■ na těleso nepůsobí zadna vnějsí síla ■ v praxi se s ním temeř nesetkame Tlůmene kmitaní působí odpor prostředí časem (vzdaieností Vynůčene kmitaní, hmotný bod působí navíc kles a promenne síla partikul a rn í řešen í: Strucna historie Fyzikaln í akustika Zvuk Dialogové syst é my Uvod do dialogovych systé mU zpracován i zvuku Fyziologicka akustika Zaklady fyziologické akustiky Mechanizmus vytví řen í řeci Vn ímaní zvuku mechanické vlnen í pruZne ho prostřed í řeckého véda stůdůj ící vztahuj íc í sé k slysén í): ■ fyzik a ln í - zvůk jako fyzikaln í vlnén í ■ fyziologick í akůstika - vznika ■ hůdébn í - zvůky z pohlédů hůdby ■ molékůlí rn í - vztah akůstickych vlastnost í a molékůl a rn í i ma n i clovekem Rozdeien í vyuZíva n napr. molekulárn í akůstikoů. Strucna historie Fyzikaln i akustika Jednoduchý vs. složený tón Dialogové systémy Uvod do dialogových systémů Fyziologická akustika Zýklady fyziologické akustiky Mechanizmus vytváření reci Vnímání zvůků Základní tón - průběh case Složený ton - lineární jednoduchých tonů. r \ H.!HinM*0.5»iin(2«x| -- / v O přédmét Stmcn; histořié zvůků Fyzikýlní akůstika Akustické spektrům zvůků Dialogove syst emy O predmetu Uvod do dialogovych systemu zpracovan í zvuku Fyziologickí akustika Zíklady fyziologicke akustiky Mechanizmus vytvíření řeci Vnímaní zvuku Akůstičke kterých Získaní mnozina zakladníčh tonů slozen. E i= 1 nejlepsí pri poůzití koeficientů Strucna historie Fyzikílní akustika a Akustičk e spektrum zvuku pokráCován í Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku anal yža na kr atk em periodick y. fyžiologicke odpovídaj ících vl a kenek odpov ídaj íc í reakci neuronu. odpov ídí ustroj í, resp Strucna historié je Fyzikaln í akustika Akustický tlak Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Akusticky tlak ■ Odpovídí síle pusobící akustickeho vlnení. platí prostředí Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku - maximální akusticky úhlová průběhu Strucna historié Fyzikaln í akustika Akustická intenzita a akustický tlak Dialogove syst emy Ludřk Bartek O predmetu Uvod do dialogovych systemu zpracovan í zvuku Fyziologickaí akustika Zíaklady fyziologickíe akustiky Mechanizmus vytvíření řeci Vnímaní zvuku Akusticka intenzita ■ Vyjadruje mnoZství akusticke energie, ktere jednotkovou plochou za jednotku Ccasu. ■ Je prímo umerní druhe mocnine akustickemu dan rozsahem minimalní maximalní akusticke ton Pra h Pra h Strucna historie Fyzikaílníí akustika Vn ímá n í zvuku Dialogoví systemy Luděk Bartek O predmetu ■ Weber-Fechneruv psychofyzikalní zakon Úvod do dialogovych systemu Strucna historie zpracovaní zvuku Fyzikaílníí akustika ■ Clovekem subjektivne vnímaná hlasitost roste pri geometrickem narustu intenzity pribliZne linearne. ■ Pro stanovení hladiny intenzity zvuku (L) volíme Fyziologickía akustika Zíaklady fyziologickíe akustiky Mechanizmus vytvíření řeci Vnímaní zvuku Orientačn í hodnoty akustičke intenzity Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku sepot tlumen y symfonick y rockova Strucna historié Fyzikaln í akustika Zaklady fyziologické akustiky Dialogoví systémy Luděk Barték O predmétu Uvod do dialogovych systému ■ Fyziologick í akustika se zab yva : Strucní historié zpracovíní zvuku Fyzikíalníí akustika Fyziologickía akustika Zíaklady fyziologickíé akustiky Méchanizmus vytvířéní řeci Vnímíní zvuku □ S1 ~ - '■ HelmholtzUv rezonátor Dialogove syst emy Luděk Bartek O predmetu Uvod do dialogovych systemu í. Strucní historie zpracovaíníí zvuku Fyzikíalníí akustika Fyziologickía akustika Zaíklady fyziologickíe akustiky Mechanizmus vytvúřéní řeci Vnímaní zvuku Mechanizmus vytváření řeči Dialogové syst émy O přédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku Řec vznika pomocí hlasového ústrojí(umísteno Hlasivky vytvírí uzkou hlasovou sterbinu a jsou rozechvívíny prochízejícím vzduchem. Frekvence jejich kmití n í urcuje základní hlasivkový ton. Zvuk, ktery vznik a v hrtanu pomoc í hlasivek (samohl a sky, znele souhlí sky) je modifikova n v rezonančních dutinách: ■ hrtanove ■ ustní ■ nosohltanove . Řezonancn í dutiny funguj í na stejn e m Helmholtzuv rezon ator). Strucna historié Fyzikaln í akustika Hlasivky a sch é ma lidské ho hlasové ho ůstroj í Mechanizmus vnímání reči Dialogoví syst é my Ludřk Barték O prédmétu ■ Zvůk vn ím a mé slůchovym orgá ném. Uvod do dialogovych systé mu Strucna historié zpracovan í zvuku Fyzikaln í akustika Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytví řen í řeci Vn ímaní zvuku Schéma sluchového organu Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvířéní řeci Vnímaní zvuku Obrazek: Sch e ma sluchove ho orga nu Vnejs í učho Dialogové syst émy Ludřk Barték O prédmétu Uvod do dialogovych systému Strucna historié zpracovaní zvuku Fyzikalní akustika Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvířéní řeci Vnímaní zvuku Strední učho Dialogové syst émy O píédmétu Uvod do dialogovych systému zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytvářéní réci Vnímaní zvuku Kustky stredn ího ucha: ■ klad ívko - prilě h á k bub ínku trm ínek - pril ě h á k ová ln ě mu okě nku, ktery m se zvuková energie pred á v í do vnitrn ího uchá. Oví ln e oke nko - tvorí přístup k vnitrn ímu uchu. stredn ího SlouZ í k vyrovná n í rozd ílu tláku mezi vnejS ím prostred ím stredn ím uchem, áby nedoslo poskozen í Strucna historié Fyzikaln í akustika á Vnitrn í učho Dialogové syst émy Ludřk Barték O prédmétu Uvod do dialogovych systé mu zpracovan í zvuku Fyziologicka akustika Zaklady fyziologick é akustiky Méchanizmus vytví řen í řeci Vn ímaní zvuku Hlém yzd' naplnén vodnatym Ustroj í vé tvarů ůlity hlém yzdé, ktéré ůstroj í. ůstroj íobsahůjé zhrůba 20000 vl a ké nék s d é lkami nérvoví zakoncén í, ktérí Rovnov a zny org a n. Strucna historié Fyzikaln í akustika Dialogové systémy Luděk Barték Základy fonetiky Úvod do počítačového zpracovéní zvuku Komunikace uZivatél -dialogovéy systéém VolP SIP Zpracovéní di-gitalizovanéého signéalu Anah/za digitalizovaného signálu v časové oblasti Analéza digitalizovaného signalu ve frékveněné oblasti Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 ady fonetiky Dialogové systémy Úvod do počítačového zpracovéní zvuku Komunikace uZivatél -dialogovéy systéém VolP SIP Zpracovaní di-gitalizovanéého signíalu Analyza digitalizovaného signálu v časové oblasti Analýza digitalizovaného signalu ve frékvenčm oblasti Zkoumá zvukovou stránku jazyka z různých aspektů. Základní pojmy, ktere souvisejí s dialogovými systémy: ■ fonem ■ samohlásky - formanty ■ souhlásky - znelost/neznelost souhlásek ■ koartikulace ■ spodoba znelosti Zaéklady fonetiky a fonetická transkripce Dialogové systémy Úvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VolP SIP Zpracovéní digitalizovaného signalu Analýza digitalizovaného signalu v časové oblasti Anah/za digitalizovaného signalu vé frekvénčm oblasti Fonem - elementární zvukový segment, který je vymezen na zaklade sve schopnosti diferencovat vySSí, znakove jednotky jazykoveho systemu (morfemy). Fonetická transkripce (přepis) - převod psaneho textu do odpovídající foneticke podoby: na shledanou — na zhledanou | na schledanou Fonetická abeceda - slouzí k zapisu fonetickeho přepisu ■ Mezinarodní foneticka abeceda (IPA) - soucístí standardu UNICODE ■ Řečové vyhodnocení metod fonetické abecedy (SAMPA) -sedmibitovy prepis foneticke abecedy, vyuz íva se pri automatizovan e m zpracoví n í (napr. recovy syntetize r MBrola, ...).. S1 ~ - 5-0^0- Zaklady fonétiky Samohlásky Dialogové systémy Úvod do počítačového zpracovéní zvuku Komunikace uZivatél -dialogovéy systéém VolP SIP Zpracovéní di-gitalizovanéého signéalu Analyza digitalizovaného signálu v časové oblasti Analéza digitalizovaného signalu ve frekvenčm oblasti Samohláska - samostatně tvoří Rozdělení samohlásek: ■ kratkě: a, e, i, o, u ■ dlouh ě: á , ě, í, o, U ■ dvojhlásky: eu, au, ou Obsahuj í: ■ z a kladn í hlasivkový ton hlasových dutin a ch. kmit á n í vznikl e a zesílen e rezonanc í Zéaklady fonetiky v Dialogové systémy Úvod do počítačového zpracovéní zvuku Komunikace uZivatél -dialogovéy systéém VolP SIP Zpracovéní di-gitalizovanéého signéalu Anah/za digitalizovaného signálu v časové oblasti Analéza digitalizovaného signalu ve frékvenčm oblasti Frekvence vzniklé a zesílené rezonancí v hlasových dutinách F1 - vzniká rezonanc í v dutine Ustn í. F2 - vzniká rezonanc í v dutine hrdeln í. Existuj í i výSS í formanty (F3, ...) - výskýt je casto individualn í. Výskýt a intenzita formantu se muze lisit v zívislosti na: ■ pohlaví - muz/zena ■ veku - detství/dosp íva n í/dospelost/seniorský vek ■ zdravotn ím stavu - napr. nachlazen í, ochraptelost, nemoci hlasivek a hrtanu, Zaéklady fonetiky Dialogové systémy Úvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VolP SIP Zpracovéní digitalizovaného signélu Analýza digitalizovaného signalu v časové oblasti Anah/za digitalizovaného signalu vé frékvénčm oblasti Samohláska Formant F1 Formant F2 a 700 — 1100 Hz 1100 — 1500 Hz e 500 — 700 Hz 1500 — 2000 Hz i 300 — 500 Hz 2000 — 3000 Hz o 500 — 700 Hz 900 — 1200 Hz u 300 — 500 Hz 600 — 1000 Hz Tabulka: Formanty F1 a F2 u samohlásek Zéklady fonétiky Dialogové systémy Luděk Barték LJvod do poCítaCovúho zpracované zvuku Komunikacé uzivatél -dialogový systéém VoIP SIP Zpracovéné digitalizovaného signélu Analéza digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu vé frékvéněné oblasti Samohlaska(y) Relativn í Četnost [e] 10 % [a], [o], [i] 6 — 7 % [í] 4 % [ í ]. [u]. [eL [ou]. [u] < 4% [o], [au], [eu] pouze nepatrn a frekvence Zaklady fonétiky Dialogové systéémy Luděk Barték Zaklady fonétiky IJvod do poCítaCovúho zpracované zvuku Komunikacé uzivatél -dialogový systéém VoIP SIP Zpracované di-gitalizovanéého signéalu Analéza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu vé frékvéněné oblasti ■ Na rozd íl od samohlá sek jsou souhlá sky dynamické deje. ■ Silné zavisí na kontextu, ve kterém se nach azej í. ■ Tónový charakter maj í pouze Cá sti nekterych souhlasek: ■ Del í se podle: ■ znel e - vznikaj í v hltanu, obsahuj í zí kladn í hlasivkový ton. ■ neznel e - vznikaj í v rečových dutinach (nosohltanove , ustn í, .. .), mohou m ít charakter sumu (napr. sykavky): ■ problematická detekce začátku promluvy pri zašuměném zdroji. ■ Znel e a neznel e samohlasky se mohou vyskytovat v p a rech (parove souhlasky) napr.: ■ r/l ■ b/p ■ d/t Dialogové systémy Luděk Bérték Úvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VolP SIP Zpracovaní digitalizovaného signalu Analýza digitalizovaného signalu v časové oblasti Analýza digitalizovaného signalu vé frékvénění oblasti Kroky digitalizace zvuku: jl vzorková n í - sn ím a n í aktu a In í hodnoty sign a lu s danou frekvenc í (vzorkovač í frekvence) ^| kvantizace - převod re a In ych hodnot na celoč íseln e j| kodovan í prubehu vlny - zpusob ukl a dan í informac í o prubehu zvuku. Zéklady fonétiky orko Dialogové systéémy LJvod do poCítaCovúho zpracované zvuku Komunikace uzivatél -dialogovy systém VolP SIP Zpracovéné digitalizovaného signalu Analéza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu ve frékvenčm oblasti Sn ímá n í aktu a In í hodnoty signalu s danou frekvenc í-vzorkovac í frekvence. Vzorkovač í frekvence - mela by byt minim a lne dvojní sobkem nejvyssí frekvence, kterí je v signí lu př ítomna, aby bylo mozn e puvodn í signal bez ztraty informace zrekonstruovat (Shannonuv vzorkovac í teore m). Z ískane hodnoty mus í bít ní sledne kvantizova ny a vhodnym zpusobem ulozeny. Nejpouz ívanejs í vzorkovac í frekvence: ■ 8 kHz - telefonn í kvalita 16 kHz ■ 22050 Hz - rozhlasoví kvalita 44100 Hz - CD kvalita ■ 48 kHz - DVD kvalita Zaklady fonetiky Dialogové systémy Úvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VolP SIP Zpracovéní digitalizovaného signélu Anah/za digitalizovaného signalu v časové oblasti Analýza digitalizovaného signalu vé frékvénem oblasti Metoda převodu spojitých hodnot na diskretn í. Princip: ■ Pokud hodnota sign a lu překroč í n. n a sobek kvantizacn ího kroku je j í přiřazena hodnota n. ■ kvantizacn í krok = rozsah hodnot meřene veličiny/počet diskretn ích hodnot ■ kvantizacn í chýba - zaokrouhlovac í chýba zpusobená velikost í kvantizacn ího kroku, prímo umerní velikosti kvantizacn ího kroku. Bezne pouz ívan e kvantizace: ■ zpracoví n í zvuku: ■ 28 ■ 216 224 ■ zpracoví n í obrazu, .. . navíc 232 Zaklady fonétiky Dialogové systéémy LJvod do poCítaCovúho zpracované zvuku Komunikace uzivatél -dialogový systém VoIP SIP Zpracované digitalizovaného signalu Analéza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu ve frekvenci é oblasti Přím e ukladí n í hodnot z ískan ých kvantizac í - kodova n í PCM (Pulse-Code Modulation). ■ relativne pomal e zmený prubehu zvukove ho signílu - mal e rozd ílý mezi sousedn ími vzorký. ■ Velk a redundance dat. ■ Probl e m v prípade prílis velke ho rozptýlu amplitud v sign a lu - prílis velký kvantizacn í krok - prílis velka kvantizacn í Chýba, prílis malý kvantizacn í krok - pretecen í v okamziku zvetsen í amplitudý signí lu. Diferencn í PCM - ukl a dí se rozd íl mezi sousedn ími vzorký Adaptivn í diferencn í PCM — diferencn í PCM s promenou velikostí kvantizacn ího kroku. Zéaklady fonétiky Dialogovéé systéémy Luděk Bérték Zéaklady fonétiky IJvod do poCítaCovúho zpracovéné zvuku Komunikacé uzivatél -dialogovéy systéém VolP SIP Zpracovéné di-gitalizovanéého signaélu Analéza digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu vé frékvéněné oblasti ■ Vych a z í z předpokladu: ■ Řozd íl dvou po sobe jdouc ích vzorku je podstatne mens í hodnota nez hodnota vzorku. ■ Na sleduj íc í vzorek lze pomerne presne odhadnout jako line írn í kombinaci predchozích vzorku. ■ Blokove sch e ma kodovan í signalu pomoci DPCM i 6(11) J wj) L— J s"(n) s(n) ■ s''(n) - odhad hodnoty recoveho vzorku ■ s '(n) - rekonstruovan y signí l, z ískan y jako soucet kvantizovan e ho signí lu ô'(n) a s''(n) ,ô(n)= s (n) - s''(n) a g _ , Dialogové systéémy Luděk Bérték LJvod do poCítaCovúho zpracovéné zvuku Komunikacé uzivatél -dialogovéy systéém VolP SIP Zpracovéné di-gitalizovanéého signéalu Analyza digitalizovaného signalu v casové oblasti Anah/za digitalizovaného signalu vé frékvéněné oblasti Mozne velke zmeny amplitudy signa lu: ■ Nepresn e zachycen í slab e ho signa lu - amplituda je prílis malá , srovnatelna s kvantizacn ím krokem (prílis velky kvantizacn í krok). ■ Zkreslen í (orezan í) siln e ho signalu - dojde k přetecení rozsahu hodnot urcen ych pro zakodova n í sign a lu (přílis maly kvantizacn í krok). Resen í: prizpusoben í kvantizacn ího kroku amplitudě signalu. Zéklady fonétiky ele s oblasti fonetiky do zvuku Komunikace VoIP SIP i di- Hlasova: ■ komunikace vetSinou prostřednictvím telefonní sítě (PSTN, VoIP). ■ Digitalizace hlasu probíhá: ■ Na strane uživatele - komunikace pomoc í VoIP. ■ Na strane telefonn í Ústředny - DS použ ívá VoIP, uživatel použ íva PSTN. ■ Na strane DS - uživatel i DS použ ívaj í PSTN. ■ Rozpoznavaní řeCi probíhá vetsinou na strane DS. oblasti ve oblasti komunikace u fonetiky do zvuku Komunikace VoIP SIP i di- textová: ■ uživatel komunikuje s DS bud' pomocí specializovaného klienta nebo pomocí bežných protokolu z rodiny TCP/IP. ■ Odpadá nutnost rozpoznávání reci. ■ Vyuzívá se hlavne pro vývoj a ladení. hlasova+textova: komunikace s DS bud' VoIP nebo specializovaný klient. ■ V případe VoIP text bud' pomocí DTMF nebo simulace SMS. oblasti ve Dialogové systéémy Luděk Barték Zaklady fonétiky IJvod do poCítaCovúho zpracovéné zvuku Komunikacé uzivatél -dialogovy systéém VoIP SIP Zpracovéné digitalizovaného signalu Analéza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu vé frékvéněné oblasti ■ VolP - rodina protokolu pro ř ízen í pmbehu hlasove komunikace a přenos hlasu přes internet (sít na bízi IP). ■ Vyuz íva se pro IP telefonii. ■ Vyuz íva protokoly: ■ UDP (transportn í vrstva): ■ Stará se o přenos paketU přeš poč ítačovou š ít mezi dvema body. ■ Nen í zajišteno doručen í paketu ani jejich porad í. ■ Vy hoda - n ízka rezie prenosu dat. ■ Nevý hody - mozna ztra ta dat a moznost velkých rozd ílu v rychlosti dorucen í jednotlivých paketu ■ RTP (relacní vrstva): ■ Vyuz íva se pro prenos multimedií ln ích dat. ■ Zajistuje dorucen í paketu. ■ Umozňuje rízen í parametru prenosu - zajistí mal e rozd íly v rychlosti dorucen í paketu. IP telefonie Používané protokoly Dialogové systéémy Luděk Bérték LJvod do poCítaCovúho zpracované zvuku Komunikacé uzivatél -dialogovy systéém VoIP SIP Zpracovaní digitalizovaného signélu Analyza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu vé frékvénění oblasti VolP - řada implementac í lis í se ■ pouzitými standardy - H.323 (na ustupu, standard ITU, komplexn í, relativne komplikovaný), SIP (jednodussí nahrada H.323, v soucasnosti velmi rozs ířen ý), firemn í-Skinny (Cisco), HFA (Siemens), . .. ■ sluzbami - telefonie, TV (DVB), fax, zas íl a n í zpr a v, . .. ■ signalizac í - zí vis í na zvolen e m standardu a pouzitých protokolech. Zéklady fonétiky Dialogové systéémy Luděk Barték Zaklady fonetiky IJvod do poCítaCovúho zpracovéné zvuku Komunikace uzivatél -dialogovy systéém VoIP SIP Zpracované digitalizovaného signélu Analéza digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu ve frékveněné oblasti ■ protokol prořízen í signalizace pro VolP na aplikacn í vrstve OSI modelu ■ textový protokol pracuj íc í v rezimu klient-server, poskýtuj íc í mechanismý pro: ■ presmerovan í hovoru ■ císelnou identifikaci volaj ícího a volan eho ■ osobn í mobilitu ■ autentizaci volaj íc ího a volan e ho ■ podpora konferencn ích hovoru prostřednictvím vícesmerove ho zas ílí n í dat (multicast). SIP - pokraco Dialogové systéémy ĹJvod do poCítaCovúho zpracované zvuku Komunikacé uzivatél -dialogovy systéém VolP SIP Zpracovéné digitalizovaného signalu Analyza digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu vé frékvéněné oblasti Identifikace ucastn íka - URI ve tvaru sip:číslo@adresa-počítače m c íslo - c íslo pridelen e uzivateli na dan e m stroji (VolP ustredne) ■ adresa pocítace - adresa (FQDN/IP) ustredny, na ktere je uzivatel registrova n. SIP relace muze b yt: ■ príma - navazana př ímo komunikuj íc ími stranami ■ s pouzit ím SIP proxy serveru/u - tyto slouzí jako registratoři ucastn íku. Činnosti protokolu SIP: ■ Lokalizace ucastn íka - pomoc í identifikace ■ Zjisten í stavu ucastn íka - pripravenost k přijet í hovoru vs. obsazeno/přresmřerov ano ■ Zjisten í mozností ucastn íka - dostupn e kodeky, dostupn a sírka pasma, podpora audia/videa, . .. ■ Vlastn í nava za n í spojen í - vyuz íva se protokol SDP ■ popisuje navazované spojení, Zéklady fonétiky r\ ri Ixi -71 i i a Dialogové systémy Luděk Barték Základy fonetiky Uvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VolP SIP Zpracovaní di-gitalizovan ého signalu Analyza digitalizovaného signalu v časové oblasti Analyza digitalizovaného sign alu vé frékvénění oblasti Dialogové systémy Úvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VoIP Zpracovéní digitalizovaného signélu digitalizovaného signalu v časové oblasti Analýza digitalizovaného signalu vé frékvénčm oblasti Zvuk je nemenný pouze na krátkých casových usec ích -metodý kr atkodob e anal ýzý. Tento interval se nazýva mikrosegment - velikost 10 — 40 ms. Metodý kra tkodob e anal ýzý: ■ V casove oblasti - zpracova vaj í se prímo hodnotý jednotlivých vzorku. ■ Ve frekvencní oblasti - ze vzorku se z ísk a vaj í frekvencní charakteristiký, ktere jsou ní sledne zpracova ný. Modelova n í funkce Cortiho ustroj í- pomoc í diferencií ln ích rovnic se simuluje rezonance na urcitých vl a ke nk a ch Cortiho ustroj í. Zéklady fonétiky Dialogové systéémy LJvod do pocítacového zpracovéní zvuku Komunikacé uzivatél -dialogovy systéém VoIP Zpracovéní digitalizovaného signélu digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu vé frékvénění oblasti Při kratkodobe analíze předpokl a dí me, ze sign a l je v okol í mikrosegmentu periodicky se stejnou periodou jako uvnitř. Vznikla chyba se kompenzuje pouzit ím ,,oke nka". Okenko - posloupnost vah pro vzorky v mikrosegmentu. Tyto vahy by mely odpov ídat tomu, jak je dan y vzorek ovlivnen okol ím mikrosegmentu. Nejcasteji pouz ívan e typy oke nek: ■ pravouhl e oke nko ■ Hammingovo ok e nko Zéklady fonétiky Hammingovo okénko Dialogové systémy Vych a z í z předpokladu, ze c ím jsou vzorky bl íře středu mikrosegmentu, t ím m e ne jsou ovlivneny okol ím. Pro v ypořcet vah se pouřz íva vzorec: Úvod do počítačového zpracovéní zvuku Komunikace uZivatél -dialogovéy systéém VoIP Zpracovaní di-gitalizovanéého signíalu digitalizovaného signálu v časové oblasti Analýza digitalizovaného signalu ve frekvenčm oblasti w (n) n = 0 ... N - 1 0.54 - 0.46cos(-0^) n < 0 V n > N 0 Průběh vah okě nka na mikrosegmentu: 5 -f) Zaéklady fonétiky Dialogové systémy Luděk Barték Úvod do počítačového zpracování zvuku Komunikace uZivatel -dialogový system VolP Zpracovaní di-gitalizovan eho signalu digitalizovaného signalu v časové oblasti Analýza digitalizovaného signalu ve frekvenční oblasti Vychází se z předpokladu: jl vzorky mikrosegmentu nejsou pro naSe potřeby ovlivněny okol ím m íkrosegmentu ^| vsechny vzorky mikrosegmentu jsou ovlivneny stejne. Všechny vzorky mikrosegmentu maj í shodnou ví hu. w (n) 0 < n < N n < 0 V n > N 1 0 Základy fonétiky Dialogové systémy LJvod do poCítaCovúho zpracovéné zvuku Komunikacé uzivatél -dialogovy systéém VolP SIP Zpracované digitalizovaného Analyza digitalizovaného signalu v Casové oblasti Analyza digitalizovaného signalu vé frékvéněné oblasti Vych a z í přímo z hodnot vzorku Pouz ívan e metody: funkce kratkodobe energie funkce kr atkodob e intenzity funkce stredn ího poctu pmchodu nulou diference 1. rí du autokorelacn í funkce nikoliv z hodnot spektra. Zaklady fonétiky Funkce v |5v£ oblasti energie Dialogovéé systéémy Výuz íva funkci prumerne energie v rí mci segmentu: LJvod do poCítaCovúho zpracované zvuku Komunikacé uzivatél -dialogovéy systéém VolP SIP Zpracované di-gitalizovanéého Analéza digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu vé frékvéncné oblasti s (k) E (n) = (s (*Mn - k))2 vzorek v case k k) - ví ha odpovídaj íc ího oke nka pro cas k Výstupem je prumern a energie v dan e m oke nku. Druh a mocnina zvýsuje dýnamiku zvukove ho signalu. Pouzit í: ■ automaticke oddelen í ticha reci (signí lu) ■ príznaký v jednoduch ých klasifik a torech slov ■ oddelen í znelých a neznelých cast í promluvý. □ g - - 5 Zéklady fonétiky Funkce v i intenzity oblasti Dialogové systémy Funkce intenzity signalu v danem okenku. Uvod do poCítaCového zpracování zvuku Komunikace uZivatel -dialogový systém VoIP SIP Zpracovaní digitalizovaného Analyza digitalizovaného signalu v Casové oblasti Analýza digitalizovaného signalu ve frekvenCní oblasti /(n)= £ |s(fc)|w(n - k) k=—oo m |s(k)| - absolutní hodnota vzorku v case k ■ uj(n — k) - váha odpovídajícího okenka pro cas k PouZití - stejne jako funkce krátkodobé energie. Oproti kratkodobe energii nezvýrazňuje tolik dynamiku řečoveho signílu. Zaklady fonetiky Dialogové systéémy Luděk Bérték Zéklady fonetiky IJvod do poCítaCovúho zpracované zvuku Komunikace uzivatél -dialogovy systéém VolP SIP Zpracovéné digitalizovaného signélu Analéza digitalizovaného signalu v Casové oblasti Analéza digitalizovaného signalu ve frékveněné oblasti ■ Poc ít a zmený znam e nka digitalizovan e ho signí lu. oo Z(n)= lsg"[s(k)] - sg"[s(* - - *) k=—oo ■ Varianta - pocet lok aln ích extremu. ■ Obe metodý mohou být negativne zat ízený sumem zvukove ho pozad í. ■ Pouzit í: ■ detekce ticha ■ detekce zací tku a konce i zasumene promluvý ■ priblizne urcen ízakladn ího hlasivkove ho tonu a formantu ■ príznaký jednoduss ích klasifikí toru slov Ana Autoki Dialogové systémy 1 i ,A XI, D £.**-r. 1, ■ Vrací podobnost úseků daného mikrosegmentu (čím větší Luděk Barték výsledná hodnota, tím podobnější úseky posunuté o m Základy fonetiky vzorků). Uvod do počítačového zpracování zvuku oo R (m, n) = ^ (s (k)w(n - k))(s (k + m)w(n - k + m)) k=—oo Komunikace uZivatél - dialogový systém ■ Je-li signal periodický s periodou P, R(m,n) nabýva VolP SIP maxima pro m=0, P, 2P, ... Zpracovaní di-gitalizovan ého ■ Předpoklída delku mikrosegmentu aspoň 2P. signalu ■ PouZití: digityZaovaného oignalu v časové ■ PouZíví se k zjiStovúní periodicity signílu zíkladního tínu Analýza reči. digitalizovaného signalu vé orékvénění ■ Zaklad pro výpočet koeficientu LPA Dialogové systéémy LJvod do pocítacového zpracovaní zvuku Komunikacé uzivatél -dialogovy systéém VolP SIP Zpracovaní digitalizovaného signélu Anah/za digitalizovaného signalu v casové oblasti Analéza digitalizovaného signalu vé frékvénění oblasti Transformuje digita ln í řreřcovy signal z řcasov e oblasti do frekvenřcn í oblasti. Vyuřz íva k tomu nejřcastřeji Fourierovu transformaci. Nejřcastřeji pouřz ívan e druhy anal yzy ve frekvenřcn í oblasti: ■ kratkodoba Fourierova transformace ■ kratkodob a diskretn í Fourierova transformace ■ rychl a Fourierova transformace ■ kepstr a ln í analýza ■ line írn í predikce Zaklady fonétiky ^^Bv^frek^enční oblasti Fourierova transformace SffffffffffffffffffJ Dialogové systémy Vych a z í z Fourierovy transformace: Uvod do počítačového zpracování zvuku Komunikace uZivatél -dialogový systém VoIP SIP Zpracovaní di-gitalizovan ého signalu Analýza digitalizovaného signalu v časové oblasti Analýza digitalizovaného signalu ve frekvenční oblasti S(w, t)= s(k)h(n - k)e-jujk k=—oo ■ ObyCejnou Fourierovu transformaci z ískí me fixac í casu t. ■ |S(w, t)| - amplituda slozky akusticke ho spektra odpovídaj íc í frekvenci w v case t. ■ h(n) - va hova funkce ok e nka. Předpoklá d a na vstupu periodickou funkci - zvuk je periodicky na kratkych casovych usecích. Při jej ím pouzit í se predpokladí , ze zpracovavany mikrosegment se periodicky opakuje. □ @> - - 5 Zéklady fonetiky frekvenční oblasti nace fonetiky do zvuku Komunikace VolP SIP oblasti oblasti I di- Pouz ívá se pro vyj a dřen í spektraln ich vlastnost í periodických posloupností s periodou N vzorkU resp. koneCnych posloupností delky N vzorkU. VýpoCet koeficientu X (k) DFT: w-1 2n A/- 1 X (k) = £ x (n)exp(-j-Nkn) = £ x (n)W-kn n=0 n=0 ■ |X(k)| - intenzita k. spektrálního koeficientu, frekvence zavisí na velikosti mikrosegmentu N a vzorkovací frekvenci. ■ x (n) - n. vzorek daneho mikrosegmentu Wn = exp(j * 2n/N) = cos(2n/N) + j * sin(2n/N). Výpocet n. vzorku na zaklade hodnot X (k) - IDFT: 1 W-1 2n x (n) = X (k )exp(j- kn) k=0 1 Ex (k )Wwkn, k=0 S1 ~ - 5-0^0- ve 'enční oblasti mace fonétiky do zvuku Komunikacé VolP SIP oblasti édi- Vypocet spektraln ích koeficientu pomoc í DFT - n2 operac í nad komplexn ími c ísly. Pomoc í FFT - N * log2N/2 operac í n a soben í. FFT pozaduje, aby d e lka analyzovan e ho segmentu byla mocninou 2. oblasti vé gnaiu ve frekvenční oblasti Dialogové systemy LJvod do poCétaCového zpracované zvuku Komunikace uzivatel -dialogovy system VoIP SIP Zpracované di-gitalizovaneho signélu Analyéza digitalizovaného signalu v Casove oblasti Analéyza digitalizovaného signalu ve frekvencím oblasti Vychazí z modelu cinnosti hlasoveho ustrojí. Recove kmity lze modelovat jako odezvu lineírního systemu na buzení sestívající ze sledu pulzu pro znelou rec a ňsumu pro neznňelou. Kepstrum - X (k) = IFFT (FFT (x (k))) Kepstrílní analyza umozňuje z řeci oddelit parametry buzen í a parametry hlasove ho ustroj í. Vyuzit í: ■ ocenen í fonetick e struktury reci - znelost perioda z a kladn ího tonu, formanty, ... ■ rozpozní va n í slov ■ verifikace a identifikace mluvcího Zaklady fonetiky Dialogové systémy Uvod do pocítacového zpracovaní zvuku Komunikacé uZivatél -dialogovy systém VoIP SIP Zpracovaní digitalizovaného signalu Analyza digitalizovaného signalu v casové oblasti Analyza digitalizovaného signalu vé frékvénřní oblasti Jedna z nejefektivnejších metod analýzy akustického signalu - zajistuje velmi přesn e odhady parametru pri relativne male zatezi. Vych a z í z předpokladu, ze s (k) lze popsat jako linearn í kombinaci N předchozích vzorku a buzen í u(k): N s(k) = a;s(k - i) + Gu(k) i=1 kde G je koeficient zes ílen í a N řa d modelu. Pouzit í: ■ urcovan í spektrí ln ích charakteristik modelu hlasove ho ustrojí ■ z chyby predikce lze odvodit poznatky o znelosti a urcit frekvenci zí kladn ího hlasivkove ho tonu ■ koeficienty a; nesou informaci o spektrí ln ích vlastnostech -lze je pouz ít jako príznaky pro rozpoznaví n í reci. Zaklady fonétiky Dialogové systémy Luděk Barték Rozpoznévání reci Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání Dialogové systémy Rozpoznávání reci Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Rozpoznávání reci Dialogové systémy Luděk Bérték Rozpoznévání řéCi ■ Rozpoznávání plynule reci - převádí souvislou promluvu na izolovaných slov DTW HMM Rozpoznávání plynulé ěéCi ■ Rozpoznávání izolovaných slov/příkazu. Gramatiky pro ■ Princip rozpoznává n í: podporu rozpoznávání jl Z ískán í vektoru příznáku pomoc í metod kr á tkodobe íéCi ánálýzy signálu. v predchoz ím kroku. Rozpoznávání izolovaných slov Dialogové systémy Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá řéCi Gramatiky pro podporu rozpoznavaní Slouží k rozpoznání povelů oddělených na začátku Odpadá problěm stanovení začátku souvisle promluvě. sýstě mý z á visl ě ná uziváteli nátrě nová n í ■ omezen á Obt íze pri rozpozn á vá n í izolován ých ■ určení záčátku ■ Odlišení sumu nahodilého zvukového okluzívy, které obsanují MoZna přítomnost infrazvuku. (príkázu) zretelne (klepnutí, m Rozpoznávaní izolovaných slov Typy klasifikátorů Diálogové syst émy Luděk Bárték Rozpoznévání Rozpoznávání izoloványch slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání réCi ■ Klasifikatory vyuZívající porovnání slov metodou DTW ■ SnaZ í se nal ezt co nejvetS í shodu mezi rozpozní vanym slovem a slovy v databazi. ■ Klasifik a tory zalozene na statistickych metodach -modelova n í pomoc í skrytych Markovovych modelU: ■ simulace procesu tvorby reci. ■ Klasifikatory pracuj ící na dvou urovn ích: jl Segmentace a foneticke dekodova n í jednotlivých segmentu. ^| Rozpoznan í slova na zaklade dekodovanych segmentu. Dynamic Time Warping (DTW) Dialogové systémy Luděk Bérték Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá ěéCi Gramatiky pro podporu rozpoznavaní Používá casove porovnaní Číselných řad akustických vektorU získaných pomocí krátkodobé analýžý signaiu ■ databáze akustických vektorU rožpožnavaných slov Výstup - rožpožnane úseků '■raJII DTW Základní postup Dialogové systémy Luděk Barték Rozpoznévání reci Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulé ěéCi ■ Vytvoříme db rozpoznávaných slov (referenční posloupnosti akustických vektorů). ■ Obvykle několik posloupnost í pro kaZd e slovo, ktere odpovídaj í nekolika způsobům vysloven í příkazu. Grámátiky pro podporu rozpoznávání ■ Rozpoznavane slovo prevedeme na odpovídaj ící posloupnost akustických vektoru. ■ Metodou DTW nalezneme referencní posloupnost akustických vektoru s maximá ln í shodou. DTW Formalizace Dialogové systémy Luděk Barték Rozpoznévání reci Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání /' =1 d - vzdálenost akustických vektoru (např. Euklidovská metrika) DTW Omezuj íc í podm ínky Diálogové syst émy Rozpoznávání izoloványch slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání f,g - neklesaj íc í Omezen í na lokí ln í 0 < 0 < , ■ vetsinou plat í / *, J * m Z praktických testu prírustku muze doj ít kratkým pr í li s Omezen í na hranicn í pocet vzorku pocet vzorku DTW Omezuj íc í podm ínky - pokračován í Dialogové systémy Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá řéCi Gramatiky pro podporu rozpoznávaná Glob á ln í vymezen í ■ omezen í minim á ln í á máximá ln í prípustn e smernice prímky vymezuj íc í prípustnou oblást pohybu funkce DTW, pri splnen í podm ínky ná hránicn í body: minimáln í směrnice přímky omezuj íc í přípustnou st maximaln í směrnice přímky omezuj íc í přípustnou DTW - Praktická realizace klasifikátoru slov Blokové schéma Dialogová systémy Rozpoznávám izolovanych slov DTW HMM Rozpoznávám plynulá řéCi Gramatiky pro podporu rozpoznavam Obrí zek: Blokové sch e má klásifik á toru sm □ ť5> - - DTW - Praktická realizce klasifikátoru slov Tre nová n í Dialogové systémy Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá řéCi Gramatiky pro podporu rozpoznavaní řéCi Obecný Řečník trénované opakovane Vstupní řečníků vysloví postupné kazdé požadovaného slovníku, zdigitalizovana a následne převedna kríatkodobíe analíýžý vektorů příznaků. Detekce hranic (poCatku ■ Může být n á rocn e na proveden í, např. kvůli rušivé mu pozad í. ■ Nekorektn í detekce hranic slov zhoršuje ůspešnost rozpoznáván í. ■ Metody odstranuj íc í i jen CasteCne vliv akusticke ho pozad í zvyšuj í vy pocetn í n a rocnost. Vytvoření referenčních obrazu 4 DTW - praktická realizace Metody vytváření referenčních obrazů slov Diálogové syst émy Luděk Bárték Rozpoznévání íéCi Rozpoznávání izolován ych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání ěréěci ■ Přím e pouzit í obrazu tré novac í mnoziny jako referencn ích obrazu slov - DTW nevyzaduje, aby obrazy te hoz slova byly stejne dlouhe, ale z duvodu moznosti aplikace pomocnych kriterií, je vhodne provest casovou normalizaci kařzd eho obrazu. ■ Vy^ířen í prumern e ho vzorove ho obrazu pro kazdou tř ídu slov W m pouz ívaj í se metody line írn ího a dynamicke ho prumerovan í. ■ Vy^ířenívzorovych obrazu shlukova n ím. ■ Vzorove obrazy pro dan e slovo se rozdel í do shluku tak, ze obrazy uvnitř shluku jsou si ,,podobn e" a obrazy z ruznych shluku jsou ,,nepodobn e". ■ Shlukoví n í lze realizovat interaktivne (poloautomaticky -metoda řetezove mapy, algoritmus ISODATA), automaticky (algoritmy zalozene na MacQueenove algoritmu). DTW Redukce výpočetních a paměťových nároků Dialogová systémy Rozpoznávám izolovanych slov DTW HMM Rozpoznávám plynulá ěéCi Gramatiky pro podporu rozpoznavam íéCi Nevýhodý DTW - výsoke pametove a výpocetní nároký mohou žnesnadnovat klasifikaci v reálnem case i pri relativne maiem slovníku. resení: Hruba síla - výužití paralelních procesoru popř. žakažnických obvodu - muže být drahe. Vhodne žakýdovýní parametru jednotlivých mikrosegmentu referencních i testovacích obražus. Výužíva se: ■ vektorová kvantizace - poCet různých vzorků je koneCný -ulozí se do kodove knihý a místo pracuje s jejich indexý v kodove ■ kodova kniha - abeceda vSech hodnot, které : signalu (lze kódovat ůsporneji nez pri pouzití standardn ího DTW Redukce výpoCetn ich a paměťových n a roku Diálogové syst émy Rozpoznávání izoloványch slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání ěéCi VýuZit í oblast í spektra In í segmentace spekta In í ■ spektrain í stopa spojnice koncových bodu vektoru příznaku ■ lze ji aproximovat - napr. line írn ími useký. Zaveden í uciních zpusobu výhledavan í nejbliZsího ■ metodý prohledavan í metrických prostoru ■ nutno overit, ze vzdí lenost pouzit a Redukce výpocetn ich n a roku pomoc í heuristik pri porovn a v í n í: ■ vícestupňový rozhodovací postup: porovnán i promluvy proti cel e mu slovn iku pomoc i omezen e mnoZiný př iznaku dohledan i výsledku kroku 1. pomoc i klasicke ho i ítnut í: kaZd e m kroku spoc itame vzdalenost prekroc i experimentalne stanoven ý pri h, zam ítnut. Pr í h Skryté Markovovské Modely - HMM Dialogové systémy Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá řéCi Gramatiky pro podporu rozpoznavaní řéCi Modelování řeči pomocí představy o tvorbe reci ■ Hlasové ústrojí se v krátkém čase nachází konečně mnoha artikúlačních konfigurací -hlasový signal. ■ Přejde do nasledújící vychá z í z n í sleduj íc í jedn e lotu činnost Kvantizac í akustických vektorU vSech parametrU odpovídaj ícího dosá hnout konecnosti HMM Principy pouZit í pro rozpozn á vá n í Dialogová systémy Rozpoznávaná izolovanych slov DTW HMM Rozpoznavam plynulá řéCi Gramatiky pro podporu rozpoznavam ré ci generová ny dve vz ájemne svá zán e cásove n á hodnych promennych: ■ podpurn y Márkovuv retezec - posloupnost konecn e ho poctu stávu ■ retezec konecn e ho poctu spektrí ln ích vzoru N á hodná funkce ohodnocuj íc í právdepodobnostmi vzoru k jednotlivym stávum. rozpozn á vá n í řeci jsou nejcásteji vyuz íván e levo-práve vhodn e řcásem. modelován í procesu spjátych se vzmstáj íc ím HMM Markovův proces Dialogové systémy Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá řéCi Gramatiky pro podporu rozpoznavaní skrytům Markovovým Markovův petice ■ množina stavů množina výstupních symbolů přechodů. UrCůje pravděpodobnost Case ti do stavů qj v Case t2. přechodů, ůrCůjící pravdepodobnost generovaní akůstickeho vektorů v,-, v kteremkoliv case pravdepodobností pocatecn (pravdepodobnost toho, že stav ; je pocatecní). výtvaří model recoveho např. Vintsjukuv model pro slovo - pocet stavu prumerneho poctu mikrosegmentu ve slove díelka HMM Urcen í pradepodobnosti promluvy Dialogová systémy Rozpoznávám izolovanych slov DTW HMM Rozpoznavam plynulá řéCi Gramatiky pro podporu rozpoznavaná ré ci Znacíme standardně zpracovana pocet mikrosegmentu ■ odpovídají výstupním sýmbolum. Urcen í P (O |A) - metoda výuz ívaj íc í rekurzivn í výpocet odpředu nebo odzadu generovan e HMM UrCen í pradepodobnosti promluvy - vy poCet Dialogová systémy Rozpoznavám izolovanáych slov DTW HMM Rozpoznavám plynulá řéCi Gramatiky pro podporu rozpoznavam ré ci Vypocet odpredu: právdřepodobnost přrechodu {01,Ot }(«,• Rekurzivn í vypocet: pri generován i N ,•=1 Vysledn á pravdepodobnosti ekvivalentn í z í pisu N 3 HMM Alternativní způsob výpočtu P (O |A) Dialogová systíémy Rozpoznavaní izolovanych slov DTW HMM Rozpoznavaní plynulá řéCi Gramatiky pro podporu rozpoznavaní ré ci Nevýhoda predchoz ího ■ ve výsledn e m vztahu jsou zahrnuty pravdepodobnosti vsech mozných posloupnost í stavu d e lky T. Resen í: ■ výpocet maximaine pravdepodobn e posloupnosti stavu Q. Vypocet realizovan pomoc í Viterbiova algoritmu: ■ probl e m resen rekurzivne s pouzit ím technik dynamickeho programov a n í. HMM Tré nov í n í paramétru modélu A = (N, M, n) Dialogovéá systáémy Rozpoznavam izolovanáych slov DTW HMM Rozpoznávám plynulá řéCi Gramatiky pro podporu rozpoznavaná réCi při tre noví n í párámetru C íl tre nová n í: Proble m: právdepodobnosti ánálýtická promenných Resen í: pouzít iterátivn í zjisten í globí ln ího zájistuj íc í áspoř lok á ln í Nejpouz ívánejsí postup - Báumán-Welchuv Dálsí proble m pri trenoví n í modelu: ■ vliv konecne tre novác í mnoziný: ■ C ím méns í tré novac í mnoZina a C ím véts í maticé M, t ím véts í pravdépodobnost, Zé néktéré prvky zustanou (problém chybéj íc ích/néadékvatn ích dat). HMM Rozhodovac í pravidlo pri rozpoznavan í izolovan e ho slova Dialogové syst émy Luděk Bartek Rozpoznávaná Rozpoznavam izolovan ych slov DTW ■ Pouz íví se princip maxim a ln í verohodnosti. HMM Rozpoznavam plynulá řéCi Gramatiky pro podporu rozpoznavam réCi □ Ě51 ~ - S HMM Implementace Diálogovéí systíémy Rozpoznévéní izolováníych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání íéCi Modelova n í povelu: Modelová n í fon e mů: stavů zřetězen í modelů fon e mů problémy s výpočtem v reálnem čase řešit pomoc í speciáIn ích algoritmů hledan í pro Příklady struktur pro fonémy Příklady struktur pro fonémy Rozpoznávání plynulé reCi Diálogové syst émy Rozpoznávání izolován ych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání ěréěci Hlavn í rozd ííy oproti rozpozn a va n í vytvořit datab a zi vzoru brat zretel na prozodicke urřcovat ■ vyporí d a n í se s vyplřkovymi Resen í - statisticky př ístup ■ jazykovy uzivatele. Příklad: HMM vratí ,mama" a ,,nana řcastřejřs í reci. pravdřepodobnost napřr. p nejspíše se pouzije mama je Rozpoznávaní plynulé reci Jazykové modely Dialogovéí systíémy Luděk Bírtek Rozpoznívaní ■ Mí me: réCi Rozpoznívaní izolovaníych slov DTW HMM Rozpoznavaní plynulí řéCi Gramatiky pro podporu rozpoznavaní réCi Rozpoznávání plynulé reci Jazykové modely - pokraCován í Diálogové syst émy Luděk Bárték Rozpoznévání íéCi Rozpoznávání izolován ych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání réCi Rozpoznavaní plynule reCi Rozpoznav a n í té matu Dialogovéá systáémy Rozpoznávám izolovanáych slov DTW HMM Rozpoznaváná plynulá řéCi Gramatiky pro podporu rozpoznavaná réCi Uspesnost rozpoznívíní řeci 99 % v závislosti ná ukolu, Uspesnost rozpozníví n í lze zvýsit omezen ím dom e ný rozpozní ván í: ■ rozpozní n í t e mátu ■ pouzit ím grámátik pro rozpoznáví n í reci. Zn á me temá: ■ zmená stávove ho prostoru á právdepodobnosti trigrámu: ■ napr. burzovn í zpravy - rozpozn a no moznost výtvoren í presnejs ího jázýkove ho Gramatiky pro podporu rozpoznávání reci Diálogovéí systíémy Rozpoznávéní izolováníych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání íéCi Uspesnost obecn e ho rozpozníví n í plýnule reci muze klesnout az na cca 50 %. Zvýsen í lze dosahnout omezen ím dom e ný - napr. specifikovan ím přípustných vstupu. Lze pouz ít gramatiký pro podporu rozpoznaví n í řeci: ■ bezkontextov e gramatiký Zpusobý z a pisu gramatik: ■ prostředký logické ho programova n í ■ propriet a rn í resen í ■ otevren e Gramatiky pro podporu rozpoznávání řeči Java Speech Grammar Specification (JSGF) Dialogové syst émy Luděk Barték Rozpoznávaná réCi Rozpoznavam izolovanych slov DTW HMM Rozpoznavaná plynulá řéCi Gramatiky pro podporu rozpoznavaná réCi ■ i uuz.il napi . v i y i la voli —r, vuilc/\ivil intepreteru VoiceGlue, ... ■ Podrobneji v 2. polovine semestru pri prob írá n í tvorby dialogových rozhran í. Gramatiky pro podporu rozpoznávání reci Ukazka JSGF Dialogové syst émy Luděk Barték Rozpoznávaná íéCi Rozpoznavam izolovan ych slov DTW HMM Rozpoznavam plynulá ěéCi Gramatiky pro podporu rozpoznavam ÍéCi = ; = ; Gramatiky pro podporu rozpoznávaní reči W3C Speech Recognition Grammar Specification (SRGS) Dialogové systémy Luděk Barték Rozpoznávaní feci Rozpoznávání izolovaných slov DTW HMM Rozpoznávání plynulá ěéCi Gramatiky pro podporu rozpoznavaní ré ci ADI Ml (AUgmCMLCU UNIj. ■ Podrobněji v 2. polovině semestru pri prob írán í tvorby dialogových rozhran í. Ukázka W3C SRGS Diálogové syst émy Ludéěk Bárték Rozpoznévání ěréěci Rozpoznávání izolován ych slov DTW HMM Rozpoznávání plynulé ěéCi Grámátiky pro podporu rozpoznávání ěréěci □ S1 ~ - '■ Dialogové systémy Luděk Barték Sémantická interpretace promluvy Řízení průběhu dialogu Popis dialogových rozhraní Simulace dialogových systemu Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Sémantická interpretace promluvy Dialogové systémy Sémantická interpretace promluvy Řízení průběhu dialogu Popis dialogových Simulace dialogových systemu Cíl - počítači srozumitelná zadaných uZivatelem. Příklad: Chtel bých si koupit Zkrocení zle Zený nakup Zkrocení zle Zený informací pravidlum gramatiky pro rozpoznavaní reci pridame kterých ukladíme jejich semantickou s emantick e jednotlivých provadet cel e slouzící k sestavení interpretací Popis Sémantické Interpretace Dialogové systémy Sémantická interpretace promluvy Řízení průběhu dialogu Popis dialogových Simulace dialogových systemu přirazena pomocí znaCek zapis - {sémantická zle Zeny}|. Základní pojmy Dialogové systémy Sémantická interpretace Řízéní průběhu dialogu Popis dialogových Simulace dialogových system U účastn ík v íce účastn íku Souvislé sdělen í, ktere učin í směrem k druhemu. druh e ho učastn íka Dialogová který k dan e promluve přiřazuje ní sleduj íc í vlastnost í každ e ho účastn íka J Dialogové systémy Základní pojmy Dialogová komunikace Sémantická interpretace promluvy Řízení průběhu dialogových Simulace dialogových systemů Hodnotící funkce: ■ funkce přiřazující každému dialogu reálné Číslo. ■ Oznacuje se E(L), kde L je dialog. Dialogová komunikace - Uspořadana ctveřice Si,; € {1, 2} - dialogova strategie přísluSneho ucastníka. Ei,; € {1, 2} - hodnotící funkce příslusneho ucastníka. Základní pojmy Kooperativita dialogu Dialogové systémy Luděk Barték Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systemů Kooperativní <■=> stejný cíl a snaží Nekooperativní odliSují S nulovým souCtem <■=> dialogu jsou protichUdne o hodnocenívýchazí pohlížet C íle ůcastn íků ůcastn íků. Pravidla pro vedení kooperativního dialogu Dialogové systemy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systémů Dialogový systém by se mel snazit o kooperativní anglicky jazykovedec. přimerene informativní - ne mene nezje potřeba, více nez je potřeba. presvedčivosti: Neuvadej nepravdive Neuvadej informace, ktere nelze dokazat nebo dolozit. způsobu: mela byt co nejvíce explicitní. Vyhybejte se nejednoznacnostem. strucnost. disciplinovan í, udrzujte v dialogu porí dek. as Pravidla pro veden í kooperativn ího dialogu pokraCován í Dialogovéé systéémy Luděk Bárték Séémantickéa interpretace promluvy dialogu Popis dialogových rozhraní Simulace dialogových systemu jl Informujte uživatele o vsech důležitých charakteristikách, ktere výbocuj íž ocekávan e ho norma In ího průbehu dialogu, 2 1 Zajistete strucn e , avSak dostatecn e informova n í uživatele o možnostech sýst e mu a jeho omežen ích. se sýst e mem. Pravidla pro veden í kooperativn ího dialogu Komunikace člověk — počítač Dialogové systémy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových system ů znalost í a schopnost í: Vezmete v úvahu relevantn í znalosti uZivatele. úvahu moZn e uZivatelovy chybn e nezi zac ínaj íc ím a zkusenym uZivatelem Vezmete \ Rozlisujte syst emu. Vezmete uvahu legitimn í predstavy uzivatele syst emu. vyjasnova n i a odstranovan í případe selh a n í zajistuj íc í odstranen í chyby nebo jej í vysvetlen í. Zajistete vysvetluj íc í meta komunikaci v př ípade nejednoznacnych uzivatelovych Aspekty komunikace kooperativního dialogového systému Dialogové systémy Luděk Barték Sémantická interpretace promluvy Řízení průběhu dialogu Popis dialogovíych rozhraní Simulace dialogovíych systemu ■ aspekt znalosti a schopnosti uživatele ■ aspekt vyjasnová n í a odstranovan í chyb. Iniciativa v dialogu Dialogové systémy Sémantické interpretace Řízení prUběhu dialogu Popis dialogovíych Simulace dialogovíych systíem u člověk — poč ítač Reálné systěmy použ ívaj í: stratěgi í jedn é iSit: Iniciativa v dialogu Príklady Dialogové sýstémý Séemantickéa interpretace Řízení pruběhu dialogu Popis dialogovéych Simulace dialogovéých sýstéem u Syst em: Uřzivatel: Syst em: syst emu: Vařse uřzivatelsk e jm eno ,,Muj Uzivatel: Můj sm iřsenou Uřzivatel: Chtřel možné ověřit řekněte větu: můj pas. Ověř si mé." mUj pas. Ověř si mé. Syst em: nalézt přímý s přestupy? UZivatél: Chtél bých jét béz přéstupU Sýstém: Jé mi líto, alé přímý néjézdí. spojéni ... Zpětná vazba v dialogovém systému Dialogové systémy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systemů Před t ím, neZ syste m vhodn e provést z ískan e rozpoznáván i reci uživatele Způsoby ověřen í z ískaných ■ Sumarizuj íc í zpetna uživatelem ■ Zpetný uzivateli ■ Implicitn í zpetný souCast í ■ Explicitn í zpetn a zad á n í veškerých prípadne umoZn í zad á n í kaZd e ho Údaje moZnošt pr ípadn e posledne zadana nasleduj íc í Údaj. šýštem validuje zadana pomoc í explicitn ích dotazů Zpétn á vazba v dialogové m systému Příklady Dialogoveí systíemy Síemantickía interpretace Řízení průběhu dialogu Popis dialogovíych Simulace dialogovíych systíem u Sumárizuj íc í zpětná UZivátěl Syst ěm: Hlědán y c ílová Zpětná Syst ěm: Uzivátěl Syst ěm: Uzivátěl Syst ěm: Uzivátěl ... Zpětn á vazba v dialogové m systému Příklady Dialogové systémy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systíem u Implicitn í zpětná Syst ě m: Jm ě no UZivátěl: Ján Novák. Syst ě m: Vě kterě m městě Nov ák Explicitn í zpětná Systě m: Zádějtějm ě no UZivátěl: Ján Novák Syst ěm Nov ák ... ... Ukázka opravného dialogu Dialogové sýstémý Sémanticka interpretace Řízení průběhu dialogu Popis dialogovíých Simulace dialogovíých sýstemů Uživatel: Syst e m: Uživatel: Syst e m: Uživatel: Syst em: Hora k žadá no jm e no Jan Nova k m ísto narožen í jm e no je Jan Horá k. jm e no Jan Horná k m ísto jm e no má b yt jm eno m ísto narožen í narožen í Nova k Nová k, narožen í Dals í aspekty dialogových strategi í Dialogoveí systíemy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových sýstemů uživatelem posledn í Moznost přerusit syst e m. Moznost iniciovat korekce a metakomur Uzivatel: Mohl, byste prosím zopako Moznost z íska n í na povedy: Uzivatel: Mohl byste mi upřesnit pozadovan e udaje? znalost í a schopnost í uzivatele: Castecně lze odvodit z předchozího pmbehu ■ poCet chyb uživatele ■ poCet žádost í o nápovedu ■ Uzpusoben í iniciativy dialogové ho syst e mu. Přizpusoben í dialogove strategie - např. uzivatel spechu, vystresovany uzivatel, .. . ve DalSí aspekty dialogových strategií Dialogové systemy ■ Detekce emoc í uživatele: Luděk Bértek Semanticka interpretace promluvy Řízení pruběhu ■ dialogu Popis dialogovíych ■ rozhraní Simulace dialogovíych ■ alternativn í zpUsob vstupu: systíem u ■ klávesnice ■ snímání obliCeje ■ . . . ■ zdvořilost ■ prozódie ■ Typické chyby systému Dialogové systemy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových system U rozpoznané komunikačního rozhraní: ■ chybné rozpoznaní reči ■ chybna sémantická Technické chyby: ■ problémy spojené s komunikací pomocí V ■ chybné paramétry HW a périférií Chyby v dialogové stratégii. Chybna funkcé aplikacé (řésicé problémU). Chybné funkcé dalších modulU systému. Typické chyby uZivatélé Dialogové sýstemý Semanticka interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových sýstemu Současna odpoveď Syst e m: Ktery Uživatel v áce ot a žek, než je položeno: Z átra analyžy Odpoveď' Syst em: Uživatel poždeji rychl ákem ž Brna do Vset ána. poúžit ám rúžnych žpúsobú úrovne žnalost á uživatele. otažkú, než která je položena: Kter y Chtěl dne. Na sledovat by mel nab ádkoú resen á pro nejbližsá dula Typické chyby uživatele PokraCování Dialogové systíemy Sémantická interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systémů Nedostatecná odpoved' na ot í zku Syste m Uživatel: Chci jet do Vídne ■ Syst e m, pokud je schopen lokalizovat uživatele uživateli nab ídnout spojen íz jeho aktuí ln í uřzivatele Odpoved' na jinou otazku, nez je polozena Syst e m: Ktery Uzivatel: Chtel bych jet nekdy System může uživateli odpoledn ích spojen í Typické chyby uživatele Pokračování Dialogové sýstémý Sémanticka interpretace Řízení průběhu dialogu Popis dialogových Simulace dialogových systémů Ignorován i Syst é m: Z a dn é spojen í jiny cas. musi. UZivatel: Néco Odbočení Systém: Vítejte v automatickém systému z íska n í informac í o dopravn ích spojen ích. ... Nástroje pro popis dialogových strategií Dialogové systémy Sémantická interpretace promluvy Řízení průběhu dialogu Popis dialogových Simulace dialogových systíem u Proprietami řešení zápis dialogové využit beZné programovaci ■ Nástroje logického programování ■ Proceduráln í programovací Specificke znaCkovaci Otevřene Proč simulovat dialog? Dialogové systemy Semanticka interpretace promluvy Řízení průběhu dialogu Popis dialogovíych Simulace dialogových systémů Testova n í návrhu ■ nelže provadet až ■ Casova naroCnost nove ■ velká pravděpodobnost zanesení nových chyb. ■ Testova n í v dobe ní vrhu umožnuje vcasn e podchycen í odstranen í slabých m íst v komunikacn ím rožhran í (viž predchoží a Způsoby simulace dialogových systémů Dialogové systémy Séemantickéa interpretace promluvy Řízení pruběhu dialogu Popis dialogovych Simulace dialogových systémů člověk — člověk: provádí dva lidě — snaží dialogověho systěmu průběh dialogu jě protokolovan. těxtově formě: psaně žažnamy mluvěnych dialogů těxtově simulacě mluvěnych dialogů prostřědnictvím chovaní Způsoby simulace dialogových sýstemů Síemantickía interpretace promluvy Řízení pruběhu dialogu Popis dialogovíych rozhraní Simulace dialogových systémů PouZ ívaj í s aby z ískal dialogoveho systemu skryte simulovana clovekem. testovane dialogove rozhrani- drži testovan e dialogov e strategie. dostupn y prototyp, může jej pouZ ít výstupy syste mu, př ípadne uZivatelske Uživatel by se nemel dozvedet, Ze komunikuje s clovekem prostředky, kter e modifikuj í poC ítáCove" zbarven í, . . . oper a tora, Simulace metodou WOZ PoZadavky Dialogoveí systíemy Síemantickía interpretace promluvy Řízení pruběhu dialogu Popis dialogovíych Simulace dialogovíých sýstíem u funkcn í dialogovou strategii DS a požadavký uživatele, jake akce m a s dialogový m sýste mem provadet. Rožhodnut í, jake modulý budou simulova ný a jaký m žpusobem: ružných chýb (napr. rožpožní va n í řeci) s emantick eho analýžatoru uživateli predst írat Rozhodnut í, zda a do jake m íry komunikace s realn ym syst emem. Reprezentativn í vyber uzivatelu: ■ vyber by mel rozlozen ím odpovídat rozlozen í kategori í v c ílove skupine uzivatelu. Simulace metodou WOZ Požadavky Dialogové systemy Semanticka interpretace promluvy Řízení pruběhu dialogu Popis dialogovíych Simulace dialogovíých sýstíem u č íl: testová n í dialogových strategi í sber dat do dialogové ho korpusu testova n í modulu pro osetren í chybových stavU Vhodn ý vý ber operatora - mel ■ dobre zní t testovaný sýst e m ■ dobre zní t omezen í jednotlivých sýst e mu. by: prápadná rožhran á. testovan eho Zpúsob aplikačn á dialogove ho syste mú Dialogové systémy Luděk Barték Dotazovací systémy pro relaCní databáze Databáze, atributy a vyhledavači stromy Dialogová systemy a emoce Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Dotazovací systémy pro relační databáze Dialogové systémy Luděk Barték Dotazovací systémy pro databáze Databáze, atributy a vyhledavači stromy ■ Struktura databáze je určena relačním schématem (systémem atributU). Dialogové systémy a emoce ■ System se snaZí na zaklade uZivatelem zadaných hodnot atributu (ne nezbytne vsech) nalezt poZadovanou odpoved'. Pawlakův informační systém Dialogové syst émy Dotazovací systémy pro Dialogové systémy a polský clen polské Akademie ved Pawlakův informační sýStem - čtveřice množina objektů množina atributů množina hodnot atributů J x T — V Pawlakův informační SýStem formálne dialogovými sýstemý - hledaní minimální atribůtů, ktere nam ůrčůjí jednotlive Databa zé atributy a vyhléd ava stromy émocé Pawlakův informační systém Příklad Dialogové systémy Luděk Barték Dotazovací systémy pro Dialogové systémy a Databáze atributy a vyhlédava stromy émocé Pawlakův informační systém Vyhledávací strom Dialogové systémy Dotazovací systémy pro Dialogové systémy a strukce vyhledávacího stromu pro Pawlakův Postupně bereme jednotlivé atributy obsažené ptáme se na jeho přítomnost (hodnotu). Listy jsou jednotlive prvky, uložene v IS. /islost s dialogovým rozhraním (s iniciativou systemu): Na každe urovni stromu se ptíme na hodnotu/přítomnost odpovídajícího atributu. Uživatelova odpoved' určuje pokracovíní použít i dialog se smíšenou iniciativou: Uživatel žada hodnoty libovolneho poctu atributu. System odpoved' žpracuje a dopta se na chybející Databáze atributy a vyhlédava stromy émocé Pawlakův informační systém Příklady vyhledávacích stromů Pawlakův informační systém Zajímavé problémy Dialogove syst emy Dotazovací systemy pro Dialogove systemy a emoce Z dan e ho syste mu atributů vybrat minim a ln í syste m jednoznačně rozlisuj íc í jednotlivé m Bylo dokí zí no, Ze tento probl e m je NP-ůplný. Na z a klade atributů vybrat optim a ln í vyhledavač í ■ Krit e rium - napr. výska stromu - probl e m je opet NP-upln y. Existuj í aproximativn í algoritmy. Ě51 ~ - 5-0^0- Databa ze atributy a vyhled ava stromy Dialogové systémy a emoce Dialogové systémy Luděk Barték ■ Poc ítače pracuj íc í s emocemi - poc ítače, které maj í Dotazovací systémy pro relaCní databáze chová n í podle emoc í uživatele. Databáze, atributy a ■ Schopnost urCit emocionáIn í stav uživatele - přižpUsoben í vyhledavači stromy Dialogová systemy a ■ klidný uživatel vs. spechaj íc í uživatel emoce ■ klidný uživatel vs. rozčilen ý uživatel ■ rostouc í napet í uživatele Dialogové systémy a emoce Oblasti využití Dialogové systémy Luděk Barték Dotazovací systémy pro ■ Dialogova rozhraní informačních systemu - relaCn í databáze Datab é ze, atributy a vyhléd avací stromy Dialogové ■ Umělá (počítačová) empatie. systé my a émocé ■ Automobilově systěmy. ■ Systěmy bojových letadel, vrtulníku, simulace vojenských operací. Co jsou to emoce? Dialogové systémy Dotazovací systémy pro Dialogové systémy a Dělení emocí: ■ Primární (základní) vySsích ZivoCichů. ■ Sekůndárn í (vySSí) -estetické; mohoů se liSit Velkých Sest - hněv, zklamání překvapení. vyskytuj í se ů vsech lid í a ů c á sti byt intelktů a ln í, mor a ln í jednotliv ymi Stestí Databáze atributy a vyhlédava stromy émocé a Emoce DalSí autori Dialogové syst émy Luděk Bartek Dotazovací systémy pro žoufalství, strach, nen avist, nadeje, laska, smutek. relaCn í databazé Datab á zé, atributy a vyhléd avací stromy Dialogové ■ Frijda - touha, stest í, ž íjem, překvapen í, udiv, ž í rmutek. systé my a émocé žíjem, potesen í, hanba, překvapen í. Emoce Centra výzkumu Dialogové systémy Dotazovac ľ systé my pro Dialogové systé my a Databaze atributy a vyhléd ava stromy émocé Zjišťování emocí Zjišťování emocí pokračování Zjišťování emocí Rozdíly charakteristik Hnev/Smutek □ g - "a Zjišťová n í emoc ř IBM Blue Eyes Project Výrazy tvare - Yale Face Database Vyrazy tvare - Yaie Face Database Dialogové systémy Luděk Barték Dialogové systémy Ludek Bartek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Konečně stavová analýza dialogových systémů Motivace ■ Sjednocení přístupu k dialogovým strategiím a uživatelským modelUm. ■ teorie automatU a formainích jažýkU Matematický model dialogu Pragmatika dialogu Dialogové systémy Luděk Bérték teorie řečových aktů dynamické semantiký dynamické epistemicke logiky model ůzivatele/ů model prostředí Pragmatika dialogu Příklady Dialog jako Pawlakův informační systém X - množina objektů IS. T - množina jejich atributů. Modelování dialogu Mealyho automat Q - neprázdná množina stavů ■ Y - konečná výstupní abeceda Modelování uživatele Poker Dialogové systémy hráči sázejí Zá kládn í Bánker (rozdávaj íc í Hráči ná zá kláde s ílu ktere drZ í rozdí káZd e mu hrí či ktere jim byly rozdí ny určitou částku s případnou výmenou nehodí a bud' dorovnat poslední sázku kter e zvýsit. ■ SloZit kartý. Jákmile vSichni pouze dorovnáj í posledn í návySenou sí zku poprípáde sloz í vsichni hrá či, áz ná jednoho, hrá konč í á v prípáde, ze zustálo více ják jeden hrá č, potom ten, ktery mí vyssí hodnotu káret v ruce, vyhrá vá veskere vsázen e pen íze. Pokud neslozil pouze jeden hráč, je tento vítezem dán e hry. Poker pokračování ■ Při použití dobré strategie lze vyhrát i s velmi nízkými ■ minimalizace neverbálních projevU ■ vhodne zvolená strategie prihazoví n í, která bud í zdí n í, že ■ vyhnut í se podobn e strategii v ná sleduj íc ich hrach - nemělo Poker Konečně stavová analýza ala dialog ■ AS2 - celková výše sázky Poker Hodnoty atributu stavu hry Dialogové systémy celkova výSe sazký důvera ve vlastní protihráčovi hračova Poker Atributy dialogových proslovu (množiny Ax) Dialogové systémy sebeduvera Poker Fragment vnitřních stavů Dialogové systémy S1 ~ - 5-0^0- Poker Fragment promluv dialogu Dialogové systémy Luděk Barték fA2Ř Basa mši Poker Ukazky dialogových strategií ■ Zkušený hráč: ■ Začátečník: □ ť5> - - Dialog a strategické hry ■ Strategická hra obsahuje mnoZinu hráčů. ■ KaZdý hráč má mnoZinu akcí (strategií). Strategické hry Vězňovo dilema Dialogové systémy Strategická hra dvou hráčů. Předpokláda, Ze kaZdy hrac se stara především o svůj prospech. Simuluje vysetrování zločinu, ze ktereho jsou podezrelí lidáe. Vřezřnovo vezni mlčí kratsímu trestu (napr. mlčí a druhy se přizní ktery mlčel jiní, mensi kterí se priznal, maximalnímu začhova partak? polovičním dva je Přístup jestřáb-holubice Dialogové systémy jestrab jestřá b rS1 ~ ► < 3 ► 3 Strategické hry s podobnou výplatní fůnkcí ■ Vaika pohlaví ■ Manžele preferují společně stravený Cas. Co budeme delat Iterované strategické hry ■ Příklady: ■ iterované vezřovo dilema ■ iterovaní hra "Vílka pohlaví" Iterované vězňovo dilema Strategie Vždy vždy se přiznat dříve zachoval spoluhrá c (naivn í m írotvorce) Vždy zradit - vždy zap írat. možnost v předchoz ím ko spoluobviněny předchoz ích pravděpodobnost í Iterované prostorové vežňovo dilema ■ Po skončen í hry objekty v závislosti ná výsledku men í ■ Chová n í kolonie strátegi í je nerozhodnutelny proble m. Aplikace strategických her ■ strategickí rozhodnutí v žajmu statu. □ ťS1 ~ - '■ Generová n í dialogových rožhran í ž korpusU Dialogovéé systéémy Ná z á kláde diálogov y diálogu kter y dán emu Vytvor íme ,,čárodej"). Odstrán íme konflikty á převedeme rozhrán í. Kombinováne vytvoríme novy máxim á lne vyuz ívát návrzen e diálogove diálogove čárodej" se snáz í diálogove rozhrán í. rozhrán í v porá dku, konč íme, pokráčujeme S1 ~ - 3-0^0- Dialogové systémy Luděk Barték Dialogové systémy Ludek Bartek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Generování promluv dialogovým systémem ■ Generátor promluv získá od dialogového manažeru informace, které maj í bát sdéleny uživateli. ■ Generátor promluv musí vytvoř í korektn í vetu v jazyce, ■ doplnen í prezentovan ych informac í do předem připraven ych Syntéza řeči ■ Výsledná řeč by mela znít co nejpřirozeněji. ■ správne umístení prízvuku ■ slovní ■ větný ■ správný rytmus (časování) ... □ ťS1 ~ - '■ Druhy syntézy reci ■ Syntéza ve frekvenční oblasti - simuluje chování řečového ústrojí. ■ Synteza v časove oblasti - spojovaní řečových segmentu databáze řečových segmentu slouZí řečový korpus. ■ Problemove orientovana synteza: ■ príklady: ■ automatizovane linky telefonické podpory ... Fáze syntézy řeči Dialogové systémy Fonetický přepis Syntéza fonetický přepsaného ■ Synteza ve frekvenční oblasti - volba průběhu parametrů syntezy (FQ/generátor Sumu, vySSí harmonicke Synteza v Casove spojení. Případny ■ doplnení ■ doplnení přízvuků vyber vhodnych segmentů 1 1 2 a 3 ... Fonetický prepis ■ Slouží k přesnému, jednoznačnému zápisu mluvené řeči. ■ sedmibitový prepis IPA ■ příklad: IPA Ukázka Foneticky prepis ■ Nutno zabezpečit automatický prepis. ■ Pravidla fonetického prepisu: ■ Obecne prepis nemusí pouzívat vsechny znaky dane Pravidla fonetického prepisu češtiny be — bje, pe — pje, fe —>fje, ve — vje ■ de— d'e, te— te, ne— ňe, me— mňe ■ x — ks — začátek slova pred samohláskou, mezi samohláskami nebo pred neznelou souhláskou a nebo na ■ exsamohláska m pred znělou souhláskou Změny při spojování souhlásek ■ Dochází k nim pri spojování souhlásek. ■ ZpUsobeny přenástávováním mluvidel. ■ spodobá znelosti - zmená znelosti párových souhlásek: ■ spodobá ártikuláCní - při spojení dvou souhlásek s rUznou ártikulác í: dň - odpovědně, sto dní, vodní tS — C ds —¥ c dS — C Syntéza řeči ve frekvenční oblasti ■ Uchovává se: ■ frekvenčních generátorů ■ filtrů ■ zesilovače (zesilovačů). ■ Využívají se dva způsoby kódování zdroje: ■ řečov á synt eza formantové ho typu ■ LPC řečova synteza. Rečova syntéza formantového typu Dialogové systémy hlasoveho traktu pomocí seriovych spojení nekolika rezonancních obvodu. sírky pasma jsou ovladíny syntetizeru: zíkladní rízení zisku/zesílení Schéma sériového formantového syntetizéru Dialogové systémy Počítač Generátor Řízení pulsů úrovně u: Nazální formant Rezonanční filtr Řízení úrovně Mixér Reč Generátor Formanty konsonantů Řízení bílého šumu úrovně Obrízek: Blokove sčhema serioveho formantoveho syntetizeru LPC syntetizér ■ perioda zakladního hlasivkoveho tonu To ■ charakteristika hlasky - znelí/neznela ■ Zpusob z íska n í koeficientu Císlicove ho filtru: ■ vrcholy v LPC spektrílní obalce analyzovaneho ■ koreny charakteristicke rovnice zdrojoveho filtru Sch ema LPC syntetiz eru Syntéza ve frekvenční oblasti Shrnutí Vy hody a nevy hody syntezy ve frekvenCn í + Mal e pametove n a roky - model pouzit e ho mluvC ího. + Syntezu lze realizovat hardwarove. - Hlas byví m e ne přirozený oproti synt eze v Casove ■ Problém presnosti matematického modelu. - Softwarova synt eza ve frekvenCn í oblasti byva vypoCetne narocnejsí nez synteza v Casove oblasti. Obvykle vyuzití: ■ doplnení syntezy v Casove ■ vétnou intonaci ■ vétny a slovní prízvuk ■ dalSí prozodické faktory. ■ ObCas pro synt ezu na zarízen íCh, ktera nedisponuj í dostatečnou kapadtou pameti (mobilní VíCe napr. řeCí poCítaCem Syntéza v časové oblasti ■ Cíl - převod obecného textu na řeč. ■ Využ ívaj í se rUzn e de Iky zakladn ích segmentU: ■ VetSí: ■ větší paměťové nároky - větší množství segmentů ■ příklady segmentů - slova, Časti vět, věty, . . . ■ MenS í : ■ horsí možnost modelování prožodickych jevů (větná ■ mensí pamětove níroky - mensí množství mensích segmentů. PouZívané řečové segmenty ■ Alofóny: ■ poziční varianty fonémů - obsahují ■ foném ■ okolí ovlivněné koartikulací. ■ počet alofónů - n3 (n - počet fonémů). ■ Difóny: ■ začínají uprostřed jednoho fonému a končí uprostřed naslédujíčího fonemu ■ počet difonu - n2 ■ často vyuZívane pro syntezu i pro rozpoznóvóní (např. Používané rečové segmenty ■ Trifony: ■ Začínají uprostřed leveho sousedního fonemu a končí uprostřed praveho sousedního fonemu. ■ Často pouZívane pro rozpoznívíní a syntezu ňeči. ■ Delka - 1 — 3 fonemy. ■ Vyuzíva se napr. v TTS systemu Demosthenes. Synteza v časove oblasti Slabika ■ Nejmensí organizacní jednotka reci. ■ funk-Cn í vs. funkC-n í Synteža v časove oblasti Struktura slabiky ■ samohláska resp. dvojhláska ■ jedná se větsinou o jednu nebo více souhlásek. □ S1 ~ - '■ Sýnteza v Casovem pásmu Slabicne segmenty ■ Definovány umele: ■ Frekventován e slabične typy: ■ V (samohláska/dvojhl á ska) - u - kol ■ KV (souhl a ska-samohlá ska) - vo - da ■ Použ ívaj í se např. v syntetize ru Demosth e nes (doc. Kopeček, LSD FI) □ g - "* ľ Vlastní synteza i Fonetický přepis. 3 Vyber odpovídaj íc ích akustickych segmentů z db segmentů. 4 Spojen í segmentů ■ Nutn e, aby bylo mozne spojit e hladke navazan í segmentů: sobe jdoucích segmentů konců oboů segmentů. 5 ■ doplněn á prozódie. ... Syntězá v cásově oblasti Korpusová analýza ■ Konkátenátivn í syntezá v Cásove oblásti. ■ Jáko dátáb á zi segmentu vyuz ív á řeCovy korpus. ■ fonetický prepis daně reCi ■ hranice reCových segmentu ■ prUbeh F0 a prípadne i dalsích formantu. ■ Umoznuje přesnejsí vyber recovych segmentu: Synteza v časove oblasti Syntéza na bazi rámců Dialogové systémy syntíezu. Vetsinou se jedna o problemove Synteza se skladí z: ■ ramCu - nemeníCí se Casti vet ■ slotu - meníCí se Castí promluvy. Vyhody: ■ RímCe jsou dopredu namluveny a mohou obsahovat intonaCi. ■ Syntetizuje se pouze obsah slotu: ■ velmi dobre specifikovaná mnozina slov ■ lze pouzít cela slova. Příklad: ■ hl a sen í nadrazního rozhlasu: Osobn í vlak C íslo číslo vlaku ze smeru stanice prijede k Číslo nástupiště nastupisti v čas. Dialogové systémy Luděk Bártek Postprocessing Prozódie Standardy pro syntézu íeCi SABLE SSML Dialogové systémy Ludek Bartek Laboratoř vyhlédóvanÍ a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Syntéza řeči - postprocessing Dialogové systémy Luděk Barték Postprocessing Prozódié Standardy pro syntéézu ré ci SABLE SSML ■ Cíle dodatečného zpracovaní - obohatit syntetizovanou řeč o: ■ intonaci ■ prízvuky (vetn y, slovn í) ■ durazy ■ prest a vky. ■ Prostředky - modifikace: ■ F0, případne dalsích formantu ■ lok a ln í modifikace vetne melodie. ■ intenzity - amplitudy. Prozódie Úvod Dialogové systémy Luděk Barték Postprocessing Prozodié Standardy pro syntéézu ré ci SABLE SSML ■ Výstup syntézy je monotónířeč bez intonace a prízvuku -zní nepřirozene. ■ Náprava - doplnení prozodie. ■ Základní prozodicke prvky: ■ výSka řeci ■ hlasitost ■ doba trvání. ■ Zíkladním nositelem prozodie v bezne řeCi je slabika. ■ Prozodie z a visí na typu vety: ■ oznamovac í, t í zac í zjistovací, rozkazovac í - klesaj íc í intonace ■ otízka doplřovací (odpoved' ano/ne) - rostoucí intonace. ■ Modelova n í prozodie - modulace F0. Ukázky větné intonace Dialogové systémy Luděk Bérték Postprocessing Prozodié Standardy pro syntéézu ré ci SABLE SSML ■ Oznamovací veta ■ Otázka zjišťovací □ rS1 ~ - '■ Výška základního tónu Dialogové systémy Luděk Barték Postprocessing Prozódié Standardy pro syntéézu ré ci SABLE SSML ■ Výška základního hlasivkového tónu odpovídá formantu F0. ■ PrUbéh F0 na vokalickém jadru býva néliéární. ■ Zména intonace není pouhou zménou F0 - nutno modifikovat i výšší formanty. ■ Na zaklade duléZitosti F0 se jazýký délí na: ■ tonove (Čínština, vietnamština, . ..) - Čínske slovo -ma- v zavislosti na pmběhu F0 muze znamenat: ■ matka ■ konopí ■ kůn ■ nadávat ■ jazýký s melodickým přízvukem (srbstina, slovinstina, litevstina, norstina, svedstina, . ..) Prozódie Dals í prozodicke vlastnosti Dialogové systémy Postprocessing Standardy pro syntézu řeči signálu v danem časovém ■ fyzikální okamžiku ■ fyziologicky pohled - reakce vnitřní Ustrojí) na vnímaný zvuk ■ tato hlediska se rUzní: ■ subjektivn í vn ím a n í zvuku neodpov íd a ani v prvn ím pribl íZen í fyzikaln í intenzite signálu. Doba trvaní: ■ Slabika mUze mít rUznou delku trvání v rUznem kontextu. ■ Drobne odchylky mohou být i ve stejnem kontextu. ■ Typicka doba trvíní slabiky - 50 — 200 milisekund. SABLt SSML Prozódie Další prozodicke vlastnosti Dialogové systémy Luděk Bérték Postprocessing Prozodié Standardy pro syntéézu ré ci SABLE SSML ■ zbarvení tónu ■ ochraptelost ■ míra znelosti H ... ■ Rychlost reci ■ Lze chópat jako převracenou hodnotu prUmerne delky slabiky. ■ Lze merit i jinymi zpUsoby: ■ poetem vyslovených textových znaků za jednotku času (vyhodnocování syntetizérů řeči). Prozódie Další prozodicke vlastnosti Dialogové systémy Luděk Bérték Postprocéssing Prozódie Standardy pro syntézu reCi SABLE SSML ■ tichá ■ vyplněná - obsahuje nějaký charakteristický zvuk: ■ eeh ■ ee ■ . .. ■ Zavahaní ■ Prímo vypovída o pragmatice projevu. ■ DUleZitý napr. pro modifikaci dialogove strategie u dialogovíych systíem u. ■ Typický prípad informace obsaZene zejmena v prozodicke vrstve jazyka. Prozódie Základní odvozené prozodické vlastnosti Dialogové systémy Postprocessing Standardy pro syntézu reci prozodický odvozený trvaní daném Časovém úseku Slovní prízvuk ■ odvozen ze vSech základních atributU ■ je výrazne jazýkove závislý: ■ umísténí prízvuku ve slové/prízvuCné jednotce ■ m íra pouzit í prozodických prostředků k jeho vyá rření-zejm é na pouzit í hlasitosti oproti výsce. Vetný prízvuk (intonační centrum) ■ zjednoduSene jde o prozodicke zvýraznení jadra výpovedi vetý. SABLt SSML Prozódie Základní odvozené prozodické vlastnosti Dialogovéé systéémy Ludé k Baérték Postprocéssing Prozodié Standardy pro syntéézu ré ci SABLE SSML ■ časová závislost základní hlasové frekvence ■ lze zobrazit grafem v závislosti na čase ■ související terminologie: ■ melodie - průbeh F0 ■ kadence - určena napr. důrazem, . . . ■ intonační kadence ■ melodem - zakladn í melodickeho průbehu určen ý na zaklade jeho gramaticke funkce. ■ průbeh F0 Prozódie Základní odvozené prozodické vlastnosti Dialogové systémy Luděk Bérték ■ Emotivn í zabarven í hlasu Postprocessing Prozódié Standardy pro syntéézu ré ci SABLE SSML strategii. ■ Emfatický př ízvuk ■ Vytvářen emotivn ím zbarven ím hlasu. ■ Výskýtuje se např. ve vet á ch pronesen ých v situac ích s výrazn ým emocioná In ím kontextem: To je tedý opravdu neslýchané. Bol í to jak čert. Prozodie Základní odvozené prozodické vlastnosti Dialogovéé systéémy Ludé k Baérték Postprocéssing Prozódié Standardy pro syntéézu ré ci SABLE SSML ji u i^i i\y v i\\_/i i li ujiu oj i i ty i i i vy v ^.....v_ i,/ \_/ jiui^i i\wu ■ Řekl jsem do Šakvic ne Rakvice." Byte ne bit." Prozodié Základní odvozené prozodicke vlastnosti Dialogovéé systéémy Luděk Barték ■ Opakování Postprocessing Prozódie Standardy pro syntézu réCi SABLE SSML ■ Prozodický atribut silne svázaný s mluvčím. ■ Opakování bývá často variantou výplňkových částí promluvý ■ mluvCí si ji Často ani neuvedomuje ■ nezaménovat s koktan ím - porucha reCi. ■ Výplňkove časti ■ Krome výplňkove funkce mohou charakterizovat: ■ styl mluvC ího: ,,Byl jsi včera na akci, vid'?" ■ nareč í resp. slang: ,,Vole, ta včerejs í sparka byla ale husta, co vole?" □ g - "s s ^t\r> Prozódie Základní odvozené prozodicke vlastnosti Dialogové systémy Postprocessing Standardy pro syntézu íeCi Přerušení ■ častý jev v mluvené řeči na Úrovni: ■ vySSích celků (výpoéd'/promluva, véta, prozodická fráze, ■ ůvnitř slov. Míva návaznost na další prozodicke prvký: ■ zavahaní ■ opakovaní ■ vyplnenou paůzů SABLt SSML Základní odvozené prozodické vlastnosti Dialogové systémy Luděk Bérték Postprocessing Prozodié Standardy pro syntéézu ré ci SABLE SSML ■ důsledek přeřeknut í ■ upřesnen íC í sti promluvy ■ oprava predchoz í C a sti promluvy. ■ Často nasleduje prerusení nebo dalsí prozodicke jevy. Prozódie Prozodicke segmenty mluvene reči Dialogové systémy Postprocessing Standardy pro syntézu íéči kompaktn í, Prozodická fra ze ■ Skupina slov vytvářej íc í jednotný intonaCn í ■ Představuje zakladn í, z prozodick e ho strukturu. ■ Členen í do prozodickych fra zí souvisí ve velk e m íČe se syntaktickou strukturou odpovídaj íc í vety. Pč ízvukovy takt ■ Skupina slabik podrízení jednomu slovn ímu prízvuku. ■ V cestine typicky slovo nebo slovo a jednoslabicn e slovo. Slabika. SABLt SSML Standardy pro syntézu reci Dialogové systémy Luděk Bérték Postprocéssing Prozódié Standardy pro syntéézu ré ci SABLE SSML ■ prozódii - rýchlost reci, F0, zduraznení Časti promluvý, pauzu, hlasitost, . .. ■ mluvcího - pohlaví, vek, ... ■ Pouzívane standardý: ■ SABLE ■ SSML SABLE Dialogové systémy Luděk Bérték Postprocéssing Prozódié Standardy pro syntéézu ré ci SABLE SSML snaha o zkombinovani 3. znackovacich jazyku pro syntezu feci: SSML - Speech Synthesis Markup Language (W3C, 1999). STML - Spoken Text Markup Language(CSTR Edinburgh University, Lucent Technologies, 1997) JSML - Java Synthesis Markup Language (Sun Microsystems, 2000) SABLE Základní značky Dialogovéé systéémy Ludé k Béarték Postprocéssing Prozodié Standardy pro syntéézu ré ci SABLE SSML
...
■ prozodicke znacky: ■ EMPH - zdůraznení časti promluvy ■ PITCH - výska promluvy ■ VOLUME - Úroveň hlasitosti ■ RATE - rychlost ■ BREAK - pauza □ ť5> - - SABLE Zakladn í znaCky Dialogové systémy Postprocessing Standardy pro syntézu íéči mluvc ího: TTS mus í vek mluvC ího pohlav í NAME - jme no mluvC ího, zavisl e na TTS dan e ho mluvC ího znat. Fonetické : ■ PRON - fonetický prepsaní promluva, lze pouZ ít IPA. ■ SAYAS - zpusob foneticke ho prepisu (datum, telefon, url, postovn í adresa,. ..) ■ LANGUAGE - jazýk promluvý. SABLt SSML SABLE Ukázka Dialogové systémy Luděk Bérték Postprocessing Prozódié Standardy pro syntéézu ré ci SABLE SSML
Šepot Vysoko posazena veta
SSML Dialogové systémy Luděk Bérték Postprocéssing Prozódié Standardy pro syntéézu ré ci SABLE SSML Aplikace XML. Součást rodiny W3C Voice Browser Activity Aktua'lní verze 1.0 (zaíí 2004) □ S1 ~ - '■ SSML Základní znaCky Dialogové systémy Postprocessing Standardy pro syntézu íeCi kořenový strukturn í ■ s - veta fonetické: ■ saý-as - zpUsob fonetick e ho přepisu. ■ typ textu (telefon, URI, C íslo, . . .) ■ phoneme - fonetický přepis dan e promluvy ■ sub - substituce - napr. prepis zkratek, popis hlasu: ■ voice - popis hlasu, kterým se m a text preC íst (pohlaví, vek, .. .) SABLt SSML SSML Zakladn í značky Dialogové systémy Postprocessing Standardy pro syntézu íeCi Prozodické značková n í: ■ emphasis - zdůraznění části ■ break - paůza ■ prosody - ovlivnůje zakladní prozodické jevy: ■ vlastnost d a na atributem - pitch, rate, duration, volume Dalsí viz specifikace SABLt SSML SSML Ukázka Dialogové systémy Luděk Bérték Postprocéssing Prozódié Standardy pro syntéézu ré ci SABLE SSML I don't speak Japanese.

Dialogové systemy Ludřk Bartek W3C Voice Browser Activity SRGS XML Format SRGS ABNF formát SISR Dialogové systémy Ludek Bartek Laboratoř vyhledávaní a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 World Wide Web Dialogové systémy Luděk Bérték W3C Voicé Browsér Activity SRGS XML Formát SRGS ABNF formát SISR W3C Voice Browser Activity Dialogové systémy Luděk Bérték W3C Voicé Browser ■ Cíl - navrh standardů umožňujících přístup k Webu Activity SRGS XML Formát SRGS Členové: ABNF formát SISR Standardy W3C Voice Browser Activity Dialogové systémy W3C Voice Browser Activity SRGS XML Formát SRGS ABNF formát SISR dialogových strategií. prozodick ých Sýntezu reci. Standardy W3C Voice Browser Activity pokračování Dialogoveé systéemy Luděk Barték W3C Voice Browser Activity SRGS XML Format SRGS pro rozpoznávaní a syntezu řeči. ABNF formát SISR spojení uzivatele a systemu. stavových automatu. Standardy W3C Voice Browser Activity Zpracování Dialogová systemy W3C Voice Browser Activity SRGS XML Format SRGS ABNF formát SISR značkovací rada volne dostupne desktopove- nutn a komerční desktopove dostupna verze; laboratoř laboratorn í volne dostupne volne komerční vyzkouset a omezene pouzívat paraleln í Dialogové systémy Speech Recognition Grammar Specification W3C Voice Browser Activity SRGS XML Format SRGS ABNF formát SISR zapis bezkontextových rozpoznávání řeCi. Aktuální původně pouzívaný Existují dvě varianty zápisu: LiSí se pouze zpusob zapisu nikoliv vyjadřovací síla. Moznost pouziteho zapisu zavisí na pouzite platforme. ■ sirsí podpora pro XML formít Bezkontextové gramatiky Teorie formálních jazyků Dialogové systémy Luděk Bérték W3C Voicé Browser Activity SRGS XML Format SRGS ABNF formát SISR P - množina pravidel ■ S - kořenový neterminainí symbol ■ Bežkontextova gramatika: ■ gramatika G = (N, T, P, S) ■ pravidla ve tvaru N — {N U T}* SRGS gramatika XML format Dialogové systémy W3C Voicé Browser Activity SRGS XML Format SRGS ABNF formát SISR Začíná Kořenový (elementů mnozmu použita kód , odpovídaj jaký způsob pomocí DTMF kódů - hlasově; implicitní (aktualne kořenovému neterminólu. určena: Zápis pravidla Dialogové systémy W3C Voice Browser Activity SRGS XML Formát SRGS ABNF formát SISR identifikátor pravidla (odpovídá neterminálnímu leve strane terminálních symbolu netermináln í symbol; odkazován y pomoc I (oper á tor |). logicke Clenen í sekvence; umoZnuje napr. uvest pocet opaková n í dan e cásti Sekvence Dialogové systémy Posloupnost terminálních a neterminálních symbolů. Luděk Barték W3C Voicé Browser Activity SRGS XML Formát SRGS ABNF formát SISR Varianty Dialogové systémy Luděk Bérték W3C Voicé Browsér Activity SRGS XML Formát SRGS ABNF formát SISR Element one-of. Umožňuje specifikovat různé varianty očekávaných vstupů. Jednotlivé varianty jsou ohraničeny elementem item. Pňíklad: červená zelená modrá Opakovaní Dialogová systémy W3C Voice Browser Activity SRGS XML Formáat SRGS ABNF formaát SISR Umožňuje ■ nepovinných částí ■ opakujících se částí Zápis - pomocí Možnosti poctU opakovaní: ■ n krít repeat="2">opakování Zvláštní pravidla Dialogová systemy W3C Voice Browser Activity SRGS XML Formát SRGS ABNF formát SISR Slouřž í k žada n í: ■ libovoln e nespecifikovan e nevysloviteln e ho pravidla (žakažan í urcit e ■ vždy platn e ho pravidla (i pr a ždn e ho Pouřž ívaj í se jako žvla řstn í neterminaln í Přr íklad pouřžit í: ťS1 ~ - 5-0^0- mm ABNF format SRGS Dialogové systémy Luděk Bérték W3C Voicé Browser ■ Čistě textový formát gramatiky vycházející z tradičního Activity formátu BNF. XML Formát SRGS ABNF formát SISR ■ BNF podobn y formát vyuZ ívá dá le napr. JSGF Struktura ABNF zápisu SRGS Dialogové systémy Luděk Bérték W3C Voicé Browser Activity SRGS XML Formát SRGS ABNF formát SISR ■ korenovy netem-i^l ■ format - Sneterminál = (neterminál\termináí)* □ Ě51 ~ - 3 Struktura hlavičky ABNF zápisu SRGS Dialogové systémy Luděk Barték W3C Voicé Browser Activity SRGS XML Formát SRGS ABNF formát SISR ■ Následuje: ■ specifikace kořenového neterminálu - root Sneterminál; ABNF zapis pravidel gramatiky Dialogové systémy Luděk Barték W3C Voicé symbolů oddělených mezerou: Browser Activity SRGS XML Formát SRGS ABNF formát SISR neterminálních symbolů odděleně symbolem '|': ■ Opakovaní: ■ volitelné Části - uzavřeny do '[ ]' Ukázka SRGS gramatiky v ABNF notaci Dialogové systémy Luděk Bérték W3C Voicé Browser Activity SRGS XML Formát SRGS ABNF formát SISR Semantic Interpretation for Speech Recognition Dialogové systémy W3C Voice Browser Activity SRGS XML Format SRGS ABNF formát SISR Sémantika - přiřazuje význam tvrzením. Sémantika v dialogových systémech: ■ přiřazuje interpretaci promluvam a jejich castem ■ umozřuje získání relevantních UdajU. slouží k sémantické publikován aktuální uzce vyhodnocova n í interpretace pouz i va vy razy ' vyhodnocov ín í je pomoc í atributu přiřazeno rozpozn avan i vnitrne reprezentova na pomoc i objektu ve formatu Přirazení interpretace casti promluvy Dialogová systemy W3C Voice Browser Activity SRGS XML Format SRGS ABNF formát SISR S emantička Přriřrazen í forma t b yv a souřč ast í pomoč í casti $potvrzení Odvozování interpretace na základě dílčích interpretací Dialogové systémy Luděk Bérték W3C Voicé Browser Activity SRGS ■ Výsledná interpretace reprezentována pomocí objektů ve XML Format SRGS abnf rormat SISR Vyhodnocování promluv XML format Dialogové systémy Luděk Bérték W3C Voicé Mám Browser Activity SRGS XML Format SRGS ABNF formát SISR Vyhodnocování promluv ABNF Formát Dialogové systémy Luděk Bérték W3C Voicé Browser Activity SRGS XML Format SRGS ABNF formát Přirazen í interpretace vstupn ím pol im XML Form at Dialogoveé systéemy W3C Voice Browser Activity SRGS XML Format SRGS ABNF format SISR Mám Přirazení interpretace vstupním polím ABNF formát Dialogové systemy W3C Voice Browser Activity SRGS XML Formát SRGS ABNF formát SISR Zdroje Dialogové systémy Luděk Barték W3C Voicé Browser Activity SRGS XML Format SRGS ABNF formát SISR Specifikace ECMAScript Specifikace JSON Dialogové systémy Luděk Barték Zápis dialogu pomocí VoicéXML Dialogové systémy Ludek Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno járo 2011 VoiceXML Základní informace Dialogové systémy dialogových rozhraní. ■ SouCíst standardů ■ Cíl: ■ přinést výhody vebového vývoje a doručovaní obsahu do interaktivních hlasových aplikací. ■ Historie: ■ 1995 - zapocat vývoj znackovacího jazyka AT&T Phone Markup Language. ■ 1998 - konference poradana W3C na tema hlasoveho prochazení webu: ■ předvedeny jazyky PML, VoxML, SpeechML, TalkML, VoiceHTML, VoiceXML VoiceXML VoiceXML Základní informace Dialogové systémy spojeni sil pri (pokračování): založeno VoičeXML Forum - čílem vývoji jazyka pro značkovaní dialogU. ■ 2000: ■ vydána specifikace VoiceXML 1.0 ■ specifikace VoiceXML 1.0 přijata jako standard W3C. Aktualní stav: ■ doporučení -VoičeXML 2.1. (červen 2007) ■ draft - VoičeXML 3.0 (srpen 2010) VoiceXML VoiceXML VoiceXML Model komunikace 3.0 VoiceXML Struktura aplikací Dialogové systémy ■ odkazují na ■ Skl a daj í se z formulařU. ■ UZivatel se v dan e m okamZiku nach a zí konverzacn ích stavU. ■ Přechody mezi stavy definova ny pomoc í URI dalSí krok dialogu. ■ Dialog konc í, pokud tento přechod nen í definova n. VoiceXML definuje dva druhy dialogu: ■ Formuláre - definuje proces nutn y pro z ísk a n í hodnot sady polozek. ■ Menu - poskytuje uzivateli sadu mozností a odkazu na pokracova n í dialogu. VoiceXML VoiceXML VoiceXML Struktura aplikac í- pokračován í napr. funkcí v procedurainír Slouží k opětovnému provadení jiste casti zjištění e-mailové adresy). ■ Realizovaný jako formulaře, kterým mohou byt předaný parametry, a ktere mohou vrace hodnotu (viz dale). Sezeni: ■ Zacína v okamziku zahájení komunikace s VoiceXML interpreterem. ■ Končí: ■ na přa n í uživatele (např. ukončen í spojen í, zadost o ukončen í interpretace, . . .) ■ VoiceXML dokumentem - nen í definován dalSí prechod, predan í dat k dalSímu zpracova n í, . . . Aplikace - sada dokumentu, ktere sdílejí kořenový dokument. □ g - - 5 VoiceXML VoiceXML VoiceXML Dialogové systémy každého Musí použita aktuální 2.1 hodnota závisí na použité platformě - OptimTalk 1.9 2.1, JVoicéXML - zatím neuplna podpora verze 2.1, VoicéGlué - podpora 2.0 + některé možnosti z 2.1, ■ xmlns -deklarace implicitního jmeného prostoru. Hodnota musí být http://www.w3.org/2001/vxml. ■ xml:lang - hodnotou jé kod jažýka, pro který jé dialogové rozhraní navrženo. Element obsahuje: ■ jeden nebo více elementu form, ■ element menu, VoiceXML VoiceXML Formulář Dialogové systémy základních elementů Ohraničen znaCkami dokumentů. sadu vstupních polí deklarace proměnných daného formuláře - element definice gramatik platných v danem formulaři bloký výkoneho kodu: var Atributy: ■ id - povinny atribut: ■ slouží jako nazev daného formuláře ■ jeho hodnota mus í být uniká tn í v dan é m dokumentu ■ lze použ ít k předavan í řízen í do dan e ho formulaře. VoiceXML VoiceXML Formulář Algoritmus interpretace formulařů Dialogoveé systéemy Formuláře sou interpretovaný implicitním formulařu ll Prehraj vsechný výzvý, ktere jsou potomký tohoto elementu form. ^| Dokud existuje vstupní pole formulíre s nedefinovanou hodnotou: Vyber 1. vhodny nezadaný vstup. ^| Prehraj vSechny vyzvy, ktere se vaZí k danemu poli. ^| Z ískej hodnotu vstupu dan e ho vstupn ího pole nebo zpracuj vyvolanou ud a lost (help, nomatch, . . .) jl Zpracuj cast filled dan e ho vstupn ího pole. VoiceXML VoiceXML Formulář FIA - pokračování Dialogové systémy FIA může dale skončit pokud: ■ pokud se má provést přesměrování hovoru (např. element goto) ■ pokud ma dojít k předaní dat dokumentovemu serveru (element submit) ■ pokud je explicitne požadová no ukončen í (element exit). VoiceXML VoiceXML Formulář Ukazka Dialogovéé systéémy xml:lang="en-US">
Hello world! This is our first VoiceXML form.
VoiceXML VoiceXML □ ť5> - - Formulář Možný obsah Dialogové systémy Vstupn í pole - odpovídaj í různým možnostem zad a n í vstupn ích položek formuláře: uživatele, možnost zadá n í 59 pomoc i record - slouž í k nahrí n í zprí vý od uživatele. subdialog - slouží k vývoian í dialogu resíc ího d ílC í probl em, napr. zadí n í adresý, R íd íc í položky: ■ block - pr íkažovy blok, lže využ ít napr. k růžn ym výstupům pro uživatele, vyhodocování vstupních dat, ■ initial - iniciainí Číst formuláře. Využíví se hlavne v dialogovych rožhran ích se sm ísenou strategi í. ■ transfer - přesmeroví n í uživatele na novou lokaci (aplikaci, telefonn ího oper a tora, .. .) ■ object - slouž í ke žprístupnen í funkcionality, kterí muže byt žavisla na platforme (dll, JSP+ servlet, .. .) VoiceXML VoiceXML Formulář Vstupn í pole a r íd íc í struktury - uk a zka uZit í Dialogové systémy VoiceXML!. Welcome to the Hello. Tell mi something nice, good day. like hello, hi, VoicéXML VoicéXML Formular Vstupn f pole a rfd fc f struktury - uka zka uzit f - pokracovan f When you don't want to speek to me good bye. you said VoiceXML VoiceXML Element field Dialogoveé systéemy Představuje vstup od uzivatele. Muze byt zadí n bud hlasem nebo pomoc í DTMF. Atributy: ■ name - jm e no pole. Pouz íví se k prístupu k zadan e hodnote (pomoc í st ínove promenn e se shodným jm e nem). ■ expr - vyraz v jazyce ECMAScript, ktery slouz í k inicializace hodnoty vstupn ího pole. ■ cond - vstupn í podm ínka nutna pro zpracova n í vstupn ího pole. ■ V íce viz specifikace. VoiceXML VoicéXML Element field Pokracovan í Dialogoveé systéemy ■ Výzva s popisem požadován e ■ Gramatika - SRGS gramatika s popisem akceptovaných vstupu. ■ Osetren í udá lost í: ■ noinput - nebyl zadán žádný vstup ■ nomatch - zadán neakceptovaný vstup (vstup neodpovídá gramatice) ■ filled - umožnuje zpracován í vstupu po vyplnen í vstupn ího pole VoicéXML VoicéXML Element field Ukazka užit í Zadejte Vase jmeno Zadejte prosím Vaše krestní jmeno Je mi líto, ale zadane jmeno není v kalendaši VoiceXML VoiceXML Element record Dialogové systémy Umožňuje systému nahrát zprávu od uživatele. Lze využít napň. pro tvorbu hlasového záznamníku. Atributy: ■ name - ní zev vstupn ího pole ■ expr - viz field ■ cond - viz field ■ beep - ma-li byt zaCí tek nahraví n í byt signalizova n zvukovým signí lem ■ maxtime - maximá ln í d e lka nahrá vky ■ type - mime-type vysledne nahravky, musí byt podporovana VoiceXML platformou VoiceXML VoiceXML Element record Dialogovéé systéémy Luděk Bérték VoicéXML Zépis dialogu pomocí VoiceXML ■ Obsah elementu: ■ Výžva/výžvýs popisem požadovan eho požadovan e ho vstupu. ■ Osetren í udá lost í: ■ noinput - uživatel zprávu nezačal nahrávat. ■ connection.disconnect.hangup - uživatel zavesil. Element record Ukazka uzití VoicéXML VoiceXML Element subdialog Dialogoveé systéemy res íc ího d ílC í opakovane. Slouž í k vývol a n í d líc ího probl é m). Jeden a tentýž subdialog se d a Vyvolá n í subdialogu: ■ element subdialog - vlastn í volí n í subdialogu. ■ Obsahuje: ■ param - definice hodnoty parametru. ■ filled - kod, který se má provest po navratu z d ílC ího dialogu. ■ Atributý: ■ name-jme no volan e ho subdialogu. ■ src - URI dokumentu s kodem subdialogu. Kod subdialogu: ■ formulí r ■ ukoncený elementem return. VoicéXML VoicéXML Element subdialog Ukázka užit í Dialogoveé systéemy Ukázka použití subdialogu ve VoiceXML Hodnota subdialogu je VoiceXML VoicéXML Element subdialog Ukazka uzit í - pokracovan í Dialogoveé systéemy Luděk Barték VoiceXML Zépis dialogu pomocí VoiceXML
Na pozdrav jste mi neodpovedel. Nashledanou. Element subdialog Ukazka užití - pokračování Dialogová systémy Vám nerozuměl, stejneě VoiceXML ále VoiceXML Element block Dialogové systémy proveditelný atributy: ■ name - název bloku. ■ expr - inicialn í hodnota promenne formuláire. ■ cond - podm ínka omezuj íc í provaden í bloku. struktura - shodna s obsahem elementu filled: ■ r íd íc í struktury - elementy if, else, elseif ■ prirazovac í príkaz - element assign, clear, . . . ■ príkazy skoku - element goto, exit, return, VoiceXML VoicéXML □ g - - Dialogové systémy Luděk Bartek Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Řízení toku dialogu Dialogové systémy Luděk Bérték Řízéní toku dialogu Funkcionální přístup Procedurální ■ Funkcionální: přístup Nastavení vlastností interpretace přiřazení hodnoty danému vstupnímu poli, . . . ■ Procedurální: Funkcionální přístup řízení průběhu dialogu Dialogové systémy Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace opakovaně se vybírá další Průběh dialogu rizen vhodny nevyplněny Ke změně pořadí vyhodnocovaní vstupních polí a bloků vyuZ ít: ■ změny hodnot vstupních polí: ■ přiřazen í- (nepřejeme si toto pole provádět ■ smaz á n í- dan e pole bude znovu vyplneno; lze vyuZ ít pn opakován e zad á ví n í nejake hodnoty (např. kon íček, kod předmetu při zapisu, . . .) podm ínku, kteřa musí být splnena přovedl Podm ínka zapsana Přiřazení hodnoty Dialogové systémy Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace Má název proměnné/vstupního pole výraz (muZe být i konstantní), jehoZ má promenne přiřadit. Proměnná musí být před použitím definována proměnná vstupního pole; pomocí přednáška pomocí atributu Přirazení hodnoty Dokončení Dialogové systémy Luděk Bérték Řízení toku dialogu Funkcionální přístup Procedurální přístup vlastností interpretace Atribut cond Dialogové systémy Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace podmínku, ktera musí být splněna pracoval. Podmínka zapsana jako logický výraz hodně resp. velmi blízkě podmínkam daný relačních operátorů konstanty/konstantní výrazy proměnné/stínové proměnné Element initial Dialogová systemy Luděk Bartek Řízení toku dialogu Funkciona ln í prístup Proceduralní prístup Nastaven í vlastností Slouž í k zadá n í informac í platn ých v rozsahu celé ho interpretace Element initial Ukazka pouZití Dialogovéé systéémy Luděk Barték Řízení toku dialogu Funkcionální prístup Procedurální prístup Nastavení vlastností interpretace Zadejte, který předmět si přejete □ ť5> - - 2 Element initial Ukázka pouZití Dialogové systémy Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace Název nebo kod registrovaneho predmetu Element initial Ukázka pouZitÍ Dialogoveí systíemy LudeIk Baírtek Způsob ukončení předmětu. Řízení toku dialogu Funkciona ln í zápoěet. přístup Proceduralní přístup Nastnoení interpretace Element initial Ukazka pouZití Dialogoveí systíemy Řízení toku dialogu Funkciona ln í přístup Proceduralní přístup Nastaven í vlastnost í interpretace Řízení průbéhu dialogu Procedurální prístup Dialogoví systíemy Ludřk Bartek Řízení toku dialogu ■ Umožňuje psat dialogová rozhraní způsobem, který je Funkcionaílníí přríístup obvyklý u strukturovaneho programovýní. Proceduríalníí přríístup Nastaveníí vlastnostíí interpretace ■ podmíněné provadení ■ Podm ínený pňíkaz: Podmíněny príkaz Dialogoví systíemy Luděk Bartek ■ Umožňuje vykonání určité části dialogu za předem Řízení toku stanovených podmínek. dialogu Funkcionaílníí ■ Realizován pomocí elementU: přístup Proceduríalníí pěístup Nastavení vlastnostíí interpretace proveditelný obsah: Podmínéný příkaz Příklad Dialogovéé systéémy Luděk Barték Řízení toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace □ rS1 ~ - - Příkazy skoku goto Dialogové systémy Luděk Barték Řízéní toku dialogu Funkcionální přístup Procedurální přístup Nastavení vlastností interpretace nextitem - umoznuje preaat rizeni jinemu vstupnímu poli daného formuláře. Hodnotou je řetězcová konstanta s URI vstupního pole. ■ expritem - umoZnuje předat řízení jinemu vstupnímu poli daneho formulaře. Hodnotou muze být libovolný výraz v jazyce ECMAScript, jehoz výsledkem je URI vstupního pole. ■ next- URI formulaře, kterým se ma pokraCovat. ■ expr - výraz v jazýce ECMAScript, který se výhodnotí jako URI formulaířre, kteríým se maí pokrařcovat. □ g - "s s ^t\r> Příkazy skoku submit Dialogové systémy Luděk Barték Řízení toku dialogu Funkcionální pěístup Procedurální pěístup Nastavení vlastností interpretace ■ atributy next, expr- URI aplikace, ktera ma data zpracovat, a která vrací pokračovaní dialogu. ■ atribut method - obsahuje jednu z hodnot get a post. ZnaCí zda se ma se serverem komunikovat pomocí HTTP metody post a nebo get. Příkazy skoku exit, return, subdialog Dialogoví syst emy Luděk Bartek Řízení toku dialogu Funkcionílní prístup Proceduralní prístup Nastaven í vlastností interpretace (v íce viz minulá přednáška). minulá předn áška). 5 «ť} £V Nastavová n í vlastnost í interpretace properties Dialogové systémy Luděk Bérték ■ Nastavovaní parametrU interpretace - pomocí vlastností Řízení toku dialogu Funkcionální pěístup Procedurální pěístup Nastavení vlastností interpretace ■ Typy vlastnost í: Vlastnosti Dialogové systémy Platforme zavisle vlastnosti: Luděk Barték Řízení toku dostupn e pouze na nřekter e platformře. dialogu Platforme zavisle vlastnosti bý melý pouzívat reverzní Funkcionální přístup nazev dom ený autora. přístup Nastavení Obecne vlastnosti rozpoznavání řeci: vlastností interpretace Vlastnosti Dialogová systemy Řízení toku dialogu Funkciona ln í pěístup Proceduralní Nastavení vlastnost í interpretace výzev a vstupů: dlouhé dobe se má událost okamZiku, ma skončit předčítání detekován vstup od uZivatele jaký týp vstupu od uZivatele má přerusit předčítání výzvý načítání SlouZá k nastavovan í ruzných vlastnost í, kter e se vztahuj í k nač ít á n í ■ Patř í sem napr nařč íta n í další. kter e skonřč í a Dialogové systémy Luděk Barték SSML PLS SCXML CCXML Dialogové systémy Ludek Bartek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Speech Synthesis Markup Language Dialogové systémy Luděk Bérték SSML PLS SCXML CCXML Aktuální verze 1.1 (září 2010). Vychází ze specifikací JSGF á JSML (Sun Microsystems). Vychází z nej jázyk SABLE. SSML Cíle návrhu Dialogové systémy Luděk Bérték SSML PLS SCXML CCXML ■ Vytvořit standard pro značkování prozodických jevů mluvené řeči. ■ Jazyk by mél být podporován různými TTS. ■ ZvýSení kvality syntézy řeči pomocí ovládaní: ■ vyslovnosti ■ hlasitosti ■ průběhu základního hlasivkoveho tonu ■ rychlosti ■ . .. □ ť3> - - 3 SSML Struktura dokumentu Dialogové systémy Luděk Barték SSML PLS SCXML CCXML xmi.iang — přirozený jazyk použity ODsanem tonoto elementu. Muže oDsanovat elementy: výslovnost — lexicon, pnoneme, say-as struktura — p, s prozodie — empnasis, prosody, voice, Dreak ostatní — audio, meta, metadata, ... SSML Strukturní značkování Dialogové systémy Ohraničuje přirozený MUže ■ audio, break, emphasis, mark, phoneme, prosody, say-as, sub, s, voice. Element s: ■ Ohraničuje vetu. ■ Atribut - xml:lang. m Muže obsahovat elementy: ■ audio, break, emphasis, mark, phoneme, prosody, say-as, sub, voice. SSML PLS SCXML CCXML SSML Značkován í výslovnosti Dialogové systémy výslovnosti výslovnosti. odkazuj íc í odpov ídaj íc í Element phoneme: m Obsahuje fonetický přepis textu. ■ Atributy: ■ alphabet - pouZitá fonetická abeceda (ipa, případně jeete x-JElTA, x-JEITA-2000 - japonske foneticke abecedy, vetsinou znakova výuZ íva znakovou sadu UNICODE). ■ ph - fonetický přepis textu uzavřen e ho do tohoto elementu. SSML PLS SCXML CCXML SSML Značkování výslovnosti Dialogové systémy jakým způsobem se ma daný množství penez, . ..). ■ interpret-as - o jaký typ dat se jedna (currency, date, . . .) Element sub: ■ Umožnůje definovat aliasý pro daný text (např. přepis zkratek, . ..). ■ Atribůtý: ■ alias - alias pro text, který je obsahem daneho elementu. SSML PLS SCXML CCXML SSML Prozodicke značkovaní Dialogovéé systéémy Luděk Bérték SSML PLS SCXML CCXML pouziteho hlasu: ■ pohlaví - atribut gender- povolene hodnoty male, female, neutral ■ vek - atribut age - kladne cele císlo udívajícívek mluvcího. ■ variantu - atribut variant - kladnO cele císlo, ktere znací kterí varianta daneho hlasu se ma pouzít - musí byt podpora v TTS ■ jazyk - atribut xml:lang - pokud je dostupny pouzije se tento jazyk, jinak by se mel pouzít jiny, co nejblizsí jazyk. SSML Prozodické značkován í Dialogové systémy Luděk Barték SSML PLS ■ daný text by se mel říct s důrazem - pomocí prízvuku, SCXML CCXML reduced, moderate, strong. ■ Element break ■ výsledkem by mela být pauza v řeCi ■ její síla (výraznost) je ovlivnena atributem strength - jedna z hodnot none, x-weak, weak, medium, strong, x-strong ■ doba trvání atributem length - Cas ve formátu shodným s formátem pouzitým ve specifikaci CSS2. SSML Prozodicke značkování Dialogové systémy Luděk Barték SSML PLS SCXML CCXML oddělené uspořádané dvojice (time, pitch), kde time je vyjádřen pomocí percentuálne a výSka stejným zpUsobem jako u atributu pitch. ■ Rozsah F0 na danem useku (atribut range) - hodnota bud' rozsah v Hz, nebo relativní rozsah a nebo jedna z hodnot x-low, low, medium, high, x-high a default. ■ Doba trvaní (atribut duration) - jak dlouho se ma daný text císt (ms resp. s). ■ Hlasitost (atribut volume) - hlasitost proslovu - hodnoty v intervalu 0.0 - 100.0 nebo jedna z silent (=0.0), x-soft, soft, medium, loud, x-loud a nebo default (=100.0). m •ocvc* Pronunciation Lexicon Specification Dialogovéé systéémy Luděk Bérték SSML PLS SCXML CCXML Popisuje jazyk pro tvorbu lexikonů výslovnosti použitelných pří synteze a rozpoznávaní řeči. výslovnost cizých slov výslovnost zkratek . .. □ ť3> ~ - '. Pronunciation Lexicon Specification Struktura slovníku Dialogové systémy Luděk Bérték SSML PLS SCXML CCXML Obsan: ■ Element metadata - informace o dokumentu. ■ Element(y) lexeme -jednotlive položky slovníku. ■ Element lexeme ■ Atribut role - popisuje mluvnické kategorie slova, tak aby bylo možne zvolit nejvhodnejší výslovnost (napr. sloveso vs podstatne jmeno - red vs. red) ■ Obsah: ■ Element(y) grapheme - psana podoba slova. ■ Element(y) phonemes - vyslovnost(i) slova. ■ Element(y) alias - v případe, že grapheme obsahuje zkratku, tak její plny tvar (napr. CR - Ceska republika). Pronunciation Lexicon Specification Struktura slovníku Dialogové systémy Luděk Bérték SSML PLS SCXML CCXML ■ uubdn — loneticky zápis výslovnosti pojmu. ■ Element alias ■ Atribut preferred — pokud je u pojmu uvedeno více různých výkladů, toto je preferovaný. ■ Obsah — plný zápis zkratky. ■ Více viz specifikace. State Chart XML Dialogové systémy Luděk Barték SSML PLS SCXML CCXML Znáckovác í jázyk pro popis konecn ych áutomátU pouzíványch v diálogovych rozhřán ích. Kándidát ná ríd íc í jázyk v: VoiceXML 3.0 (áktu á lne ve vývoji) budouc ích verz ích CCXML jázyce pro popis multimod á In ích rozhrán í. SCXML Základní prvky jazyka Dialogové systémy Konečný S - konečna neprazdna mnozina stavů ■ T - vstupní ■ - prechodova q0 - poCateční Q - mnozina koncových stavu. Zápis pomocí SCXML: ■ stav - element state: ■ povinny atribut id - název stavu ■ počateční stav - obsahuje dcerinny element initial ■ koncový stav - obsahuje dcerinný element final ■ prechod(ý) - pomocí elementu/u transition: m atribut event - ud a lost, ktera vyvola přechod (nepovinn y) ■ atribut target - identifikator c ílove ho stavu Příkladý a podrobnosti viz specifikace. SSML PLS SCXML CCXML Call Control XML Dialogovéé systéémy Luděk Bérték SSML PLS SCXML CCXML možnosti VoiceXML: konferenční hovory přiřadit každému hovoru vlastní VoiceXML interpretr ovládání odchožích hovorU . .. Aktuálne kandidát na doporuceníve verži 1.0 (duben 2010) Dialogové systémy Luděk Barték Multimodalní dialogová rozhraní Dialogové systémy Ludek Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2011 Multimodální dialogová rozhraní Dialogové systémy Luděk Barték Multimodální dialogová ■ Multimodální dialogové rozhraní - mimo mluvenou řeč rozhraní umožňuje alternativní zpUsoby komunikace človék o počítač: ■ Vyhody: ■ lepSí přístupnost - např. pro uživatele s poruchami sluchu/řeči. Multimodální komunikace počítač — člověk Dialogové systémy Luděk Barték Multimodalní ■ Textová: dialogová rozhraní textový výstup. ■ Grafická: Multimodální komunikace člověk — počítač Dialogové systémy Luděk Barték Multimodalní dialogová rozhraní ■ různá ústy ovládaná zařízení ■ ovládání pomocí pohybů ocí a vícek ■ rozpoznívání řeCi pomocí sond detekujících Činnost svalů a ■ Často jako doplnek řecoveho vstůpů. Multimodální rozhraní Nástroje na tvorbu Dialogové systémy Luděk Barték Multimodální ■ Proprietám í řešen í: dialogová rozhraní ■ Otevřená řešení: ■ Doporučen í W3C týkaj íc í se multimodálního príštupu - Návrhy standardů Multimodal Interaction WG Dialogové syst émy Luděk Barték Multimodalní dialogova rozhraní podporovaných rozhran í. 1odal Annota vý menu udaju mezi jednotlivý mi multimod a ln ího dialogove ho syste mu. zadan a pomoc í dotykovych elektronicke ho slouz í k anotova n í dat z pohledu emoc í. Multimodal Initiative WG Návrh architektury systému Dialogové systémy Obrázek: Návrh multimodálního systému (převzato ze Dialogové systémy I M assaro, D., Cohen, M. M. - Demos From The Perceptual Science Lab, dostupne na adrese http://mambo.ucsc.edu/demos.html (kveten 2011). 9 Guimeraes, K., Antunes, D. R., Guilhermino, de F. Guilhermino, D., Lopes da Silva, R. A., Garcia, L. S. -Structure of the Brazilian Sign Language (Libras) for Computational Tools: Citizenship and Social, in Organizational, Busines, and Technological Aspects of the Knowledge Society, CCIS vol. 112, Springer, Heidelberg, 2010, pp. 365 - 370. H Barnard, E. et all - CSLU Toolkit, dostupne na adrese http://www.cslu.ogi.edu/toolkit/index.html (kveten 2011). 31 Schultz, T. - Silent and Weak Speech Based on Elektromyography, in Proceedings of 12th Internation □ g Dialogové systémy Conference ICCHP 2010 Part 1, Wien, Springer, Heidelberg, pp. 595 - 604, 2010. 13 the August Home Page, http://www.speech.kth.se/august/ (květen 2011). □ ť3> ~ -