Dialogové systémy Struktura dialogového systému Dialogová komunikace
U vod do počítačového zpracování řeči
Luděk Bártek
Fakulta informatiky Masarykova univerzita
podzim 2014
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Q| Dialogové systémy
Q Struktura dialogového systému
Q Dialogová komunikace
Luděk Bártek Uvod do počítačového zpracování řeči
Motivace
Dialogové systémy Struktura dialogového systému Dialogová komunikace
• Dialogový systém - informační systém s dialogovým (hlasovým/textovým) rozhraním.
• Přirozenější způsob komunikace pro většinu uživatelů než GUI.
• Poskytují nové způsoby komunikace s aplikacemi:
• telefon
• hlasová komunikace prostřednictvím počítače s náhlavní soupravou (mikrofonem, reproduktory).
• Možnost komunikace bez použití končetin.
• Zlepšují přístupnost pro uživatele s různými druhy postižení:
o zrakově postižení
• imobilní uživatelé
• ...
• Při dobře navrženém dialogovém rozhraní může být komunikace podobně efektivní jako GUI.
o grafická komunikace - paralelní o hlasová komunikace - sekvenční
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Historie dialogových systémů
• Eliza
• počátek 60. let
• počítačová simulace rozhovoru s psychoterapeutem
• textové komunikace v přirozeném jazyce
• Parry
• autor K. M. Colby (1963)
• simulace paranoidního pacienta - reakce na Elizu
• v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Historie dialogových systémů
Expertní systémy
• Pracují se znalostní databází vytvořenou experty v dané oblasti
• Znalostní databáze obsahují:
• fakta
• inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů.
• DENDRAL - expertní systém z oblasti organické chemie
• INTERNIST I- expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicíne School)
• MYCIN
• Stanford University (70. léta)
• navazuje na INTERNIST I (jeden z auto společného jednoho z
• obsahoval i pokročilá odvozovací pravidla
• diagnostika bakteriálních onemocnění
• ve 3/4 případů shoda s lidským expertem
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Aktuální stav oblasti dialogových systémů
Fl MU
• Laboratoře:
• LSD (http://lsd.fi.muni.cz/) - Laboratoř vyhledávání a dialogu
• vedoucí - doc. Kopeček, prof. Zezula
• zaměření - vyhledávání, dialogové systémy, zpracování zvuku, item asistivní technologie, . . .
• NLP (http://nlp.fi.muni.cz) - Laboratoř zpracování přirozeného jazyka
• Vedoucí-doc. Pala
• zaměření - textové korpusy, slovníky, morfologie, syntaktická analýza, sémantická analýza, . . .
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Aktuální stav oblasti dialogových systémů
ČR
• FIT VUT Brno:
• analýza signálu
o rozpoznávání řeči
• systémy pro automatizovaný záznam a zpracování konferencí
• ...
• ZČU Plzeň
o rozpoznávání řeči
• syntéza řeči
• dialogové systémy a ...
• ČVUT Praha
• syntéza řeči
• počítačová lingvistika a ...
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Aktuální stav oblasti dialogových systémů
Ve světě
• World Wide Web Consortium Voice Browser Working Group (http://www.w3.org/Voice/)
• vývoj a správa standardů pro tvorbu dialogových rozhraní
• vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní
• členové: IBM, Nuance Communication, Lucent Technologies, Motorola, ScanSoft, Telíme Networks, Vocalocity, .. .
• MIT
• Carnegie Mellon University (CMU)
• OGI
• EPF Lausane
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Současné oblasti použití
• Dialogové informační systémy o dopravních spojeních.
• Dialogové ovládání některých systémů v automobilech:
o navigace
• telefon
• ...
• Dialogové systémy pro zdravotně postižené -
• Vojenské aplikace.
• ...
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Základní pojm
• Dialogový systém - informační systém disponující dialogovým rozhraním.
• Dialogové rozhraní - Ul, které umožňuje uživateli komunikaci s aplikací prostřednictvím dialogu.
• Dialog - komunikace dvou účastníků (pro nás člověk -počítač).
• Promluva - souvislé sdělení jednoho účastníka dialogu.
• Obrat - promluva a reakce druhého účastníka na ni.
• Dialogová strategie - určuje ke každé promluvě následníka.
• Hodnotící funkce E(L) - přiřazuje dialogu reálné číslo (jeho ohodnoceni).
• Dialogová komunikace - uspořádaná čtveřice M = {S1,S2,E1,E2).
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Charakteristické rysy dialogových systémů
» Převládající řečová komunikace.
• Problémy s rozpoznáváním řeči - řešení:
• omezení problémové domény
• gramatiky pro rozpoznávání řeči.
• Bývá doplněna o vstup pomocí:
• DTMF - telefonní aplikace
• klávesnice - webové aplikace komunikující dialogem v přirozené řeči.
• Tendence ke komunikaci přirozenou řečí s co nejmenšími omezeními.
• Vede na rozpoznávání plynulé řeči.
• Řešení např. omezením množiny akceptovaných promluv pomocí gramatik.
• Snaha o co největší efektivitu a optimalitu komunikace.
• Změny dialogové strategie v závislosti na zkušenostech uživatele - lze odhadnou z průběhu komunikace:
• zkušený uživatel - průběh dialogu určuje spise uživatel
• nezkušený uživatel - DS se snaží uživatele co nejvíce vést
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Komponenty dialogového systému
• Rozpoznávání řeči - rozpoznání promluvy
• rozpoznání promluvy
• ke zvýšení úspěšnosti využívá
o lingvistické znalosti
• uživatelský profil
• Sémantický analyzátor
• zjištění významu promluvy a využívá:
• uživatelský profil
• doménové znalosti
• kontext dialogu
• Dialogový manažer
• na základě známých faktů rozhoduje o dalším kroku dialogu ze strany systému.
• Generátor sdělení
• generuje sdělení podle požadavků dialogového manažeru.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Informace využívané dialogovým systémem
• Lingvistické znalosti - jazykový model, ...
• Uživatelský profil - model řečníka, emoční model, ...
• Doménové znalosti - informace o oblasti DS použitelné pro interpretaci rozpoznané promluvy, pro rozhodování dialogové strategie, ...
• informace od oblasti dialogového systému
• použitelné pro:
• interpretaci rozpoznávané promluvy
• rozhodování o dalším kroku dialogu (dialogovou strategii)
• patří sem:
• např. jaká data je zapotřebí zadat
• Kontext dialogu:
• uchovává aktuální stav dialogu
• zadané údaje
» informace o chybách (nerozpoznané promluvy, chyby v zadávaných údajích)
• lze použít např. pro použití vhodné gramatiky pro sémantickou
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Dialogová strategie
• Zobrazení UxQ —> UxQ.
• U - promluva
• Q - stav
• Určuje následující krok dialogu v závislosti na stavu dialogu a vstupní promluvě.
• Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující úspěšnost dialogu z pohledu dané strany.
• Dělení dialogů z hlediska hodnotící funkce:
• d je kooperativní dialog - Ei(d) — E2(d)
• d je nekooperativní dialog - Ei(d) ^ £2(^0
• d je dialog s nulovým součtem - E\(d) — —£2(0/)
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace	
Pravidla pro vedení kooperat	ivního dialogu (H. P. Grice)
• Autorem Herbert Paul Grice - anglický jazykovědec
• Aspekt informativnosti
O Bud přiměřeně informativní (ne méně než je potřeba, ne více než je potřeba).
• Aspekt přesvědčivosti
O Neuváděj nepravdivé informace.
O Neuváděj informace, které nelze dokázat nebo doložit.
• Aspekt způsobu
O Informace v replice by měla být co nejvíce explicitní
O Vyhýbejte se nejednoznačnostem.
O Usilujte o stručnost.
O Buďte disciplinovaní, udržujte v dialogu pořádek.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Pravidla pro vedení kooperativního dialogu
Pokračování
• Aspekt zdvořilosti, empatie a etiky
O Minimalizujte nároky vůči komunikačnímu partnerovi,
maximalizujte výhody pro něj. Q Minimalizujte nedostatky komunikačního partnera a
maximalizujte jeho přednosti. Q Maximalizujte souhlas s partnerem a minimalizujte nesouhlas. O Maximalizujte empatii vůči partnerovi.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace	
Pravidla pro vedení kooperat komunikace člověk počítač	ivního dialogu (H. P. Grice) -
• Aspekt asymetrie
Q Informujte uživatele o všech důležitých charakteristikách, která
vybočují z očekávaného normálního průběhu dialogu a která by
měl vzít v úvahu k zajištění kooperativity. O Zajistěte stručné avšak dostatečné informování uživatele o
možnostech systému a jeho omezeních. Q Informujte srozumitelně a dostatečně uživatele o způsobu
interakce ze systémem.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Pravidla pro vedení kooperativního dialogu (H. P. Grice) -komunikace člověk počítač
Pokračování
• Aspekt znalostí a schopností
O Vezměte v úvahu relevantní znalosti uživatele. O Vezměte v úvahu možné uživatelovy chybné analogie. O Rozlišujte mezi začínajícím a zkušeným uživatelem systému. O Vezměte v úvahu legitimní představy uživatele o znalostech a schopnostech systému.
• Aspekt vyjasňování a odstraňování chyb
O V případě selhání komunikace iniciujte metakomunikaci zajištující odstranění chyby nebo její vysvětlení.
O Zajistěte vysvětlující metakomunikaci v případě
nekonsistentních nebo nejednoznačných uživatelových vstupních dat.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Aspekty komunikace kooperativního dialogového systému
• aspekt informativnosti
• aspekt přesvědčivosti
• aspekt způsobu
• aspekt zdvořilosti, empatie a etiky
• aspekt asymetrie
• aspekt znalostí a schopností uživatele
• aspekt vyjasňování a odstraňování chyb
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Iniciativa v dialog
• Další krok dialogu je vždy určen dialogovou strategií jedné
z komunikujících stran - jedna strana klade dotazy, druhá na ně odpovídá.
• V případě komunikace člověk - počítač lze rozlišit
• dialog s iniciativou uživatele
• dialog s iniciativou systému
• dialog se smíšenou iniciativou.
• V reálném nasazení se používají:
• dialogy se smíšenou iniciativou
• dialogy s iniciativou systému.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Iniciativa v dialogu - příklady
• Dialog s iniciativou systému:
Systém: Zadejte Vaše křestní jméno Uživatel: Jan
Systém: Zadejte Vaše příjmení Uživatel: Novák
• Dialog s iniciativou uživatele:
Uživatel: Chtěl bych bych si rezervovat knihu XY Systém: Dobře. Uživatel: A film UV. Systém: Dobře. Uživatel: To je vše.
Systém: Vaše rezervace knihy XY a fulmu UV byla přijata.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Iniciativa v dialogu - příklady
• Dialog se smíšenou iniciativou:
Uživatel: Chtěl bych si zaregistrovat předmět PB123. Systém: S jakým zakončením? Uživatel: Zkouška.
Systém: Registruji Vám předmět PB123 se zakončením
zkouškou. Souhlasí? Uživatel: Ano.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Zpětná vazba v dialogovém systému
• Před tím, něž systém předá získané informace k dalšímu zpracování je vhodné provést jejich verifikaci.
• chyby rozpoznávání řeči
• chyba uživatele
• ...
• Způsoby ověření získaných dat
• sumarizující zpětná vazba
• zpětná vazba "echo"
• implicitní zpětná vazba
• explicitní zpětná vazba.
• V případě nesouhlasné reakce uživatele následuje opravný dialog.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Ukázky zpětné vazby
• Sumarizující zpětná vazba:
Uživatel: Jmenuji se Jan Novák a narodil jsem se
8.8.  1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC.
• Zpětná vazba "echo":
Systém: Jak se jmenujete? Uživatel: Jan Novák.
Systém: Jmenujete se Jan Novák. Kdy jste se narodil. Uživatel: 8.8. 1988
Systém: Narodil jste se 8.8. 1988. Ve kterém městě? Uživatel: ABC Systém: Narodil jste se v městě ABC.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Ukázky zpětné vazby
Dokončení
» Implicitní zpětná vazba:
Systém: Jméno studenta. Uživatel: Jan Novák.
Systém: Ve kterém městě se Jan Novák narodil?
• Explicitní zpětná vazba:
Systém: Zadejte jméno studenta. Uživatel: Jan Novák
Systém: Student se jmenuje Jan Novák, je to tak?
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Ukázka opravného dialogu
Uživatel: Jmenuji se Jan Horák a narodil jsem se
8.8.  1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození
8.8. 1988 a místo narození ABC. Uživatel: Ne. Jméno je Jan Horák.
Systém: Zadal jste jméno Jan Horňák, datum narození
8.8.  1988 a místo ABC. Uživatel: Ne, jméno má být Jan Novák. Systém: Zadal jste jméno Jan Novák, datum narození
8.8.  1988 a místo ABC.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Další aspekty dialogových strategií
• Možnost přerušit systém.
• Možnost iniciovat korekce a metakomunikaci uživatelem.Nerozumím, mohl byste to prosím zopakovat?
• Možnost získání nápovědy.Nevím, co po mě požadujete.
• Detekce znalostí a schopností uživatele.
• Částečně lze odvodit z předchozího průběhu dialogu.
• Uzpůsobení iniciativy dialogové strategie - iniciativa systém vs. smíšená iniciativa.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Další aspekty dialogových rozhraní
• Přizpůsobení dialogové strategie - např. uživatel ve spěchu, vystresovaný uživatel, ...
• Detekce emocí uživatele:
• na základě neverbálních charakteristik hlasu
• nutná podpora v modulu rozpoznávání řeči.
• Vícejazyčnost (multilingualita):
• nutnost podpory na straně použité platformy:
• rozpoznávání řeči
• sémantická analýza řeči
• syntéza řeči.
• Možnost pokusit se o automatickou detekci použitého jazyka.
• Paralelní rozpoznávání všemi dostupnými rozpoznávací -použije se výstup s maximální pravděpodobností.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Další aspekty dialogových rozhraní
• Multimodalita:
• Umožňuje paralelní komunikaci více kanály - (obraz, zvuk, hmat).
• Zlepšuje přístupnost
• Příklady multimodálních rozhraní:
• Rozhovor vede avatar (talking head) - vhodné pro uživatele s poruchou slyšení.
• Ruce/avatar (celé tělo resp. horní polovina) - provádí tlumočení do znakové řeči.
• Alternativní způsoby vstupu - klávesnice, kamera, snímače aktivity mozku, svalů (krk, obličej, ...), různé joysticky, ...
• Nutnost synchronizace jednotlivých kanálů.
Luděk Bártek Uvod do počítačového zpracování řeči
Dialogové systémy Struktura dialogového systému Dialogová komunikace
Další aspekty dialogových rozhraní
Pokračování
• Zdvořilost - viz pravidla vedení kooperativního dialogu
• Prozódie - určení sémantiky a pragmatiky promluvy:
• určení druhu věty (tázací (data/masse-dotaz. wav)/oznamovací (data/masse-ozn.wav)), ...
• detekce emocí
• ...
• Učení se z chyb.
• Zapamatování si nerozpoznané promluvy a pokud uspěje opravný dialog (zpětná vazba), pokus o analýzu původní promluvy a přidání typu promluvy do lingvistických znalostí.
Luděk Bártek Uvod do počítačového zpracování řeči