Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Dialogové systémy
Luděk Bártek
Fakulta informatiku Masarykova univerzita
podzim 2016
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Q Speech Recognition Grammar Specification Q Semantic Intepretation for Speech Recognition O PLS
Q Ostatní standardy W3C VoiceBrowser Activity
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• W3C specifikace jazyka pro zápis bezkontextových gramatik pro podporu rozpoznávání řeči.
9 Aktuální verze 1.0 (březen 2004).
• Nahrazuje původně používaný standard JSGF - i nadále používán některými systémy pro rozpoznávání řeči.
• Dvě varianty zápisu gramatiky:
• XML
• Augmented Backus-Naur Form (ABNF).
• Liší se pouze zápis nikoliv vyjadřovací síla.
• Možnost použití způsobu zápisu závisí na použité platformě.
• Vetší podpora XML formátu SRGS.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Gramatiky (Teorie Formálních Jazyků)
• Gramatika G = (A/, Z, P, S)
• N - množina neterminálních symbolů Z - abeceda
P - množina pravidel
• S - kořenový neterminál.
• Bezkontextová gramatika
• gramatika G = (A/, Z, P, S)
• pravidla ve tvaru: A/^{A/Ul}*.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• XML prolog.
• Kořenový element - grammar.
• Atributy:
• root - pravidlo odpovídající kořenovému neterminálnímu symbolu
• xmhlang - jazyk gramatiky
• version - použitá verze SRGS (aktuálně pouze 1.0)
• mode
• dtmf
• voice - implicitní hodnota
• ...
o Element grammar - obsahuje množinu pravidel (elementů rule).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
o ABNF hlavička
• #ABNF verze [kódováni\ #ABNF 1.0 ISO-8859-2
• root $ jméno pravidla; - kořenový neterminální symbol
• language jazyk]
• mode voice|dtmf;
#ABNF 1.0 UTF-8 root $pozdrav; language cs-CZ; mode voice;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
o Levá strana pravidla:
• XML formát
• element rule
o atribut id - jednoznačný identifikátor pravidla obsah - pravá strana pravidla
<rule id=,,pozdravn> ahoj </rule>
• ABNF
• <id-pravidla>
$pozdrav = ahoj;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Pravá strana pravidla
• může obsahovat terminální a neterminální symboly:
• sekvenci
• varianty
• XML formát
• tělo elementu rule <rule id=,,vstupn>
Proved <ruleref uri=,,#prikazy,,/> s parametry <ruleref uri=,,#parametry,,/>. </rule> o ABNF
• $<neterminál> = <pravá strana> $vstup =
Proveď $<http://www.někde.cz/grammar.gram#prikazy>
s parametry $<http://www.někde.cz/grammar.gram#parametry>
nebo
$vstup = Proved $prikazy s parametry $parametry
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
9 Posloupnost terminálních a neterminálních symbolů.
• X -> YZa
a Lze ji rozdělit na logické části. • XML zápis:
• zapsat přímo
<rule id="spojeni">
Chci jet z <ruleref uri="#misto"/>. </rule>
• dělení na logické části
• využitelnost
• počet opakování dané části (atribut repeat)
• sémantická interpretace
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Sekvence
Ukázky
9 XML Formát:
<mle id= " spoj eni11 > Chci jet <item>z <ruleref uri="#misto"/> </item> <item> do <ruleref uri="#misto"/> </item> <item> <ruleref uri=,,#druh"/></item> <item> <ruleref uri=,,#datum"/></item> <item> v <ruleref uri="#cas"/></item>
</rule>
o ABNF zápis:
$spojeni = Chci jet z $misto do $misto $druh
$datum v $cas.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Varianty
• umožňují uživateli zadat jeden z možných vstupů
• Y\Z
• XML zápis:
<rule id="barvy"> <one-of> <item>cervena</item> <item>zelena</item> <item>modra</item> </one-of> </rule>
• ABNF zápis
$barvy = (červenal zelenal modra)
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Umožňuje specifikaci:
• nepovinných částí promluvy
• opakovaných částí promluvy
a XML zápis
• pomocí atributu repeat u elementu item
<rule id="adresa"> www
<item repeat="l-2M>
tečka <ruleref uri="#castAdresy"/> </item>
tečka <ruleref uri="#tld"/> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• ABNF zápis
o za prvek uvedeme počet opakování uzavřený do O
$adresa = www $castAdresy <l-2> $tld $castAdresy = tečka $text
• počet opakování
• číslo - číslo krát
o číslol- číslo2 - číslol - číslo2 krát
• číslo- - číslo - oo krát
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
	vi	1	
o GARBAGE - odpovídá libovolné promluvě až po následující blíže specifikovanou část
• VOID - pravidlo, které nelze vyslovit (zakázaní určité promluvy)
• NULL - pravidlo, které je vždy rozpoznáno (může být i
prázdné)
• XML formát:
• <ruleref special="prawc//o"/> <rule id="spojeni">
<ruleref spe c i al=11 GARBAGE" />
z <ruleref uri="#misto"/> do <ruleref uri="#misto"/> <ruleref uri=,,#prostredekn/> </rule>
• ABNF
• $ pravidlo
$spojeni = $GARBAGE z $misto do $misto $prostredek
Luděk Bártek Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Literatura	
• Specifikace W3C.
• Příklady použité na přednášce (viz složka data ve studijních materiálech v ISu).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
m			
• Sémantika - přiřazuje význam slovům a promluvám.
o Sémantika v dialogových systémech - přiřazuje význam promluvám a jejich částem
• SISR - standard W3C pro zpracování sémantiky promluvy.
• aktuální verze 1.0 publikován - duben 2007
• úzce spjat se standardy
• ECMAScript
• SRGS
• Umožňuje přiřazení základních interpretací částem promluvy a vytváření odvozených interpretací pro nadřazená tvrzen
• přiřazení interpretace částem promluvy
• odvozování interpretace na základech dílčích interpretací
• přiřazení interpretace vstupním polím dialogu
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Přiřazení interpretace části promluvy
• Sémantická interpretace bývá součástí pravidla SRGS.
• K pravidlu přiřazena pomocí elementu/atributu tag. 9 XML formát SRGS gramatiky:
• element tag
<item>
<ruleref uri="souhlas"/><tag>{out='anoJ}</tag> </item>
• atribut tag elementu item
<item tag="ano">jo</item>
• ABNF tvar:
• uveden za interpretovanou část promluvy
• tvar: interpretace
$souhlas = jo {ano}
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Odvozování interpretace na základě dílčích interpretací
9 Zápis pomocí výrazů v jazyce ECMAScript. 9 Přiřazeno k pravidlům pomocí elementu tag.
• Interpretace reprezentována pomocí objektů jazyka ECMAScript.
• Stínové proměnné:
• pro pravidla - objekt rules
• výstup - objekt out
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
	:ákladě dílčích interpretací
<rule id="vlastnictví11 > <item>Mám
<item repeat="0-l">
<ruleref uri="#barva"/> </item>
<ruleref uri="prostredek"/> <tag>{out = rules.barva +        + rules.prostředek;}</tag> </item> </rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity	
Odvozování interpretace na základě dílčích interpretací ABNF gramatika	
$vlastnictvi = mam $barva <0-l> Sprostredek
{out = rules.barva +        + rules.prostředek;}; $barva = (červenou {červena}
Icerveneícervena}
Izelenouízelena}
Izeleneízelena}); Sprostredek = (autoíauto} I kolobezku{kolobezka});
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C Voice Browser Activity
Přiřazení interpretace vstupním polím VoiceXML formuláře
• Využívají se atributy stínového objektu out
a XML formát:
<rule id="vlastnictví"> <item>
Mám <item repeat="0-l"><ruleref uri="#barva"/>
<ruleref uri=,,#prostredek"/>
<tag>
{
out.barva = rules.barva;
out.prostředek = rules.prostředek;
}
</tag> </item> <rule>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity						
I						ím polím VoiceXML formuláře
• ABNF gramatika:
$vlastnictvi = mam $barva <0-l> $prostredek {
out.barva = rules.barva;
out.prostředek = rules.prostředek;
};
$barva = (červenou {červena}I
cerveneícervena}I
zelenouízelena}I
zeleneízelena}); Sprostredek = (autoíauto} I kolobezkuíkolobezka});
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C Voice Browser Activity
Literatura
• Specifikace SISR
• ECMAScript
• Příklady použité na přednášce.
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
unciation Lexicon Specification (PLS)
* Standard W3C
• Aktuální verze 1.0 (říjen 2008)
o Definuje značkování pro specifikaci slovníků výslovnosti pro podporu syntézy a rozpoznávání řeči.
9 Specifikace na stránkách W3C Specifikace na stránkách W3C
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
• Kořenový element - lexicon
o atributy - xmlns - specifikace jmenného prostoru (http: //www.w3.org/2005/01/pronunciation-lexicon)
• xmhlang - jazyk dokumentu
• version - verze dokument (1.0)
• alphabet - abeceda použitá pro fonetický přepis
9 lexeme - obsahuje popis pro jednu lexikální jednotku (slovo, zkratku,. ..
• musí obsahovat aspoň jeden dceřiný element grapheme
• phoneme - obsahuje fonetický přepis dané lexikální jednotky (většinou se používá IPA).
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
<?xml version="l.0" encoding="utf-8"?> <lexicon
version ="1.0" xmlns="..." alphabet="ipa" xml :lang=" en-US11 > <lexeme> <gr apheme >color</gr apheme > <phoneme>
</phonem> </lexeme> </lexicon>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
		y	
o XML format SRGS
<grammar xmlns=". . .11 xml: lang=,,enn version=" 1.0"> <lexicon
uri="http://www.example.com/lexicon.file"/> <lexicon
ur i="http: //www. example . com/lexicon. file11 /> <lexicon
uri="http://www.example.com/strange-city-names.file" type= "media-type" / >
• • •
</grammar>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity			
		y	
• ABNF formát SRGS
#ABNF VI.0 ISO-8859-1; language en-US;
lexicon <http://www.example.com/lexicon.f ile>; lexicon <http://www.example.com/strange-city-names.f ile> <media-type>;
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition PLS Ostatní standardy W3C VoiceBrowser Activity		
	ML	
		
<speak version=" 1.1" xmlns=". . .11 xml: lang="en-US11 > <lexicon uri="lexicon.pls" xml:id="pls"/> <lexicon uri="strange-words .file" xml: id="sw"
type= "media-type" / > <lookup ref="pls"> tokens here are looked up in lexicon.pis
<lookup ref="sw"> tokens here are looked up first in strange-words.file and then, if not found, in lexicon.pis
</lookup>
tokens here are looked up in lexicon.pis </lookup>
tokens here are not looked up in lexicon documents ... </speak>
Luděk Bártek
Dialogové systémy
Speech Recognition Grammar Specification Semantic Intepretation for Speech Recognition
PLS
Ostatní standardy W3C VoiceBrowser Activity
Další standardy W3C VoiceBrowser Activity
• SSML - viz přednáška o syntéze řeči
9 Pronunciation Lexicon Specification - bude probrán příští týden
o Call Control XML - bude probrán příští týden
• State Chart XML - bude probrán příští týden
Luděk Bártek
Dialogové systémy