Organizace předmětu

1. Cíle předmětu.
2. Možnosti ukončení.
3. Kontakty na vyučujícího.
4. Doporučená literatura.
5. Zpracování řeči a přirozeného jazyka na FI MU

Stručná historie zpracování zvuku a řeči

1. Co je to zvuk?
2. Co je to řeč?
3. Studium řeči
4. Historie zpracování a napodobování řeči.
5. Současnost zpracování a napodobování řeči

Akustika

1. Oblasti, kterými se akustika zabývá.
2. Členění akustiky

Slidy

Ukázková data

Akustika - pokračování

1. Fyzikální akustika

Slidy

Fyziologická akustika

1. Základy fyziologické akustiky
2. Mechanismus vytváření řeči
   1. Struktura řečového ústrojí
   2. Činnost řečového ústrojí
3. Vnímání zvuku
   1. Struktura sluchového ústrojí
   2. Činnost sluchového ústrojí
   3. Zpracování zvuku v mozku

Slidy

Fonetika

1. Úvod
2. Základy fonetiky
3. Fonetický přepis
4. Samohlásky
   1. Formanty
   2. Četnosti výskytu
5. Souhlásky
   1. Dělení podle znělosti
   2. Dělení podle způsobu tvorby
6. Koartikulace

Slidy

Digitalizace zvuku (slidy)

1. Principy a parametry digitalizace zvuku
2. Fáze digitalizace zvuku
   1. Vzorkování
   2. Kvantizace
   3. Kódování průběhu vlny

Analýza signálu (slidy)

1. Metody krátkodobé analýza signálu
   1. principy
   2. mikrosegment
   3. potlačování chyb způsobených použitím mikrosegmentu
2. Zpracování signálu v časové oblasti
   1. Funkce krátkodobé energie
   2. Funkce krátkodobé intenzity
   3. Funkce středního počtu průchodů nulou
   4. Diferenční klasifikátory
   5. Autokorelační funkce
3. Zprocování signálu ve frekvenční oblasti
   1. Principy
   2. Fourierovy řady
      1. DFT
      2. FFT
   3. Kepstrální analýza
   4. Lineární prediktivní analýza

Data použitá na přednášce

Rozpoznávání řeči

1. Úkoly rozpoznávání řeči
2. Rozpoznávání izolovaných slov
   1. Obecný postup
   2. Klasifikátory
      1. DTW
      2. HMM

Slidy

Rozpoznávání řeči

1. Rozpoznávání izolovaných slov
   1. HMM
2. Rozpoznávání plynulé promluvy
   1. Úvod
   2. Jazykové modely
   3. Metody používané pro zvýšení úspěšnosti
      1. rozpoznávání tématu
      2. gramatiky pro podporu rozpoznávání řeči

Slidy

Syntéza řeči

1. Cíl syntézy řeči.
2. Druhy syntézy řeči
   1. Syntéza ve frekvenční oblasti
   2. Syntéza v časové oblasti
      1. Korpusová syntéza
      2. Problémově orientovaná syntéza
3. Fáze syntézy řeči
4. Fonetický přepis
   1. Fonetické abecedy
   2. Pravidla pro fonetický přepis
5. Syntéza ve frekvenční oblasti
   1. Principy syntézy ve frekvenční oblasti
   2. Kódování zdroje
   3. Výhody/nevýhody
   4. Syntetizér formatového typu
   5. LPC syntetizér
6. Syntéza v časové oblasti
   1. Základní princip
   2. Používané řečové segmenty
      1. Alofóny
      2. Difóny
      3. Trifóny
      4. Slabičné segmenty
      5. Segmenty získané z korpusu
      6. Rámce a sloty

Slidy

Ukázková data

Syntéza v časové oblasti

1. Princip
2. Používané řečové segmenty
3. Fáze syntézy v časové oblasti
4. Korpusová syntéza
5. Syntéza na bázi rámců

Slidy, Ukázky

Syntéza řeči - následné zpracování

1. Prozódie
   1. Prozodické vlastnosti
      1. Základní prozodické vlastnosti
      2. Odvozené prozodické vlastnosti
   2. Prozodické segmenty mluvené řeči
2. Standardy pro značkování prozodických vlastností
   1. SABLE
   2. SSML

Slidy, Ukázky

Dialogové systémy

1. Motivace
2. Historie
3. Aktuální stav
   1. FI MU
   2. ČR
   3. Svět
   4. Oblasti použití
   5. Ukázky dialogových systémů
4. Základní pojmy
5. Dialogový systém
   1. Charakteristika
   2. Struktura
      1. Komponenty
      2. Používané informace

Dialogová komunikace

1. Dialogová strategie
2. Pravidla pro vedení kooperativního dialogu (H.P. Grice)
3. Aspekty komunikadce dialogového systému
4. Iniciativa v dialogu
5. Zpětná vazba v dialogovém systému
6. Další aspekty dialogových strategií a dialogových rozhraní

Slidy

Implementace dialogových systémů

1. Přístup k dialogovému systému
2. Komponenty dialogvých rozhraní
3. VoIP
   1. H.323
   2. SIP
4. Podpora rozpoznávání řeči
   1. JSGF
   2. SRGS
5. Sémantická interpretace promluvy
   1. JSGF
   2. SISR
6. Popis dialogových rozhraní
7. Syntéza řeči
8. Platformy pro implementaci dialogových rozhraní
   1. On-line
   2. Desktopové

Slidy

Standardy W3C VoiceBrowser Activity Working Group

1. Historie
2. Standardy W3C VoiceBrowser Activity WG
3. VoiceXML
   1. Základní informace
   2. Architektura VoiceXML aplikací
   3. Struktura VoiceXML aplikací
   4. Základní elementy jazyka

Slidy

Ukázky

Prezentované jednoduché DS.

Standardy W3C Voice Browser Activity

• Speech Recognition Grammar Specification
• Semantic Interpretation for Speech Recognition
• Speech Synthesis Markup Language
• Pronounciation Lexicon Specification
• Call Control XML
• State Chart XML

Slidy

Ukázky

Multimodalita

• Úvod
• Kanály pro multimodální komunikaci počítač ⇔ člověk.
• Nástroje a standardy pro implementaci multimodálních dialogových rozhraní.
• Architektura multimodálního dialogového rozhraní a její komponenty
• Standardy W3C MMI WG
  • EmotionML
  • Multimodal Architecture and Interfaces
  • InkML
  • EMMA
• Příklady implementací standardů W3C MMI WG

Dialogové systémy a emoce

• Co jsou to emoce?
• Druhy emocí
• Detekce emocí
• Využití emocí v dialogových rozhraních

Slidy

Ukázky