Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
PB095 - Uvod do počítačového zpracování řeči
Luděk Bártek
Fakulta Informatiky Masarykova Univerzita Brno
podzim 2014
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Organizace předmětu
Stručná historie zpracování zvuku a řeči
Akustika
Uvod do počítačového zpracování ř
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika	
Cíle předmětu	
Seznámení s oblastmi:
• digitálního zpracování zvuku
• v časové oblasti
• ve frekvenční oblasti
• převod signálu z časové do frekvenční oblasti
• syntézy řeči
• rozpoznávání řeči
• dialogových systémů
Uvod do počítačového zpracován
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Organizace před m
• Dvouhodinová přednáška
• Možnosti zakončení:
• zkouška - písemka + ústní zkouška, termíny budou vypsány v IS MU během prosince
• kolokvium - ústní rozprava na danou prakticky orientovanou otázku z oblasti zpracování zvuku
• zápočet - závěrečný test během zkouškového období
Uvod do počítačového zpracování ř
	Organize	ice předmětu
Stru	zná historie zpracování	zvuku a řeči
		Akustika
• Luděk Bártek
• e-mail: bar@fi.muni.cz
• kancelář: A209
• konzultace viz osobní stránka v ISu
(https://is.muni.cz/auth/osoba/2154#vyuka)
Uvod do počítačového zpracován
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Doporučená literatura
• J. Psutka et al, Mluvíme s počítačem česky, Academia 2006
• J. Psutka, Komunikace s počítačem mluvenou řečí, Academia, Praha, 1995
• Z. Kotek, V. Minařík, Metody rozpoznávání a jejich aplikace, Academia, Praha, 1993
• T. Dutoit, An introduction to Text-to-Speech Synthesis, Kluwer Acad. Publ., 1999
• M. R. Schroeder, Computer Speech, Springer 1999
• Původní stránky předmětu
(http://www.f i.muni.cz/~kopecek/upzr.htm) doc. Kopečka
• Stránky Voice Browser Activity (http://www.w3.org/Voice)
Uvod do počítačového zpracování ř
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Zpracování řeči a přirozeného jazyka na Fl MU
• Laboratoře LSD, NLP
• http://lsd.fi.muni.cz/
• http://nlp.fi.muni.cz/
Akustický signál.
Jedná se o kmitavý pohyb molekul pružného prostredí.
• vzduch
• voda o kov
• ...
Vyvolán odporem prostředí - vede k opakovanému stlačován prostřed í.
Podrobněji v části fyzikální akustika.
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Ukázka zvuku
Zvuk klepnutí na plastové tělo počítače (images/klepnuti-plast.wav)
Akustický signál a gesta sloužící ke komunikaci.
Obsahuje definované vzory (slova), která jsou dána jazykem.
Velmi rozvinutý u člověka.
• Příznaky schopnosti tvorby artikulované řeči již u Australopitéka ( -3 milióny let).
• Slouží ke sdělování: myšlenek, pocitů, emocí, ...
• myšlenek - " Dnes budeme probírat láčkovce."
• pocitů - "Je mi krásně.", "Radši se ke mně ani nepřibližuj!",
• emocí - "Au!" , " Jé!" ,
Určité formy akustické komunikace (řeči) lze pozorovat i u dalších vyšších živočichů:
• způsob zajištění kooperace při získávání obživy (delfín, vlk, ..
• vábení partnera (jelen, ...)
• vyjádření emočních stavů (pes, opice, ...).
Uvod do počítačového zpracování ř
Organ
Stručná historie zpracovs
Studium ře
• fyzika - akustika
• biologie - medicína (fyziologie, fyziologická akustika)
• jazykověda - fonetika
Schopnost artikulované řeči - australopitekus - cca. -3 000 000 let
Starověk - budování mluvících soch
Galileo Galilei - souvislost mezi tónem a frekvencí
1779 - Christian Gottlieb Kratzenstein - systém rezonátorů pro
samohlásky a, e, i, o ,u
	Organize	ice předmětu	
Stru.	čná historie zpracování	zvuku a řeči	
		Akustika	
Přehled historie zpracování a napodobování řeči
• 1791 - (Johann) Wolfgang von Kempelen (de Pázmánd) -první mechanický řečový syntetizér
• 1835 - zrekonstruován a upraven Wheatonem - navíc pružná " ústní dutina".
• 1846 - J. Faber - mluvící stroj Euphonia
	Organize	ce předmětu	
Stru	čná historie zpracován	zvuku a řeči	
		Akustika	
Přehled historie zpracování a napodobování řeči
• 1937 - R. R. Riesz - mechanický mluvící stroj
• 1939 - H. Dudley
• VODER - elektromechanický řečový syntetizér
• VOCODER - systém pro kódování a přenos řeči
Modulátor
Carrier
jmi
BanddDDT-laatfilters
t T
• 50. léta 20. století - syntéza ve frekvenční oblasti
• později v časové oblasti
• 70. léta 20. století - počítačové zpracování zvuku
Luděk Bártek PB095 - Uvod do počítačového zpracování řeči
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika	
Historie analýzy řeči	
• 19. století porozumění principů tvorby a zpracování řeči (rezonanční teorie, základy fonetiky):
• J. B. Fourier - Fourierova věta
• principy spektrální analýzy zvuku
• H. Helmholtz
• fyziologie vnímání hudby
• Helmholtzů rezonátor
• J.R. Ewald - fyziologie sluchu.
Luděk Bártek
Uvod do počítačového zpracování řeči
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Historie analýzy ře<
• Dvacáté století:
• 1924 - spektrální analýza řeči na bázi formantové analýzy samohlásek
• Vokodéry - komprese řečového záznamu
• 1946 - 47 zařízení pro grafické zobrazení řeči
• 2. polovina 20. století - intenzivní rozvoj teorie a počítačových aplikací
Uvod do počítačového zpracování ř
Organ
Stručná historie zpracovs
Spektrum zvuk
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Současnost
• Syntéza řeči:
• komerční TTS:
• AT&T Natural Voices
• IBM Research TTS
• Loquendo TTS
• nekomerční TTS:
• MBrola
• Festival
• Demosthenes
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
Současn
• Rozpoznávání řeči:
• izolovaných slov
• souvislé promluvy
• komerční: Dragon, ViaVoice Desktop Products
• nekomerční: Sphinx4, ...
• Dialogové systémy
• Infocity Liberec (TU Liberec, Prof. J. Nouza), v letech 1998 — 2001 na dostupne na tel. 485353100
o Ml T Cambridge, Spoken Language System Group
• Aktuální seznam veřejně dostupných projektů viz http://web.sis.csail.mit.edu
Uvod do počítačového zpracován
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika	
Fl MU	
• Syntéza a rozpoznávání řeči
• Demosthenes
• N LP - čeština pro syntetizér MBrola - využit řečový korpus CLAP
• Asistivní technologie:
• Audi-C - dialogové programování v C++
• Audis - řečový hypertextový prohlížeč a ...
• Dialogové systémy
• WebGen (http://lsd.fi.muni.cz/webgen/) - dialogové generování webových prezentací
• GATE (http://lsd.fi.muni.cz/gate/) - dialogové kreslení obrázků, dialogové prohlížení obrázků, zvukové zobrazení obrázků
• ...
• Spolupráce s laboratořemi NLP, VR, ...
Luděk Bártek
'B095 - Uvod do počítačového zpracování řeči
• Z řeckého akustikos - vztahující se k slyšení.
• Věda zabývající se zvukem.
• Akustika zkoumá zvuk z hlediska:
• fyzikálního (fyzikální akustika) - zvuk jako fyzikální vlnění
• rychlost šíření, vztah mezi různými fyzikálními veličinami zvuku, šíření zvuku, ...
• fyziologického (fyziologická akustika) - tvorba a vnímání řeči u člověka
• hudebního (hudební akustika) - zvuky a jejich kombinace s ohledem na potřeby hudby
• jak lidem zní kombinace a sekvence zvuků a tónů, ...
• molekulárního (molekulární) - vztah molekulární struktury a akustických vlastností
• k měření se využívá hyperzvuk (>100 MHz).
• zpracování zvuku na počítači (počítačová akustika) - digitální zpracování zvuku.
Uvod do počítačového zpracování ř
Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika
• Během semestru se budeme zabývat:
• fyzikální akustikou
• fyziologickou akustikou
• počítačovou akustikou
Uvod do počítačového zpracování ř