Počítačové zpracování emocí Affective computing http://www.symbinatur.com/obrazky/texty/1110/1.jpg Affective Computing affective computers: computers that have the ability to express emotions, recognize emotions, and whose behavior is modulated by emotional states. Emoce & dialogové systémy •Detekce emocionálního stavu uživatele pro DS informačního typu: • Klidný – spěchá – je rozčilený •Detekce typu uživatele, přizpůsobení dialogové strategie •Souvislost s prosodií •Detekce emocionálního stavu pro linku první pomoci, policii apod. • •Dialogové systémy na letištích •DS pro výuku (kdy se uživatel nudí, kdy je napjatý, unavený apod.) •Umělá – počítačová empatie •Automobilové systémy •Systémy bojových letadel a vrtulníků, simulace vojenských operací •Atd.. Affective computing - cíle •Umožnit strojům (počítačům) poznat a interpretovat emocionální stav uživatele a přizpůsobit své chování takovým způsobem, aby poskytly uživateli vhodnou odpověď •Umožnit monitorování emocí uživatelů počítačových systémů za účelem získávání dat pro zlepšení návrhu uživatelského rozhraní a případně pro další psychologický a sociologický výzkum Detekce a rozpoznání emocí •Pasivní senzory pro zachytávání dat o fyzickém stavu nebo chování uživatele bez pokročilé interpretace (podobné lidskému vnímání) –Videokamera zachytávající gesta v obličeji –Mikrofon pro zachytávání způsobu řeči •Aktivní senzory pro přímé zachytávání fyziologických dat o uživateli s pozdější analýzou a interpretací –Měření teploty –Měření galvanické resistence Modelování emocí •Vývoj výpočetních zařízení pro projevování emocí –Simulování předem daných emocí –Přesvědčivé napodobování emocí •Simulace emocí v konverzačních agentech pro obohacení a podporu interakce člověka s počítačem •Emoce v lidech řízeny nárůstem hladin hormonu a jiných neuropeptidů •Emoce v počítačích simulovány pomocí množiny stavů a stavových přechodů Emoce v řeči •Zpracování emocí v řeči – rozeznání emocionálního stavu uživatele analýzou charakteristických vzorků v řeči •Využití emocionální modulace hlasu v syntezátorech řeči –Větší přirozenost –Vyšší vyjadřovací schopnost –Možnost přizpůsobit tón hlasu různým uživatelským profilům (dospělý x dítě) Emoce v gestech obličeje •Detekce a zpracování obličejových gest se provádí různými technikami –Optické toky –Skrytý Markovův model –Neuronové sítě –Model aktivních jevů •Lze také kombinovat rozpoznání emocí na více smyslových orgánech dohromady (multimodální rozpoznání emocí) pro přesnější odhad –Obličejová gesta a prozódie řeči –Obličejová gesta a gesta rukou • Řeč těla – postojová gesta •Pozice těla a jejich změny •Velké množství metod •Největší důraz kladen zpravidla na gesta rukou •Tradiční využití 3D snímání •Technologická i uživatelská náročnost •Většinou jako doplnění jiných metod (např. rozpoznání hlasu) Emoce & syntéza řeči •Detekce a interpretace emocionální informace je nezbytná pro prosodii •Syntéza řeči by se kvalitou měla přiblížit řeči člověka – kterého? Emoce & rozpoznávání řeči •Vytváření modelů uživatele integrujících emoce (a prozodii) může podstatně zlepšit úspěšnost rozpoznávání přirozené řeči Senzory E:\coll\emouse3.jpg • Detekce a rozpoznávání emocí •Snímání a analýza obrazu (výraz, gesta apod.) •Analýza řeči (prozodie, prozodické atributy) •Senzory • Senzory •Galvanic Skin Response (GSR) • •Blood Volume Pulse • •Respiration • •Electromyogram (EMG) • E:\coll\gsr.jpg E:\coll\bvp.jpg E:\coll\resp.jpg E:\coll\EMG.jpg GSR • http://affect.media.mit.edu/AC_research/images/gsr2.jpg tlak -tep http://affect.media.mit.edu/AC_research/images/bvpsmall.jpg respirace http://affect.media.mit.edu/AC_research/images/resp.gif elektromyogram http://affect.media.mit.edu/AC_research/images/emg2.jpg Senzor pro měření krevního tlaku The BVP earring Senzor pro měření galvanického napětí kůže GSR shoes http://blog.pcnews.ro/wp-content/photo/gsr.jpg hněv / smutek E:\coll\Ang_Gri_Day2.jpg Korpusy a databáze Yale Face Database - happy Yale Face Database - sad Yale Face Database - sleepy Yale Face Database - surprised http://www.hospudka.net/wp-content/uploads/2010/04/emoce-chucka-norrise.jpg Co jsou emoce? •This is a very tough question, that has produced significant amounts of headaches to scientists in the past … •… many researchers have opted to study • systematically phenomena that most consider emotional. • (Laval University Quebec) René Descartes •“Only mathematics is certain, •so all must be based on mathematics”. • •Primary/secondary emotions. •Big six: Anger, Disgust, Happiness, Sadness, Fear, Surprise • E:\coll\Descartes.jpeg emoce •Arnold: Anger, aversion, courage, dejection, desire, despair, fear, hate, hope, love, sadness •Ekman, Friesen, and Ellsworth: Anger, disgust, fear, joy, sadness, surprise •Frijda: Desire, happiness, interest, surprise, wonder, sorrow •Gray: Rage and terror, anxiety, joy •Izard: Anger, contempt, disgust, distress, fear, guilt, interest, joy, shame, surprise •James: Fear, grief, love, rage •Panksepp: Expectancy, fear, rage, panic emoce •Arnold: Anger, aversion, courage, dejection, desire, despair, fear, hate, hope, love, sadness •Ekman, Friesen, and Ellsworth: Anger, disgust, fear, joy, sadness, surprise •Frijda: Desire, happiness, interest, surprise, wonder, sorrow •Gray: Rage and terror, anxiety, joy •Izard: Anger, contempt, disgust, distress, fear, guilt, interest, joy, shame, surprise •James: Fear, grief, love, rage •Panksepp: Expectancy, fear, rage, panic • •University of Geneva (Klaus Scherer) •Laval University, Quebec (Arvid Kappas) •Queen’s University, Belfast (R. Cowie) •M.I.T. Media Laboratory (R. W. Picard) •IBM (Almaden Labs) •University of California, Berkeley • Vizualizace emocí http://poseidon.csd.auth.gr/LAB_RESEARCH/Latest/imgs/HCI_img2.jpg Modelování emocí •konečněstavové diskrétní a pravděpodobnostní modely •skryté Markovovy modely •spojité modely •à matematické modely dialogu a dialogových systémů • • • • • • • • • • • • • • • • • • • • •S0 •S1 •S2 •Si •X •Y • • • • • • • • • • • • • • • • • • • • •S0 •S1 •S2 •Si •X •Y Mealyho automaty • A = (A, X, Y, l, d) • A, X, Y konečné neprázdné množiny • d : A ´ X ® A - přechodová funkce • l : A ´ X ® Y – výstupní funkce • A – množina stavů • X, Y – množiny vstupních a výstupních symbolů • Poker •5 karet určuje sílu • • • •Sázku lze vzdát (fold), vyrovnat (call), zvýšit (raise) E:\coll\StartbildPoker.jpg E:\coll\royal.gif Atributy stavů (AS ): •AS1 - karty •AS2 – výše sázky • AS3 – míra sebedůvěry • AS4 – karty protihráče • AS5 - plán • Hodnoty atributů •AS1 - karty: špatné, střední, dobré •AS2- sázka: nízká, střední, vysoká •AS3 – míra sebedůvěry: nízká, střední, vysoká •AS4 – karty protihráče: špatné, střední, dobré •AS5 - plan: copatrný, riskantní, blafování • VV atributy (herních kroků) (AX) •AX1 - výběr: call, raise, fold; •AX2 - prosodie_sebedůvěra: nízká, střední, vysoká •AX3 - prosodie_kredibilita: nízká, střední, vysoká •AX4 - prosodie_vzrušení: nízké, střední, vysoké • Fragment stavů E:\coll\tab1.bmp Fragment VV – herních kroků E:\coll\tab2.bmp Př. strategie: •zkušený hráč: •d(s1, x1) =s2, l(s1, x1) = x2, •d(s3, x1) =s4, l(s3, x1) = x3; • •novic: •d(s5, x4) =s2, l(s5, x4) = x5, •d(s7, x4) =s8, l(s7, x4) = x6; • • Využití affective computing •E-learning (automatické přizpůsobení stylu výkladu podle audience) •Psychologická zařízení (stanovení emočního stavu pacienta) •Robotické systémy (vyšší flexibilita v komplexních prostředích) –Digitální mazlíčci (věrnější simulace chování a vyšší stupeň samostatnosti) •Sociální monitorování (např. monitorování emocí řidičů na silnicích) •Emoční „zrcadla“: stroje simulující chování uživatele •Automatický výběr hudby podle nálady posluchače, …