Imerzivní virtuální realita ve výzkumu
Čeněk Šašinka
Department of Information and Library Studies
Obsah
● VR a ekologická validita
● Oblasti užití VR
○ psychodiagnonostika
○ výzkum body-image a Protéusův efekt
○ Výzkum sociální interakce, komunikace a kolaborace
○ Výzkum morálních dilemat
○ Výzkum a užití VR v oblasti terapie
○ Výzkum nakupování ve VR
○ VR jako nástroj pro vizualizaci vědeckých dat
○ VR jako nástroj simulace letu - výzkum rozhodování pilotů a členů posádky
○ VR jako nástroj pro výzkum vnímání
○ VR a eye tracking
● Evakuace
● Úkol
Virtuální Realita (VR) jako výzkumný nástroj
● Jaké jsou výhody využití VR ve výzkumu
○ kontrola výzkumných podmínek - všichni participanti mohou být zkoumani za zcela identické
situace
○ VR zároveň nabízí možnost zobrazovat komplexní a realistické prostředí
○ manipulace s nezávislou (intervenující proměnnou) - rozhodujeme jednoduše o míře působení
zkoumaných proměnných např. můžeme měnit velikost objektů, detailnost, množství objektů ve
scéně apod.
○ vysoká míra imerze, tzn. uvěřitelnost situace pro zkoumané osoby
○ izolace od vnějších rušivých podnětů
○ automatické logování (záznam) a vyhodnocování akcí uživatele
○ možnost zajistit vysokou míru tzv. “ekologické validity”
■ mnoho výstupů vědeckých výzkumů není tzv. ekologicky validní, i když jsou přísně
kontrolovány podmínky. Např. úroveň pozornosti se měří tak, že zkoumaná osoba
monotónně “kliká” na určené jednoduché tvary, které se objeví mezi tvary trochu jinými. Ale
jsou opravdu lidé, kteří umí dobře klikat v takové situaci, obecně vysoce pozorní? Např. při
řízení letového provozu? VR nabízí právě realistické simulace, které jsou podobné reálným
podmínkám. Tudíž, ekologicky validní.
Výzkum možnosti využívání VR pro psychologickou
diagnostiku
● Co to je vlastně psychologická diagnostika? Asi znáte některé testy, např. testy inteligence. Cílem
diagnostiky je zjistit úroveň vlastnosti nebo schopnosti jedince (např. intelekt, paměť, pozornost,
schopnost plánovat, bezpečné jezdit apod.)
● Pro tyto účely jsou vytvořeny různé testy. Někdy tužka - papír, někdy jsou administrované
počítačem. Většinou ale plníte relativně abstraktní úlohy, např. řadíte obrázky, hledáte analogie.
A z toho se usuzuje např. na intelekt. Je to taková hra, kdy pouze psycholog-diagnostik zná
pravidla a správné řešení.
● VR umožní vytvářet také takové simulace, ale mnohem více komplexní. Co třeba diagnostikovat
strategické uvažování tak, že jedinec bude řešit opravdu komplexní problém? Předchůdcem v
žánru Sci-Fi může být např. simulace “Kobayashi Maru” nebo “ENDEROVA HRA”
● A příklad skutečného výzkumu diagnostiky ve VR - např. Virtual reality for psychological
assessment in clinical practice.
Výzkum body-image ve VR
● V rámci výzkumu se využívá mj. možnosti, že lze různě uzpůsobovat avatara
(reprezentace člověka ve VR). Člověk tak může být tím, čím chce. Či spíše,
vypadat, jak chce.
● Řada výzkumu se zaměřuje na oblast anorexie (viz odkaz). Výzkumníci mohou
např. manipulovat s “váhou” avatara a sledovat, jak se projeví následně skutečné
vnímání vlastního těla u participantů.
A Virtual Reality Full
Body Illusion Improves
Body Image Disturbance
in Anorexia Nervosa
Protéusův efekt
● PE (Proteus effect) je tendence lidí nechat se ovlivnit svou digitální reprezentací,
jakou je např. jejich avatar ve VR
● Příkladem je výzkum (viz níže), kdy bylo zjištěno, že pokud měl jedinec k
dispozici více atraktivního avatara, tak se více zapojoval do sociálních interakcí
● meta-studie k tématu
The Proteus Effect:
Influence of Avatar
Appearance on Social
Interaction in Virtual
Environments
Výzkum sociální interakce, komunikace a
kolaborace I
● online multiplayer VR nabízí unikátní možnost zkoumat sociální procesy
● Dva či více lidí může spolu ve VR interagovat, komunikovat a řešit společně
úkoly
● Jistě, jsou zde rozdíly oproti skutečnému prostředí, ale mnoho fenoménů se
může projevit ve své “čisté” podobě či jsou lépe pozorovatelné.
sketch box
Výzkum sociální interakce, komunikace a
kolaborace II
● Co vše lze zkoumat?
○ udržování prostorové distance (proximita) od sebe navzájem (avatarů)
○ způsob, jak se jedinci zapojují do řešení nějakého úkolu, např. designu parku
○ role jedinců při interakci (dominantní, podpůrná apod).
○ míra verbální komunikace, frekvence změny řečníka, délka mluvení v kuse
○ apod.
○ V odkazu jsou uvedeny různé typy multi-user aplikací pro VR
různé multi-player aplikace
Výzkum morálních dilemat ve VR
● Jaký je typický design u tzv. “morálních dilemat”?
● Vidíte, že se vlák řítí po koleji na skupinu 5 osob, které již nemají šanci uhnout. Pokud nic
neuděláte, zemřou. Můžete přehodit výhybku, ale na druhé koleji je jeden jiný člověk. Ten
by potom zemřel. Jak se zachováte? Toto je tzv. Trolley dilemma.
● VR nabízí realistické prostředí, které může přiblížit rozhodování zkoumaných osob tomu,
jak by se mohly rozhodovat v reálné situace.
● Jedním z témat v současnosti v kontextu morálních dilemat je chování autonomních
vozidel, kterým musí být rovněž nastavena pravidla. I pro tuto oblast se užívá VR, aby bylo
detekováno typické rozhodování lidí. Human Decisions in
Moral Dilemmas are
Largely Described by
Utilitarianism: Virtual Car
Driving Study Provides
Guidelines for
Autonomous Driving
Vehiclesaction in Virtual
Výzkum a užití VR v oblasti terapie I
● Jaká je výhoda využití VR pro psychoterapii? Například skutečnost, že expozice kritickými podněty probíhá v
bezpečném prostředí a rovněž je možné “dávkovat sílu expozice. Používá se pro různé typy poruch (mj.
posttraumatickou stresovou poruchu) a rovněž pro různé typy fobií
● Psychoterapie - strach z výšek
○ video ~ 1
■ Freeman, D., Haselton, P., Freeman, J., Spanlang, B., Kishore, S., Albery, E., … Nickless, A. (2018).
Automated psychological therapy using immersive virtual reality for treatment of fear of heights: a
single-blind, parallel-group, randomised controlled trial. The Lancet Psychiatry, 5(8), 625–632.
○ řešení samsung OZY5
řešení FEROX VR TEAM
Výzkum a užití VR v oblasti terapie II
● psychoterapie - strach z pavouků
○ video ~ 1
○ video ~ 2
○ řešení ~ 1
■ Almeida J., Suárez D., Tapia F., Guerrero G. (2018) Use of Virtual Reality Using Render Semi-realistic as an
Alternative Medium for the Treatment of Phobias. Case Study: Arachnophobia. In: Florez H., Diaz C., Chavarriaga J.
(eds) Applied Informatics. ICAI 2018. Communications in Computer and Information Science, vol 942. Springer,
Cham
Augmented Therapeutics: Designing an
Augmented Reality Platform for
Arachnophobia Treatment
A) Expozice reálným pavoukem
B) Expozice ve VR
C) Rozšířená realita - jedinec vidí svou ruku a do brýlí
pro rozšířenou realitu se mu promítá obraz pavouků
Výzkum nakupování ve VR
● Jednou z oblastí v aplikované, či spíše v komerční sféře je výzkum nákupního chování
jedinců v obchodech.
● Může se jednat o výzkum dílčích produktů, např. výběr jedné značky vloček z regálu mezi
jinými, ale lze sledovat i chování celkově, průchod celým obchodem.
● Proč je VR pro tuto oblast zajímavá? Představte si, že jdete koupit láhev vína a procházíte
kolem regálu, kde je stovky značek. Při výběru padne na láhev tak půl vteřinu Vaši
pozornosti. Jak musí láhev/obal vypadat, abyste si zvolil právě tuto jednu značku?
● Výzkumníci níže zkoumali, jaký význam má samotná imerze na chování (srovnávali
imerzivní a neimerzivní VR
Shopping in Virtual
Reality Stores: The
Influence of Immersion
on System Adoption
VR jako nástroj pro vizualizaci vědeckých dat
● Jednou z oblastí, kde nabízí VR velký potenciál je vizualizace dat a práce s nimi. Pro
výzkumníky je klíčové, aby mohli data nejen získávat, ale rovněž, aby měli nástroje, jak je
zkoumat - explorovat. V datech se snaží nalézt nápadnosti, pravidelnosti, vztahy, příčiny a
důsledky. Získaná data je ve VR možné zobrazit ve třech dimenzích a efektivně s nimi
manipulovat.
Game-Engine-Assisted
Research platform for
Scientific computing
(GEARS) in Virtual
Realityn on System
Adoption
VR jako nástroj simulace letu - výzkum rozhodování
pilotů a členů posádky
● Letectví je další oblastí, kde VR nachází uplatnění
● V bezpečném prostředí VR a simulace lze zkoumat jakým způsobem se piloti rozhodují a
především, za jakých okolností se dopouští jakých chyb
Weather Hazar eather
Hazards in Gener ds in
General Aviation: Human
F viation: Human Factors
Resear ors Research to
Understand and Mitigate
the Problem
VR jako nástroj pro výzkum vnímání
● Psychologie se dlouhodobě zaměřuje na výzkum vizuálního vnímání. Vždy bylo ale obtížné
udělat kompromis právě mezi snahou o maximální kontrolu experimentální situace (která
vede často ke zjednodušení) a výzkumu v reálných podmínkách (kde zase vstupuje mnoho
intervenujících proměnných). VR nabízí vhodný kompromis.
● Jednou z oblastí výzkumu je porovnání kultur. Vnímají různé kultury různě, či lze nalézt
odlišnosti ve vnímání? Např. zde
● Aktuální výzkumný projekt na FF MU se zaměřuje právě na výzkum rozdílů ve vizuálním
vnímání mezi západní (Evropa, Severní amerika) a východní kulturou (Čína, Japonsko
apod.). Teorie praví, že lidé ze západu věnují více pozornosti hlavním objektům ve scéně.
Pro tyto účely jsme vytvořili experiment ve
virtuální realitě a zároveň máme integrovaný do
VR brýlí eye tracking zařízení. Eye tracking
zařízení sleduje to, kam koukáme. Takto jsme
schopni změřit, kam a jak dlouho se opravdu lidé
ve scéně koukají. A zda tam rozdíly mezi
kulturami opravdu existují.
VR a eye tracking
● video ~ 1
● video ~ 2
● video ~ 3
Eye tracking pracuje tak, že zaznamená pozici oko, kam se člověk v daný
okamžik kouká. Tyto jednotlivé pozice se potom dají sčítat a tak lze získat “mapu”
toho, jak jedinec viděl scénu. Na jaké objekty se koukal, jak dlouho a jaké naopak
ignoroval.
VR jako nástroj pro výzkum orientace v prostředí a
specificky evakuačního chování
● VR nabízí možnost zkoumat rovněž orientaci v prostředí a simulovat, jak se např. lidé
dostávají z budov v krizové situaci
● Aktuálně MU a VUT řeší projekt právě na toto téma
○ Kognitivní psychologie a prostorová syntaxe ve virtuálním prostředí pro agentní
modely
Kognitivní psychologie a prostorová syntaxe ve
virtuálním prostředí pro agentní modely
● cílem projektu je optimalizovat nástroj pro agentní simulace únikového chování
● před tím, než se nějaká budova či komplex postaví (nádraží, campus apod.) je nutné ověřit,
že např. v případě požárů bude možné dostatečně rychle evakuovat celý objekt, aby se
minimalizovaly ztráty na životech. Agentní simulace (viz další slidy) může být velice silný
nástroj predikce
● Ale i samotný nástroj (agentní simulace) potřebuje být postaven spolehlivých datech o
skutečném lidském chování
● Jaké jsou možnosti, jak získat data?
○ Záznamy z reálných událostí (není jich mnoho)
○ Simulace v reálných podmínkách (nákladné a potenciálně nebezpečné)
○ Simulace ve VR (Otázka zní, jak moc je chování ve VR srovnatelné s reálným)
Reálné
chování při
evakuaci
Simulace
v reálném
prostředí
Simulace
ve VR
?
=
?
=
agentní
simulacepredikce
Koncepce výzkumu
Snahou je, ještě před tím, než se
postaví budova, udělat agentní simulaci,
která by měla predikovat dostatečně
přesně, jak se budou lidé v dané bodově
chovat, resp. unikat.
Agentní simulaci je třeba kalibrovat. A)
na základě reálných dat - ale, ty nejsou
pro danou neexistující budovu; B) na
základě simulace v reálné (podobné)
budově - to je ale organizačně náročné;
C) simulací ve VR.
Ale před tím, než bude moci být použito
řešení - simulace ve VR, je třeba ověřit,
jak moc stejně se lidé chovají ve VR
simulaci a v real simulaci. Či ještě lépe,
jak moc blízko má VR simulace k
reálnému chování při reálné evakuaci
Agentní simulace I: Agentní modely pro simulaci
evakuace
● ukázka simulace pathfinder A, B
Agentní simulace II: Agent Based Simulation (multi
agent simulation)
● Komputační model simulující chování
autonomních agentů (jedinců či kolektivů) a
jejich interakci s cílem zkoumat chování
systému jako celku. Cílem je získat vhled
do kolektivního chování agentů, kteří
užívají jednoduchá pravidla.
● Oblast užití je např. výzkum a predikce
aktivitně-dopravního chování
● AgentPolis
● MATSim
Jaká data lze ve VR simulaci (evakuace) sbírat?
Chování uživatele
● trasování - lokalizace polohy v čase
● rotace - otáčení hlavy ve virtuálním prostředí
● eye-tracking - sledování pohledu
● interakce/manipulace s objekty prostředí
● Co je výstupem?
○ log-file - záznam typu aktivit jedince v čase
■ např. kde a jak douhou stál; jak dlouho trvalo ujít daný úsek
■ kam koukal, s jakými objekty manipuloval (otevírání dvěří
apod.)
Výsledná data
Získáme metriky o pohybu a
můžeme je různě zobrazovat a
popř. srovnávat pomocí
statistických analýz
Úkoly a jak pracovat s prezentací
● Pro ukončení předmětu je důležité to, co je přímo zmíněno v prezentaci. Ale
zároveň, v rámci prezentace je mnoho odkazů, které můžete použít, pokud vás
konkrétní téma více zaujme
● Úkol nad rámec prezentace: sami navrhněte, jak by mohla být VR použita ve
výzkumu. V jaké oblasti je zcela na Vás. Zpracujte ve formě krátké anotace.
○ Co by se zkoumalo
○ Jak by muselo vypadat VR řešení, co by muselo mít za funkce
○ Jak by chování ve VR měřilo, jak by se data zpracovala
○ Fantazii se meze nekladou
○ Limit je jedna normostrana
● Máte zájem se zapojit do výzkumu s využitím VR či jiných technologií?
○ Jako výzkumníci - možno navázat i na bc/mgr práce
○ Jako participanti - vyzkoušet si technologii v praxi a třeba se inspirovat
○ napište nám - evakuace real/VR nebo kulturní rozdíly ve vnímání
Děkuji za pozornost
KISK