Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Spolupráce a soutěžení Radek Pelánek Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Hlavní otázky Může se vyvinout spolupráce ve skupině soutěživých egoistických jedinců? Může být altruismus (evolučně) výhodný? Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Prisoner Dilemma E. Coli sociální psychologie původ 50. léta, hrozba jaderného konfliktu, ... psychologie, politologie, sociologie, matematika, ekonomie, ... zkrácená verze přednášky: http://www.youtube.com/watch?v=iOiuQJibkQE http://www.youtube.com/watch?v=urbraGeNDgE Robert Axelrod, Evolution of Cooperation (a další) Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace ne úplně aktuální příklad... Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Další aplikace senátoři cyklisti zákopová válka obecní pastvina spolupráce ryb Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Příklady aplikací Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Formální zápis Zobecnění každé políčko udává dvojici (zisk můj, zisk oponenta): já\on spolupráce zrada spolupráce SS, SS SZ, ZS zrada ZS, SZ ZZ, ZZ Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Formální zápis Různá dilemata dilema vezně ZS > SS > ZZ > SZ (občas se navíc vyžaduje, aby SS > ZS+SZ 2 ) kuře (chicken) ZS > SS > SZ > ZZ dva boříci jedou proti sobě autama, kdo uhne je kuře lov na jelena (stag hunt) SS > ZS > ZZ > SZ můžem jít lovit buď jelena (spolupráce) nebo zajíce (zrada), jelen je větší odměna, ale potřeba, aby na něho šli všichni Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Formální zápis Klasický případ (živé demo) Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Základní analýza hry Poznámky pro dilema vězně není důležité aby: zisky různých hráčů byly symetrické a ani přímo srovnatelné hodnoty byly absolutní (stačí relativní uspořádání) není to hra s nulovým součtem, ačkoliv o ní lidé často intuitivně tak uvažují Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Základní analýza hry Analýza jednokolové hry Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Základní analýza hry Analýza jednokolové hry ať udělá soupeř cokoliv je výhodnější zrada z pohledu racionální teorie her se tedy nejedná o dilema – existuje stabilní strategie (zrada) psychologické dilema: když oba zradíme, tak jsme na tom hůř, než kdybychom oba spolupracovali... Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Základní analýza hry Vícekolová varianta Výhodnost zrady – i pro více kol se stejným partnerem argumentace zpětnou indukcí ale neodpovídá realitě, viz piráti, „2/3 průměru Výhodnost zrady nefunguje pokud: neznámý počet kol turnaj více hráčů Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Vícekolová varianta: Kdo je úspěšný? hra v prostředí s více hráči je stále výhodná zrada? zkusme několik různých strategií, simulace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Strategie Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Trochu složitější strategie Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Axelrodovy turnaje výsledky ovlivněny výběrem strategií co když jsou zmanipulovány? V 80. letech uspořádal Robert Axelrod několik pořádných turnajů v iterovaném dilematu vězně... Dilema vězně Simulované turnaje Normy Altruismus Shrnutí První turnaj První turnaj: systém účastníci – vědci z různých disciplín, které dilema vězně používají (matematici, ekonomové, psychologové, politologové) 14 zaslaných strategií + Random 200 kol, každý s každým Dilema vězně Simulované turnaje Normy Altruismus Shrnutí První turnaj Příklady strategií TFT tit for tat = oko za oko (půjčka za oplátku), tato strategie začíná spoluprací a pak vždy hraje to, co hrál soupeř minule TF2T tit for two tat JOSS podobně jako TFT, ale občas náhodně zradí FRIEDMAN začíná spoluprací, nikdy neodpouští DOWNING pravděpodobnostní odhad soupeře (jak moc je reaktivní) Dilema vězně Simulované turnaje Normy Altruismus Shrnutí První turnaj Výsledky Dilema vězně Simulované turnaje Normy Altruismus Shrnutí První turnaj Shrnutí výsledků vyhrála strategie TFT celkově se lépe umístily „hodné strategie (nezradí jako první) v dané konkurenci, kdyby byly zaslány, by zvítězily jiné strategie, např. TF2T většina strategií byla variací na TFT, ale snažily se být „drsnější , bylo však spíš potřeba být „měkčí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Druhý turnaj Druhý turnaj speciálně zaměřen na to, porazit TFT účastníci znali výsledky i analýzy prvního turnaje 63 strategií od amatérů i profesionálů z celého světa TFT stejně znova vyhrála složení strategií bylo o dost jiné než v prvním kole, ale hodné strategie opět dopadly lépe Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Druhý turnaj Příklady složitějších strategií z druhého turnaje TESTER na začátku zkouší zradit, když se to nevyplatí, používá dál TFT, jinak občas pokračuje ve zradách (dokáže zneužít např. TF2T) TRANQULIZER na začátku spolupráce, po čase postupně zkouší čím dál víc zrad Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Druhý turnaj Zkuste si vlastní turnaj implementace turnaje od Svena Dražana: http://physics.muni.cz/~svend/ntrophy/ strategie.php definice strategií přes jednoduchá textově zapsaná IF-THEN pravidla Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Další turnaje Ekologické rozšíření uvažujeme populaci strategií, ty spolu soupeří (klasický turnaj) dle výsledků se pak populace neúspěšných zmenší, populace úspěšných zvětší Axelrod takto udělal ekologický turnaj strategií zaslaných pro 2. turnaj opět vyhrála TFT Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Další turnaje Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Další turnaje Evoluční rozšíření otázka: jak moc byly výsledky turnajů ovlivněny tím, že lidé očekávali určité složení odeslaných strategií? evoluční algoritmus: začíná z náhodných, nejúspěšnější se množí, křížení, mutace strategie uvažující poslední 3 tahy strategie, které se vyvinou, připomínají charakteristiky TFT – tj. dominance principů, na kterých je TFT založena není způsobena lidskými očekáváními, kulturními hodnotami, ... podrobněji později Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Další turnaje Poznámky k výsledkům úspěch záleží na prostředí, tj. na ostatních strategiích neexistuje „nejlepší strategie TFT je však velmi robustní = funguje dobře v mnoha prostředích Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace Rozšíření hry: rušení malá možnost chyby: chci hrát určitý tah, ale náhodným vlivem prostředí zahraji jiný Interpretace: špatná implementace záměru (letadlo omylem letí přes cizí území) špatné pochopení oponentova závěru Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace Rušení: strategie klasické TFT funguje špatně (dlouhé řetězce odvet kvůli nedorozumnění), dvě TFT proti sobě mají stejný průměrný zisk jak dva Random Pavlov pokud jsi vyhrál – zůstaň u toho stejného, pokud jsi prohrál – změň velkorysé TFT (generous) s malou pravděpodobností spolupracuje i tehdy, když oponent minulé kolo zradil kajícné TFT (contrite) pokud můj tah byl vlivem chyby změněn na zradu, tak se další kolo „omluvím bezpodmíněčnou spoluprací; nejrobustnější strategie Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace Rozšíření: v prostoru strategie rozmístíme v mřížce, každá soupeří se svými sousedy po každém kole každé políčko adoptuje strategii neúspěšnějšího souseda [ demo NetLogo model ] Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace „Nálepky např. pohlaví, barva kůže mohou vést k sebe-utvrzujícím stereotypům příklad: Červení a Zelení, TFT v rámci skupiny, zrada k cizím; všichni na to doplácí, minorita víc podobně se může vyvinout sebe-utvrzující hierarchie [ demo NetLogo model: Ethocentrism ] Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace Pověst pověst = znalost o tom, jak se strategie chovala dříve může být výhodné, že pověst je obecně známá (např. pro TFT) nejvýhodnější je mít pověst „drsňáka : nikdy nepromíjí a občas si dovoluje takovou pověst je však těžké si získat Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Variace Pověst: Válka ve Vietnamu U.S. aims: 70 percent – To avoid humiliating U.S. defeat (to our reputation as a guarantor). 20 percent – To keep SVN (and adjacent) territory from Chinese hands. 10 percent – To permit the people of SVN to enjoy a better, freer way of life. Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Poučení Poučení pro hráče nebuď závistivý: uvědomit si, že toto není hra s nulovým součtem, to co je dobré pro soupeře může být dobré i pro mě, např. TFT nikdy nemůže získat víc než soupeř buď hodný: nebuď ten první, kdo zradí; zrada má totiž odezvy a v konečném důsledku na to doplatíš sám oplácej: oplácej jak zradu, tak spolupráci, nenech se využít, ale současně odpouštěj nebuď příliš chytrý (lstivý, neprůhledný): když jsi „čitelný a předpovídatelný, tak to může být dobré, soupeř ví, co od tebe může čekat Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Poučení Poučení pro posílení spolupráce „stín budoucnosti je důležitý to, že se spolu hráči znovu utkají v budoucnosti je daleko důležitější než přátelství učit reciprocitu, odplatu i odpouštění, odplatu „zmírňující , aby se zabránilo nekonečným řetězcům odplat zlepšovat rozpoznávací schopnosti: k vyvinutí kooperujícího vztahu je nutné poznat, že jsem hráče dříve potkal Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Vývoj norem Norma Ve společnosti existuje norma, pokud jednotlivci většinou jednají jistým způsobem a jsou potrestáni, pokud tímto způsobem nejednají. Pokus o vysvětlení vývoje norem pomocí evolučního modelu a simulace. An evolutionary approach to norms; R. Axelrod Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Motivace Příklady norem společenské normy obecní pastvina, externality regulace zbrojení (chemické, biologické, jaderné zbraně) standardy (technické) otrokářství, kolonialismus normy a zákony – nejednoznačný vztah, často norma předchází zákon Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Pravidla Norms game základem je rozšířené dilema vězně: každý hráč může podvádět, za což získá odměnu (3 body), ostatní tím přijdou ke ztrátě (-1 bod) s určitou pravděpodobností bude viděn a pak může být potrestán (-9 bodů pro něj, -2 pro trestajícího) odvaha (boldness) - šance, že hráč bude podvádět mstivost (vegefulness) - šance, že hráč potrestá podvádění, když jej uvidí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Pravidla Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Pravidla Norms game: simulace strategie = odvaha + mstivost, každé kódováno 3 bity (8 možností) 20 jedinců sehrají hru, do další generace se množí dle zisku bodů; mutace s malou pravděpodobností; 100 generací sehráno 5 her Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Pravidla Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Metanormy Metanormy možnost potrestat někoho, kdo viděl a nepotrestal příklady: otrokářství a bití těch, kdo se zastávali otroků USA: nespolupráce se SSSR po zásahu proti Solidaritě, uvalení sankcí na společnosti, které nedodržovali nespolupráci Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Metanormy Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Metanormy Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Metanormy Podpora norem dominance jedné skupiny, např. otrokářství model: dvě oddělené populace internalizace (vniřní změna hodnot, odměn) model: agentům se může měnit tabulka ohodnocení (individuálně) členství ve skupinách odstrašování, sociální tlak, zákony, reputace Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Altruismus jak se může vyvinout/udržet altruismus v evolučním prostředí? mnoho faktorů, ilustrace dvou z nich: populační viskozita příznivost prostředí Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Buněčný automat Altruismus – buněčný automat dvojrozměrný model, v podstatě pravděpodobnostní buněčný automat každý agent používá jednu ze dvou strategií: altruistická, sobecká po každém kole se vybírá strategie na další kolo: losováním z přihlédnutím k úspěšnosti agentů v okolí možno ovlivňovat podmínky prostředí (nemoci, využitelnost) Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Buněčný automat Altruismus: ohodnocení pro sobeckou buňku: 1 + b · NA/5, pro altruistickou buňku: 1 − c + b · NA/5. c = „cena altruismu (jak moc mě altruistické chování stojí) b = „zisk z altruismu souseda (jak moc mi pomůže altruistické chování mého souseda) NA = počet altruistických buněk v okolí, včetně sebe samé Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Buněčný automat Altruismus: analýza modelu za optimálních podmínek prostředí dominuje sobecká strategie za zhoršených podmínek prostředí dominuje altruistická strategie Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Altruistické krávy Krávy: popis modelu model s agenty: krávy žerou trávu různá rychlost dorůstání trávy dle délky sobecké krávy: sežerou všechnu trávu, co je k dispozici spolupracující krávy: vždycky trochu trávy nechají (aby rostla rychleji) Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Altruistické krávy Chování dle podmínek prostředí (rychlost růstu trávy, energie trávy, rychlost přesunu krav) vítězi buď sobecké či spolupracující „náročnější podmínky jsou výhodnější pro spolupracující krávy Dilema vězně Simulované turnaje Normy Altruismus Shrnutí Shrnutí Otázky Může se vyvinout spolupráce ve skupině soutěživých egoistických jedinců? Může být altruismus (evolučně) výhodný? modelové situace ilustrující dílčí principy realita pochopitelně komplikovanější