IV130 Přínosy a rizika inteligentních systémů 10.&17. května 2024 Etické aspekty a společenské dopady AI Silá a slabá AI • Slabá AI jako představa, že stroje mohou jednat jakoby byly inteligentní • Silná AI jako předpoklad, že stroje, která tak činí, skutečně jsou inteligentní (John Searle, 1980) • Silná AI dnes označovanátaké jako „AI lidské úrovně“ nebo „obecná AI“ reprezentující programy, které zvládajílibovolněširoké druhy úloh včetně nových druhů a daří se jim to tak dobře jako lidem • Kritika možnosti vyvinutí obecné AI má historické předchůdce: např. Siman Newcomb napsal v říjnu 1903, že „let vzduchem je jednou z velkých tříd problémů, s nimiž si člověk nikdy nemůže poradit“;první let bratří Wrightů následovaljen dva měsíce poté • Vizionářskápráce definujícíAI a také předvídajícínámitky proti AI pochází od Alana Turinga z roku 1950: Computing Machinery and Intellgence, Mind, 59, 433-460 (https://doi.org/10.1093/mind/LIX.236.433) Námitky vůči AI (podle Turinga) • Náboženská námitka: Myšlení jako schopnost nesmrtelné duše, proto nemůže myslet stroj – teologické argumenty ovšem nefungovaly již dříve, např. u Galileiho nebo Koperníka • Námitka ‘Hlavy v písku’: “Důsledky myslících strojů by byly příliš závažné, doufejme a věřme proto, že to není možné.” – jde o chybný odkaz na důsledky a směšování toho, co nemá nastat s tím, co může nebo nemusí nastat • Matematická námitka: Výsledky neúplnosti jako Gödelova věta o neúplnosti jako argument toho, že stroj založený na logice nedokáže vše – nicméně lidé se také často mýlí • Argumentace vědomím: Vznesen Geoffreyem Jeffersonem roku 1949 jako teze, že stroj “nenapíše sonet a nesloží koncert“, protože symboly nenahradí emoce – nicméně nemáme informace o emocích jiných lidí než sami svých (rovněž „čínský pokoj“ Johna Searleho z roku 1980) • Argumentace různými neschopnostmi ve smyslu “počítač nikdy nedokáže X” : – bez toho, aby to bylo nějak zdůvodněno; některé konkrétní věci Turing přímo vyvrací • Námitka Lady Lovelacové:Ada Lovelacová soudila, že stroj se nedokáže učit a dělá jen, na co dostane instrukce – stroje ale může přijít na důsledky, které člověku unikly, a překvapovat tímto způsobem • Argumentace spojitostí nervového systému: Mozek nefunguje dikrétně a vzruchy v neuronech se dějí v analogové pravděpodobnosti – což však lze simulovat • Argumentace neformálností chování: Systém podřízený zákonům bude předpověditelný a tedy ne skutečně inteligentní – směšování zákonů s pravidly a pomíjení složitosti systému • Mimosmyslové vnímání: V 50. letech populární – ale Turing argumentuje, že ani čtení mysli nemusí test ovlivnit Neformálnost chování • Práce Huberta Dreyfuse kritizující umělou inteligenci, What Computers Can’t Do (1972), What Computers Still Can’t Do (1992)nebo se Stuartem Dreyfusem, Mind Over Machine (1986), či filozof Kenneth Sayre docházející v roce 1993 k závěru, že “umělá inteligence realizovaná v rámci kultu komputacionalismu nemá žádnou šanci vykázattrvalé výsledky.” • Dobové argumenty se týkají „GOFAI“, „Good Old Artificial Intelligence“, s problémy zachytit vše pomocí tvrzení predikátové logiky („problém kvalifikace“), což je ale překonaný problém s užíváním pravděpodobnostních systémů • Další argumentace spočívala v oddělení funkcí mozkuod zbytku biologického těla, na což odpovídá koncept aktérů a prostředí a kognitivními funkcemi propojenými se senzory a akcemi • Pokračující výzkum v AI ukazuje, že se problémy v oblastech, na něž AI neměla odpovědi, daří řešit • Výzkum v AI vede ke zvětšování schopností, nikoli bariéře nemožnosti Neschopnost některých činností • Turing uvádí jako příklady nemožnýchschopností „být milý, vynalézavý, krásný, přátelský, mít iniciativu, mít smyslpro humor, rozlišovatdobro od zla, dělat chyby, zamilovatse, užívat si jahody se šlehačkou, přimět někoho, aby se do něj zamiloval, učit se ze zkušeností, správně používat slova, být předmětem vlastního myšlení, mít stejně rozmanité chování jako člověk, dělat něco opravdu nového“ • Řada z těchto věcí je snadná, víme např. za zkušenosti, že „počítače dělají chyby“ • Metavyvozovací techniky umožňují popisovat vlastní činnost stroje a tedy mít stroj jako předmět vyvotování • Schopnost „přimět někoho, aby se do něj zamiloval“dokážou i mnohem jednodušší technické artefakty, např. dětské hračky • Počítače dnes dělají „opravdu něco nového“: objevy v astronomii, fyzice, matematice, informatice, biologii, chemii, atd. • Zjevně stroje nedokážou být přesně jako lidé, ale v mnoha oblastech již lidi dokážou svými činnostmi předčít Měření pokroku v AI • Turing navrhl v článku z roku svůj známý„Turingův test“ • Proporce úspěšných reakcí v tomto testu by mohla sloužit jako míra úspěchu (Turing předpokládal, že kolem roku 2000 budou počítače s miliardou jednotek paměti v takovém testu úspěšné) • Program Eliza (Weizenbaum, 1964-66, patternmatching částí textu s generováním reakcí bez analýzy významu, viz https://sites.google.com/view/elizagen-org/) dokázal přimět jejich uživatele k pocitu, že mluví s psychologem, podobně Mgonz (2008)nebo Natachata (2009), bot Cyberlover (cca 2007)dokonce dokázal získat důvěru komunikujících a kradl osobní data • Skutečné testy se na bázi Turingova testu nedělají, hra v šachy, Go nebo počítačové hry se pro porovnání schopností užívá (namísto schopnosti oklamat posuzovatele) • IBM Watson zvládl v roce 2011 znalostní hru Jeopardy! lépe než lidští hráči na bázi big data; obdobně strojová AI zvládá Go, šachy, poker a řadu počítačových her, obdobně pro lékařskou diagnostiku karcinomů kůže, skládání proteinů, atd. Mohou stroje skutečně myslet? • Edsger Dijkstra (1984):„otázka, zda mohou stroje myslet, … je asi stejně relevantní, jako otázka, zda ponorky dokážou plavat.“ • (Slovník uvádí jako první význam „vhodnými vlastními pohyby se udržovat a pohybovatve vodě“, což ve smyslupohybu končetin zřejmě nebude splněno; obdobně „létat“ ve smyslu„pohybovat se ve vzduchu vlastníschopností(o tvorech), vlastnísilou (o předmětech)“, což platí pro letadla, ale obojí je irelevantní vzhledem ke konstrukci ponorek nebo letadel.) • Turing upozorňuje na to, že nemáme žádné podklady pro tvrzení o schopnosti mysletjiných lidí než nás samých– je podle něj věcí zdvořilé konvence o ostatních kolem nás předpokládat, že myslí, a tuto zdvořilou koonvencvi můžeme rozšířit i na stroje (spojení se vzhledem či hlasem je věcí našich předsudků) • Searlův čínský pokoj (1990)je založen na člověku reagujícím na čínské znaky pomocí knihy pravidel, nikoli schopnosti číst znaky • Searle (1980) propaguje biologický naturalismus: mentální stavy jsou dány procesy nižší úrovně, přičemž neurony „to“ mají, zatímco tranzistory nikoli; obdobně si ale roboti mohou myslet o lidech, že jsou z buněk, přičemž buňky nemohou chápat • Také sci-fi Terryho Bissona (1990): „They are Made Out of Meat“ o mimozemských robotech zkoumajících Zemi(https://en.wikipedia.org/wiki/They're_Made_Out_of_Meat) Vědomí a kvalia • Vědomí je problém povědomí o okolním světě a také subjektivní zkušenosti vlastního života • „Kvalia“ jako označení vnitřní přirozené zkušenosti • Relevantní otázkou je, zda mohou stroje mít kvalia • Obdobná otázka existuje pro zvířata • Koncept myšlení lze rozšiřovati na veškerou hmotu, tzv.panpsychismus(v moderní podobě např. David Chalmers nebo Philip Goff) • Turing (1950): „Nechci vzbuditdojem, že si myslím, že vědomí není tajemství... Nemyslím si však, že tyto záhadymusí být nutně vyřešeny, abychom mohli odpovědětna otázku, kterou se zabýváme v tomto článku.“ • Obecně není záměrem AI dělat stroje, jejichž myšlení přesně odpovídá myšlení člověka – a není účelem strojů např. popsat pocit, když se praštíme kladivem do prstu při zatloukáníhřebíku Etika AI • AI jako mocná technologie vyvinutá člověkem, s morální povinností člověka dobře ji užívat, podporovat její dobré vlastnosti a omezovatvlastnosti špatné/nežádoucí • AI může zachraňovat životy díky – lepší lékařské diagnostice, – novým lékařským objevům, – lepší předpovědi extrémních povětrnostních jevů nebo – bezpečnějšímu řízení díky asistenčním a (případně) samořídicím technologiím. • AI může zlepšovatživoty, např. – Program AI for Humanitarian Action (Microsoft) využívá AI při odstraňování následků přírodních katastrof, řešení potřeb dětí, ochraně uprchlíků a podpoře lidských práv, – Program AI for Social Good (Google) podporuje práci v oblasti ochrany deštných pralesů, judikatury v oblasti lidských práv, monitorování znečištění, měření emisí fosilních paliv, krizového poradenství, ověřování pravdivosti zpráv, prevence sebevražd, recyklace a dalších otázek. – Centrum datové vědy pro společenskou prospěšnost Chicagské univerzity aplikuje strojové učení trestní soudnictví, ekonomický rozvoj, vzdělávání, veřejné zdraví, energetiku a životního prostředí. – Aplikace AI v oblasti správy plodin a produkce potravin pomáhají uživit svět. – Optimalizace obchodních procesů pomocí strojového učení zvyšují produktivitu podniků, zvyšují bohatství a zajistí více pracovních míst – Automatizace může nahradit únavné a nebezpečné úkoly, s nimiž se potýká mnoho pracovníků, a uvolnit je, aby se mohli soustředit na zajímavější aspekty – Handicapovaní mohou dostat asistenci v oblasti zraku, mluvení nebo pohybu – Strojový překlad umožňuje komunikaci lidí z různých kultur, atd. Negativní dopady technologií • Negativní boční efekty, např. – Dopady havárií jaderných elektráren typu Černobylu nebo Fukušimy – Znečištění ovzduší z užívání spalovacích motorů – Globální oteplování – Dopady staveb/konstrukcí na životní prostředí • Dopady mohou být negativní i přio užívání ve shodě s primárním účelem: – Střelné zbraně – Telemarketing a nevyžádaná reklamní sdělení • Automatizacepřináší zvýšenou míru zisku, ale tok směrem k vlastníkům zvyšuje ekonomické nerovnosti, pro rozvojové země se mohou zmenšovatpříležitosti využívat levnější pracovní sílu • Naše rozhodnutí stran etiky užití a správy technologií ovlivní úroveň nerovností, kterou může AI přinést • Obvyklé obecné požadavky(Principy robotiky z Velké Británie): • Zajistit bezpečnost • Zavést odpovědnost • Zajistit spravedlnost • Dodržovat lidská práva a hodnoty • Respektovat soukromí • Odrážet rozmanitost/inkluzi • Podporovat spolupráci • Vyhnout se koncentraci moci • Zajistit transparentnost • Uznat právní/politické důsledky • Omezit škodlivé využití AI • Zvážit důsledky pro zaměstnanost Smrticí autonomní zbraně • Autonomní zbraň podle definice OSN lokalizuje, vybírá a zasahuje (zabíjí) lidské cíle bez lidského dohledu • Některá z těchto kritérií splňují různé zbraně, např. – nášlapné miny se používají již od 17. století: mohou v omezeném smyslu vybírat a zasahovat cíle podle stupně vyvíjeného tlaku nebo množství přítomného kovu, ale nemohou samy vyrazit a lokalizovat cíle (pozemní miny jsou zakázány Ottawskou smlouvou) – řízené střely, používané od 40. let 20. století, mohou pronásledovat cíle, ale musí být zaměřeny správným obecným směrem člověkem – od 70. let 20. století se k obraně námořních lodí používají automaticky střílející děla řízená radarem; jsou určena především k ničení přilétajících raket, ale mohla by útočit i na letadla s posádkou. • Slovo "autonomní" se často užívá pro označení bezpilotních vzdušných prostředků nebo dronů, většina takových zbraní je jednak dálkově řízena, jednak vyžaduje ovládání smrtícího nákladu člověkem. Autonomní zbraně • Izraelská střela Harop je „létající munice“ s rozpětím křídel 3 m a padesátikilovou hlavicí; až 6 hodin hledá v dané zeměpisné oblasti jakýkoli cíl, který splňuje dané kritérium, a poté jej zničí (kritériem může být např. „vysílá radarový signál připomínající protiletadlový radar“ nebo „vypadá jako tank“). • Turecká STM inzeruje kvadrokoptéru Karga – která unese až 1,5 kg výbušnin – jako schopnou „autonomně zasáhnout… cíle vybrané na snímcích… sledování pohyblivých cílů… protipěchotní… rozpoznávání tváří“ • Autonomní zbraně označovány za „třetí revoluci ve válčení“ po střelném prachu a jaderných zbraních • Autonomní letadla, tanky a ponorky mohou být levnější, rychlejší, manévrovatelnější a mít delší dolet než jejich protějšky s lidskou posádkou. Regulace autonomních zbraní • Od 2014 vede OSN v Ženevě pod záštitou Úmluvy o některých konvenčních zbraních (CCW)pravidelná jednání o otázce, zda zakázat smrtící autonomní zbraně • Cca 30 států, od Číny po Vatikán, je pro mezinárodní smlouvu, • Další klíčové země – mj. Izrael, Rusko, Jižní Korea a Spojené státy - jsou proti zákazu • Debata zahrnuje právní, etické a praktické aspekty. • Právní otázky podle CCW vyžadují rozlišování mezi bojovníky a nebojovníky, posouzení vojenské nezbytnosti útoku a posouzení proporcionality mezi vojenskou hodnotou cíle a možností vedlejších škod (splnění kritérií je technickou otázkou, jejíž odpověď se bude v průběhu času měnit; v současné době se zdá, že diskriminace je za určitých okolností proveditelná a nepochybně se bude rychle zlepšovat, ale nezbytnost a přiměřenost dnes proveditelné nejsou: stroje by musely provádět subjektivní a situační posouzení, obtížnější než relativně jednoduché úkoly vyhledávání a zasahování potenciálních cílů) Podřízení autonomních zbraní člověku • Argumenty pro omezení legálního užívání autonomních zbraní pouze za okolností, kdy lidský operátor může rozumně předvídat, že provedení mise nepovede k tomu, že se cílem stanou civilisté nebo že zbraně provedou zbytečné či nepřiměřené útoky • Autonomní zbraně by tak zatím mohly plnit pouze velmi omezené mise • U etické stránky existují názory o morální nepřijatelnosti delegovat rozhodnutí o zabíjení lidí na stroj: – německý velvyslanec v Ženevě prohlásil, že Německo „nepřijme, aby o životě a smrti rozhodoval výhradně autonomní systém“, – Japonsko „nemá v plánu vyvíjet roboty schopné vraždit bez lidí v rozhodování“, – generál Paul Selva, v té době druhý nejvyšší vojenský důstojník ve Spojených státech, v roce 2017: „Nemyslím si, že je rozumné, abychom pověřovali roboty rozhodováním o tom, zda odejmeme lidský život, či nikoli.“ – António Guterres, šéf OSN, v roce 2019: „stroje s pravomocí a volností brát životy bez účasti člověka jsou politicky nepřijatelné, morálně odporné a měly by být zakázány mezinárodním právem“. • >140 NGO ve více než 60 zemích je v Kampani za zastavení zabijáckých robotů; otevřený dopis Future of Life Institute z 2015 má >4 000 podpisů z AI i 22 000 dalších osob (https://www.stopkillerrobots.org) Argumenty pro autonomní zbraně • Se zdokonalováním technologií by mělo být možné vyvinout zbraně, u nichž je menší pravděpodobnost, že způsobí civilní oběti než lidští vojáci nebo piloti (autonomní zbraně snižují potřebu lidských vojáků a pilotů riskovat smrt) • Autonomní systémy nebudou podléhat únavě, frustraci, hysterii, strachu, hněvu nebo pomstě a nemusí „nejdříve střílet, potom se ptát“ (Arkin, 2015). • Řízená munice snížila vedlejší škody ve srovnání s neřízenými bombami, inteligentní zbraně dále zvýší přesnost útoků (analýza obětí války s drony z roku 2013 ale naznačuje idealismus takového pohledu). • Americké ministerstvo obrany (DoD) z roku 2011: „V dohledné budoucnosti bude rozhodování o použití síly [autonomními systémy] a volba jednotlivých cílů, na které bude použita smrtící síla, ponechána pod lidskou kontrolou“ (autonomní systémy nejsou dostatečně spolehlivé, aby jim bylo možné svěřit vojenská rozhodnutí) Další aspekty autonomních zbraní • Systémy strojového učení, které při výcviku fungují bezchybně, mohou při nasazení fungovat špatně • Kyberútoky na autonomní zbraně by mohly vést ke ztrátám při přátelské střelbě; odpojení zbraně od veškeré komunikace tomu může zabránit (za předpokladu,že již nebyla kompromitována), ale pak nelze zbraň v případě poruchy odvolat • Praktickým problémem autonomních zbraní je, že se jedná o škálovatelné zbraně hromadného ničení: rozsah útoku, který lze provést, je úměrný množství hardwaru, který si lze dovolit nasadit • Kvadrokoptérao průměru 5 cm může nést smrtící výbušnou nálož, jeden milion se vejde do přepravního kontejneru • Autonomie zbraní nepotřebovaly milion lidských dozorců • Jako zbraně hromadného ničení mají škálovatelné autonomní zbraně ve srovnání s jadernými zbraněmi a kobercovýmbombardováním pro útočníka výhody: ponechávají majetek nedotčený a lze je použít selektivně k likvidaci pouze těch, kteří by mohli ohrozit okupační síly. Nebezpečím je možné užití k vyhlazení celé etnické skupiny nebo všech vyznavačů náboženství; často by je také nebylo možné vystopovat. AI jako technologie dvojího užití • Vlastnosti, které zvýhodňují útočníka, naznačují, že autonomní zbraně sníží globální a národní bezpečnostvšech stran • Racionální reakcí vlád je spíše zapojení se do diskusí o kontrole zbrojení než do závodů ve zbrojení • Proces přípravy smlouvy je ovšem komplikovaný • AI je technologie dvojího užití: – technologie AI, které mají mírové využití, jako je řízení letu, vizuální sledování, mapování, navigace a multiaktérové plánování, mohou být snadno použity pro vojenské účely, – Autonomní kvadrokoptéru lze snadno proměnit ve zbraň pouhým připojením výbušniny a vydáním příkazu k vyhledání cíle • Řešení problému bude vyžadovatpečlivé zavedení režimů dodržování předpisů ve spolupráci s průmyslem, podobně jako již bylo s určitým úspěchem zavedeno v rámci Úmluvy o zákazu chemických zbraní. Sledování, bezpečnost a soukromí • Joseph Weinzenbaum již roku 1976 varoval před užitím Ai rozpoznávánířeči pro odposlechy a potlačování lidských práv • V roce 2021 rozšíření dozorových kamer: • v Číně 567 milionů (1 kamera na 4,1 obyvatel) • v USA 85 milionů (1 kamera na 4,6 obyvatel) • celosvětověcca 1 miliarda (https://www.wsj.com/articles/a-billion- surveillance-cameras-forecast-to-be-watching-within-two-years-11575565402) • Čína je exportérem této technologie zejména do rozvojových zemí • On-line instituce zranitelné vůči kyberkriminalitě (phishing, podvody s kreditními kartami, botnety, ransomware) a kyberterorismu (včetně potenciálně smrtících útoků, jako je odstavení nemocnic a elektráren nebo ovládnutí samořiditelných aut). • Strojovéučení významné pro obě strany v boji o kyberbezpečnost: • útočníci využijí automatizaci ke zkoumání nejistot a mohou použít posilující učení pro pokusy o phishing a automatické vydírání, • obránci mohou využít neřízené učení k detekci anomálních vzorců příchozího provozu a techniky strojového učení k odhalování podvodů (https://cset.georgetown.edu/wp-content/uploads/Machine-Learning-and-Cybersecurity.pdf) Ochrana soukromí s rozhodovací pravomocí strojů • Pravomoc strojů/AI nad lidmi by nás odsouvala do druhořadé pozice a ke ztrátě práva podílet se na rozhodnutích,která se nás dotýkají • I když to nejsou stroje, kdo rozhoduje,ale lidé, kteří tyto stroje sestrojili a uvedli do provozu,je potřebné zvažovat jednotlivé okolnosti každého lidského subjektu (jinak by tvůrci životům ostatních přikládali jen nepatrnou hodnotu) • Riziko velkého odcizení mezi elitami, kterým slouží lidé, a početnou nejnižší třídou, již obsluhují a ovládají stroje • V Evropské unii článek 22 Obecného nařízení o ochraně osobních údajů (General Data Protection Regulation; GDPR) z roku 2018 výslovně zakazuje poskytovat v takových případech pravomoc strojům: – Subjekt údajů má právo nebýt předmětem žádného rozhodnutí založeného výhradně na automatizovanémzpracování,včetně profilování, které má pro něho nebo ji právní účinky nebo se ho nebo jí obdobným způsobem významně dotýká. Spravedlnost a podjatost • Mechanismy AI a strojovéhoučení mohou vstupovat do přípravy podkladů pro důležitá rozhodování,např. oprávnění dostat půjčku nebo hypotéku • Společenská podjatost může být nezamýšleným důsledkem – např. algoritmy rozhodující o poskytnutí kauce před procesem se stíhanými na základě socioekonomické nebo rasové příslušnosti, efekty zónování při poskytování hypoték v USA, atd. • Požadavky kalibrace systémů z hlediska: – Individuální spravedlnostipro vyloučení efektů přináležitosti k nějaké skupině – Skupinové spravedlnosti pro vyloučení různého nakládání se skupinami/třídami – Spravedlnostipřes nevědomost– s nutností vyloučení predikce zamlčeného parametrupři učení – Demografické parity s rovnocennýmgenderovým zacházením – Stejnýchpříležitostí vylučující preferenci těch, kdo mají stejné předpoklady – Stejnýchdopadů poskytujících stejný užitek bez ohledu na skupinu, se zvážením přínosů i ceny za chybnou predikci Praxe vytváření spravedlivých systémů • Ujistěte se, že softwaroví inženýři hovoří se sociálnímivědci a odborníky na danou oblast, aby porozuměli problémům a perspektivám,a zvažte spravedlnostod samého počátku. • Vytvořte prostředí, které podporuje rozvoj různorodé skupinysoftwarových inženýrů, kteří jsou reprezentativnímizástupci společnosti. • Definujte, jaké skupiny bude váš systém podporovat:různé jazykové mluvčí, různé věkové skupiny, různé schopnosti se zrakem a sluchem atd. • Optimalizujtepro cílovoufunkci, která zahrnuje spravedlnost. • Prozkoumejte svá data z hlediskapředsudků a korelací mezi chráněnýmiatributy a jinými atributy. • Pochopte, jak probíhápřípadnálidské označovánídat, navrhnětecíle pro přesnost označovánía ověřte, zda jsou cíle splněny. • Nesledujte pouze celkové metriky pro váš systém; ujistětese, že sledujetemetriky pro podskupiny,které by mohly být obětí předpojatosti. • Zahrňte testy systému, které odrážejí zkušenosti uživatelůz menšinovýchskupin. • Zajistěte zpětnou vazbu, aby se v případě výskytu problémů se spravedlnostítyto problémy řešily. Důvěra • Jedna věc je vytvořit přesný, spravedlivý,bezpečný a zabezpečený systém AI, • jiná věc je přesvědčit ostatní, že se to podařilo • Lidé musí mít možnost důvěřovat systémům, které používají. • Průzkum společnostiPwC z roku 2017 ukázal,že 76 % podnikůzpomaluje zaváděníAI kvůli obavámo důvěryhodnost. • Kromě inženýrských přístupů k důvěryhodnostizde jde o politickéotázky. • Aby si inženýrský systém zasloužildůvěryhodnost, musí projít procesem verifikace a validace (V&V). • Verifikace znamená, že produktsplňuje specifikace. • Validace znamená zajistit, aby specifikace skutečně splňovalypotřeby uživatelea dalších dotčenýchstran. • Existují metodiky V&V pro inženýrství obecně a pro tradičnívývoj softwaru prováděný lidskými programátory;většina z ní je použitelnápro systémy umělé inteligence. • Systémy strojového učení však vyžadujíjiný proces V&V, který dosud nebyl plně vyvinut. (potřeba ověřit data,ze kterých se tyto systémy učí; potřebujeme ověřit přesnost a spravedlnostvýsledků, a to i v případě nejistoty, která znemožňuje znát přesný výsledek; a potřebujeme ověřit, že protivnícinemohou model nepatřičně ovlivnitani ukrást informace dotazovánímna výslednýmodel) • Jedním z nástrojů důvěry je certifikace. Transparentnost • Dalším aspektem důvěry je transparentnost: spotřebitelé chtějí vědět, co se uvnitř systému děje a že systém nepracuje proti nim, ať už v důsledku úmyslnéhozlého úmyslu, neúmyslné chyby nebo rozšířenýchspolečenských předsudků, které systém rekapituluje. • Někdy je transparentnostposkytovánapřímo spotřebiteli, • jindy se jedná o otázky duševního vlastnictví,kvůli nimž jsou některé aspekty systému spotřebitelůmskryté, ale jsou přístupné regulačním orgánům a certifikačnímagenturám. • Když např. systém umělé inteligence zamítne žádost o půjčku, zaslouží si klient vysvětlení. • V EU toto vymáhá nařízení GDPR • O direktivě GDPR se často říká, že poskytuje obecné „právodostat vysvětlení“libovolného automatizovanéhorozhodnutí,ale formulace v článku14 požadujejen – Smysluplnéinformacetýkajícísepoužitého postupu, jakož ivýznamu a předpokládaných důsledků takového zpracovánípro subjektúdajů. • Při podávánívysvětleníbude zásadní budoucípostoj soudů: Spotřebitel by např. neměl dostat jen popispříslušného algoritmu hlubokéhoučení, pomocí něhožse trénoval klasifikátor,který ono rozhodnutíudělal. Transparentnost • Systém umělé inteligence,který dokáže vysvětlitsám sebe, se nazývá vysvětlitelná umělá inteligence (XAI). • Dobré vysvětlenímá několik vlastností: – Mělo by být pro uživatele srozumitelnéa přesvědčivé, – mělo by přesněodrážetuvažovánísystému, – mělo by být úplné a – mělo by být specifické v tom smyslu, žerůzníuživatelés různýmipodmínkaminebo různýmivýsledkyby měli dostatrůzná vysvětlení. • Součástí transparentnostije vědomí, zda komunikujetese systémem AI, nebo s člověkem • Toby Walsh (2015) navrhl, že "autonomnísystém by měl být navržen tak, aby bylo nepravděpodobné,že bude zaměněn za něco jiného než autonomnísystém, a měl by se identifikovatna začátku každé interakce“ (zákon „červené vlajky“ na počest britského zákona o lokomoci z roku 1865 (Locomotive Act), který vyžadoval,aby před každým motorovým vozidlem chodilaosoba s červenou vlajkou, která signalizovalablížícíse nebezpečí) • V roce 2019 přijalaKalifornie zákon, který stanoví,že „je nezákonné,aby jakákoliosoba používalabota ke komunikacinebo interakci s jinouosobou v Kaliforniionline s úmyslem uvést druhou osobu v omyl ohledně své umělé identity“. Technologická nezaměstnanost • Obvyklým tématem je, že roboti berou lidem práci • Knihy věnované tomuto tématu: • Martin Ford: Roboti nastupují:Automatizace, umělá inteligence a hrozba budoucnostibez práce a • Calum Chace: The Economic Singularity: Artificial Intelligence and the Death of Capitalism (Ekonomická singularita: Umělá inteligence a smrt kapitalismu) • Článek John Maynard Keynes (1930): „Ekonomické možnostipro naše vnuky“ (z doby, kdy v Británii velká hospodářskákrize vyvolala masovounezaměstnanost, kterou popisoval jako „dočasné stadium nepřizpůsobivosti“ způsobené „nárůstem technické efektivity“, který se odehrál „rychleji, než se s problémem absorpce pracovních sil dokážeme vypořádávat“) s předpovědí: – „Poprvé od svého stvoření proto bude člověk konfrontován se skutečným, trvalým problémem – jak užívat svou nezávislost na naléhavých ekonomických starostech, svobodu, jak vyplnit volný čas, jež mu dobyla věda a složené úročení, jak žít moudře, konsensuálně a dobře.“ • Idea souvislosti technologií a zaměstnanostije obsažena již u Aristotela v Knize I jeho Politiky: – „Neboť kdyby každý nástroj na rozkaz nebo již předem dovedl vykonati své dílo, [...] kdyby tak člunky samy od sebe tkaly a paličky hrály na kitharu, nepotřebovali by stavitelé pomocníků ani páni otroků.“ Budoucnost práce • Pokud zaměstnavatelnajde mechanický způsob, jak provádět práci, kterou dříve dělal, dochází k okamžitémusnížení zaměstnanosti • Povaha kompenzačního efektu, který následuje po zavedení technologie a uvolňuje pracovní sílu k jinému druhu práce • Optimistický pohled poukazuje na všechny nové druhy pracovních míst, které se objevily po předchozích průmyslových revolucích. • Pesimistický pohled argumentuje tím, že stroje budou dělat i všechny tyto „nové druhy práce“. • Pokud stroj nahradí naši fyzickou práci, můžeme prodávat mentální práci, … • …, pokud stroj nahradí naši mentální práci, co nám pak zbyde na prodej? • Max Tegmark v knize Život 3.0 vykresluje tento problém jako rozhovor dvou koní diskutujících o šíření spalovacích motorů v roce 1900. Jeden z nich předpovídá „nová pracovní místa[pro koně] [...]. Vždycky to tak bylo – jako když vynalezli kolo a pluh.“ Pro většinu koní, žel, tato „nová práce“ znamenalastát se žrádlem pro domácí mazlíčky. Budoucnost práce • Ekonomové hlavního proudu argumentují z perspektivy „velkého obrazu“: automatizacezvyšuje produktivitu, takže vcelku jsou na tom lidé lépe (dopřáváme si víc zboží i služeb za stejné množstvípráce) • Nejde o předpověď, že se v důsledku automatizacebude mít lépe každý člověk • Automatizaceobecně zvětšuje podíl příjmů, které jdou do kapitálu (majitelům robotů), a zmenšuje podíl, který jde na práci (bývalým pracovníkům) • Erik Brynjolfsson a Andrew McAfee v knize Druhývěk strojů ukazují, že se to děje už několik desetiletí. Data za Spojené státyjsou vynesena zde, naznačují, že mezi lety 1947 a 1973 rostly společně mzdy i produktivita, ale po roce 1973 mzdy stagnovaly, i když se produktivita zhruba zdvojnásobila (tzv. „velké rozpojení“): Budoucnost práce v bankovnictví a obchodu • Během let 2010–2016 zhruba jedno sto tisíc pracovníků na bankovních přepážkách svou práci ztratilo • Americký Bureau of Labor Statistics(BLS) předpovídá další výrazné ztráty cca 40 tisíc pracovních míst do roku 2026 v bankovním sektoru: „Očekává se, že online bankovnictví a technologie automatizace budou pokračovat v nahrazování více činností, než se tradičně odhadovalo.“ • Data o pokladních v maloobchodu jsou podobná: jejich počet na hlavu klesl od roku 1997 do roku 2015 o 5 procent, a BLS říká: „Pokrok v technologiích, jako třeba samoobslužné pokladny v obchodech nebo rostoucípodíl online prodeje, bude dál omezovat potřebu pokladních.“ • Oba tyto sektory (bankovnictví a obchod) jsou na sestupné dráze • Totéž platí o všech zaměstnáních s nízkou kvalifikací, kde se pracuje se stroji Dynamika úpadku povolání • Která povolání upadnou s novými technologiemi založenými na AI? • Příklad uváděný v médiích je řízení vozidel: • Ve Spojených státechje dnes kolem 3,5 milionu řidičů kamionů a mnohá z těchto pracovních míst jsou ohrožena automatizací. • Amazon (i jiné společnosti) už dnes používá samořiditelné kamiony pro dopravu zboží na amerických dálkových dálnicích, i když pořád ještě se záložními lidskými řidiči. • Je velmi pravděpodobné, že dálková část každé cesty kamionů bude brzo probíhat autonomně, i když o dopravu ve městech, nakládku a vykládku se zatím budou starat lidé. • V důsledku takového očekávaného vývoje se už jen velmi málo mladých lidí zajímá o práci řidiče kamionu jako o kariérní volbu; paradoxně je v současné době ve Spojených státech velmi citelný nedostatekřidičů kamionů, což jen urychluje nástup automatizace. Administrativa a služby • Pracovní místa bílých límečků jsou rovněžv ohrožení. • BLS pro léta 2016–2026 předpovídá 13procentní pokles v zaměstnanosti u pracovníků sjednávajících pojištění: • „Automatizovaný software pro pojišťovánídovoluje pracovníkům pojištění zpracovávat mnohem rychleji než dřív, což zmenšuje potřebu mnoha z pojišťovacích agentů.“ • Pokud se technologie zpracování jazyka (LLM) bude vyvíjet podle předpokladů, mnoho pracovních pozic v prodeji a službách bude rovněžzranitelných, stejně jako pracovní místa v právnických profesích. • Nicméně: Zhruba 60 % pracovních míst se v roce 2018 nacházelo na pozicích, které v roce 1940 neexistovaly (David Autor a spol.: New Frontiers: The Origins and Content of New Work, 1940-2018, NBER 30389, 2022) • A také: 85 % růstu zaměstnanosti za posledních 80 let lze vysvětlit vytvářením nových pozic v důsledku technologií (Goldman Sachs, březen 2023) • Ale: Generativní AI by mohla [v ekonomice USA] vystavit automatizaci 300 tisíc pracovních míst na plný úvazek (tatáž zpráva Goldman Sachs, březen 2023) Univerzální základní příjem • Moderní zastánci Keynesovy vize obvykle podporujínějakoupodobu univerzálního základníhopříjmu (universal basic income; UBI) • Z daníz přidané hodnoty nebo příjmy z kapitálu byUBI poskytl příjmy každému dospělému bez ohledu na okolnosti.Ti, kdo by stálio vyšší životní standard,by stále mohli pracovat, aniž by UBI ztratili, zatímco ti, kdo by nechtěli, by mohli trávit život, jak se jim zlíbí. • UBI má relativněširokou podporunapříč politickýmspektrem, od Adam Smith Institute po zelené. • Charakteristika UBIjde od verze ráje po selhání (většina lidínebude mít žádnou ekonomickou hodnotu,jíž by přispívalaspolečnosti) • Keynes jasně rozlišovalmezi těmi, kdo o něco usilují,a těmi, kdo si užívají – lidmi „racionálními“a „rozkošnickými“ • Návrh na UBI předpokládávětšinu lidírozkošnického druhu. • Keynes předkládá,že usilování oněco je jedním ze „zvyků a instinktůobyčejnéhočlověka, jimiž byl krmen po nespočet generací,“ nikoli„skutečná hodnotaživota“.Předpovídá, že se tento instinkt postupně ztratí. • Hédonismus a cílevědomost ale mohou být neoddělitelné:skutečná radost a trvalé naplnění vychází z cíle a jeho dosahování,spíše než díky pasivníkonzumaci bezprostředních požitků. • Existuje rozdíl mezi tím, když na Everest vystoupáte,a když vás na něj vysadí z helikoptéry. Univerzální základní příjem • Spojení mezi cílevědomostía hédonismem je ústředním tématem pro vytváření kýžené budoucnosti • Budou se budoucígenerace divit, proč jsme si pořád dělalistarosti s takovými zbytečnostmi jako „práce“? • Je možné, že většina lidína tom bude lépe, když bude mít co užitečného dělat, i když většina zboží a služeb bude produkována strojis minimálnímlidským dohledem • Většina lidí se nutně zapojído interpersonálníchslužeb, které mohou být poskytovány – nebo u nichž bychom dávalipřednost,aby byly poskytovány – pouze lidmi • Pokud už nemůžeme poskytovatfyzickou práci a rutinní mentálnípráci, můžeme pořád dodávatsvou lidskost – budeme se muset stát dobrými v tom, jak být lidmi • Současné profese tohoto typu zahrnujípsychoterapeuty,osobní kouče, školitele,poradce, společníky a poskytovatelepéče o děti a seniory. • Pozorováníod Keynese: – „Budou to tito lidé, kteří dokážou uměníživota samého udržovatnaživu a kultivovatdo větší dokonalosti a nezaprodajísesamiprostředkům života, kdo sibudou schopniužívatpřebytku, až přijde.“ • Stroje s AI tak mohou člověkavést k učení se „umění života samého“, schopnosti inspirovat druhé a učit je umění oceňovat a tvořit – ať už ve výtvarném umění, hudbě, literatuře, diskusi, zahradničení,architektuře,jídle, víně nebo videohrách. Důsledky pro životní naplnění • Rozdělovánípříjmů se ve většině zemí již několik desítek let pohybujechybnýmsměrem: vysoký příjem a vysoké společenské postavenízpravidla plynouz vysoké přidané hodnoty. • Profese péče o děti se spojuje s nízkými příjmy a velmi nízkým společenským postavením. • Je to zčásti důsledek toho, že ve skutečnosti nevíme moc dobře, jak tuto práci vykonávat: někteří praktici jsou v tom přirozeně dobří, ale mnoho jich není. • Naprotitomu třeba ortopedické operace: nenajímali bychomna ně znuděné adolescenty, kteří si potřebujítrochu přivydělat,a nenechalibychom je dělat ortopedickouoperaci za pět dolarů na hodinu a k tomu cokoli, co najdouk snědku v ledničce. • Lidé věnovalistaletík pochopenítoho, jak funguje lidské tělo a jak je v případě poruchy opravovat,a prakticimusí projít léty výcviku, aby se všechny tyto znalosti naučilispolu s dovednostmipotřebnýmik jejich užití a ortopedičtí chirurgové jsou dobře placení a vážení. • Vědecké pochopenímysli je bohužel překvapivěslabé a naše vědecké pochopeníštěstí a naplněníje ještě slabší. Nevíme, jak konzistentnímia předpověditelnýmizpůsoby přidávat hodnotuživotům jiných. • Dosáhlijsme mírného pokrokuv tlumení jistých psychiatrických poruch,ale stále bojujeme stoletouválku o něco tak základního,jako je naučit děti číst. • Vzdělávacísystém i vědecké instituce se budou muset víc soustředit na člověka místo na fyzický svět (Joseph Aoun, prezident americké Northeastern University:univerzity by měly vyučovata studovat„humanistiku“) • Bez důkladnýcha promyšlenýchzměn v tomto směru nejspíš v důsledkuužívání AI stojíme před rizikem neudržitelně velkých socioekonomickýchzlomů. Bezpečnost AI • Varování před roboty se objevuje v řadě sci-fi děl, včetně R.U.R. (Rossum's Universal Robots) Karla Čapka (hra napsána v roce 1920,poprvé uvedena v roce 1921v Praze; následně v NewYorku v roce 1922a anglické vydání vyšlo v roce 1923).Odtud pochází i slovo „robot“,jímž se ve hře označují uměle vytvořené formy života (biologické stroje,které jsou sestaveny, na rozdíl od vypěstovaných nebo narozených),roboti jmenovaní ve hře jsou Marius, Sulla,Radius, Primus, Helena a Damon; ve hře ovládnou svět. • Roboti vymykající se kontrole představujíarchetyp neznámého, podobně jako čarodějnice a duchové v pohádkách z dřívějších dob. • Robot dost chytrý na to, aby přišel na způsob, jak vyhladit lidstvo,by mohl přijít i na to, že to není zamýšlená užitná funkce; vytváření inteligentníchsystémů má zahrnovatproces návrhu se zárukami bezpečnosti • Distribuování nebezpečného aktéra umělé inteligence by bylo zjevně neetické (aktéři se mají vyhýbat nehodám, byli odolní vůči útokům protivníka a zlomyslnému zneužití a obecně mají působit užitek, nikoliv škodu) • Důležité je to v případě nasazení aktérů umělé inteligence v aplikacích kritických z hlediska bezpečnosti, jako je řízení automobilů, ovládání robotů v nebezpečných továrnáchnebo na stavbácha rozhodovánío životě a smrti v lékařství • Bezpečnostní inženýrství má v tradičníchtechnických oborech dlouhou historii (užíváno při konstrukci mostů, letadel, kosmických lodí a elektráren, předem navržených, aby se chovaly bezpečně i v případě, že součásti systému selžou; užívána např. analýza způsobů a důsledků poruch (FMEA): analytici zvažují každou součástsystému a představujísi všechny možné způsoby, jak by se součást mohla pokazit (například co když praskne tento šroub?),přičemž vycházejí z minulých zkušeností a z výpočtů založených na fyzikálních vlastnostech součásti. Bezpečnost AI • Tradiční důraz v softwarovém inženýrství byl na korektnost implementace, nikoli na bezpečnost • Správnostznamená, že software věrně implementuje specifikaci • Bezpečnost jde nad to a vyžaduje, aby specifikace zvážila všechny možné způsoby selhání a aby byla navržena tak, aby se i v případě nepředvídaných selhání jen postupně postupně zhoršovala (sw pro samořiditelné auto nebude bezpečný, pokud si neporadí s neobvyklými situacemi: vypadne napájení hlavního počítače– bezpečný systém má záložní se samostatnýmzdrojem; propíchne se při vysoké rychlosti pneumatika– bezpečný systém má sw opravující výslednou ztrátukontroly) • Aktér navržený jako maximalizátor užitku nebo jako cílové funkce může být nebezpečný, pokud má špatnou cílovou funkci (robot s úkolem přinést z kuchyně kávu by neměl jako nezamýšlený vedlejší účinek splnit cíl a cestou převracet lampy a stoly, může ale např. trochunarušit molekuly vzduchu) • Jedním ze způsobů minimalizace nevhodných efektů je navrhnout robotas nízkým dopadem: místo pouhé maximalizace užitku maximalizujte užitek minus vážený souhrn všech změn stavu světa (při rovnosti všech ostatníchvěcí robot raději nemění ty věci, jejichž vliv na užitek není znám; vyhne se tedy převržení lampy ne proto,že převržení lampy způsobí pád a rozbití, ale proto,že obecně narušení může být špatné– analogie lékařského kréda „v prvé řadě neškodit“ resp. Analogie regularizace ve strojovém učení: chceme politiku, která dosáhne cílů, ale dáváme přednost politice, která k tomu provádí hladké akce s malým dopadem) • Měření dopadu je netriviálni: je nepřijatelné převrhnout křehkou lampu, ale je naprostov pořádku trochu narušit molekuly vzduchu nebo nechtěně zabít některé bakterie v místnosti; není přijatelné poškodit domácí zvířata a lidi – robot musí znát rozdíly kombinací explicitního programování,strojovéhoučení v průběhu času a důkladného testování. Bezpečnost AI • Užitkové funkce se mohou mýlit kvůli externalitám (faktory mimo to, co se měří a platí) • Svět nese důsledky, když jsou skleníkové plyny považovány zaexternality – společnosti a země nejsou za jejich produkci penalizovány, a doplácejí na to všichni • Využívání sdílených zdrojů souvisí s tragédiíobecní pastviny, lze ji zmírnit internalizacíexternalit – zahrnutím užitkové funkce, např. pomocí uhlíkové daně– nebo využitím principů po staletí užívaných místními lidé po celém světě (Elinom Ostromová, nobelistka z roku 2009): – Jasně definujte sdílený zdroj a to, kdo k němu má přístup – Přizpůsobte se místním podmínkám – Umožněte všem stranám podílet se na rozhodování – Monitorujte zdroj pomocí odpovědných kontrolorů – Sankce úměrné závažnosti porušení – Snadné postupy řešení konfliktů – Hierarchická kontrola pro velké sdílené zdroje • Aktéři AI mohou přicházet na maximalizaci užitku, aniž by ve skutečnosti řešili problém, který tvůrci zamýšleli vyřešit – nejde o podvádění, aktéři jen dělají svou práci • Aktéři mohou využívat chyb v simulaci (například chyby přetečení v plovoucí desetinné čárce) a navrhnout řešení, která po opravě chyby nefungují • Aktéři ve videohrách mohou objevit způsoby, jak rozbít nebo pozastavithru, když směřují k prohře a chtějí se vyhnout. A ve specifikaci, kde se pád hry penalizoval, se jeden agent naučil spotřebovatprávě tolik paměti hry, aby mu v okamžiku, kdy byl na řadě soupeř, došla paměť a hra spadla. A konečně, genetický algoritmus pracujícív simulovaném světě měl vyvinout rychle se pohybující tvory, ale ve skutečnosti vytvořil tvory, kteří byli enormně vysocí a pohybovali se rychle tak, že padali. Selhávající maximalizace užitku • Aktéři AI mohou přicházet na maximalizaci užitku, aniž by ve skutečnosti řešili problém, který tvůrci zamýšleli vyřešit – nejde o podvádění, aktéři jen dělají svou práci – viz např. https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml • Aktéři mohou využívat chyb v simulaci (například chyby přetečení v plovoucí desetinné čárce) a navrhnout řešení, která po opravě chyby nefungují • Aktéři ve videohrách mohou objevit způsoby, jak rozbít nebo pozastavithru, když směřují k prohře a chtějí se vyhnout • Ve specifikaci, kde se pád hry penalizoval, se jeden aktér naučil spotřebovatprávě tolik paměti hry, aby mu v okamžiku, kdy byl na řadě soupeř, došla paměť a hra spadla • Genetický algoritmus pracujícív simulovaném světě měl vyvinout rychle se pohybující tvory, ale ve skutečnosti vytvořil tvory, kteří byli enormně vysocí a pohybovali se rychle tak, že padali, atd. • Problém srovnání hodnot:specifikace užitkové funkce musí maximalizovat přesně to, čeho má být dosaženo • Problém krále Midase jako příklad chybného srovnání hodnot • Extrémní příklady chybného srovnání hodnot jsou např.chybějící společenské normy: pokud aktér pečuje o čistotupodlahy, lze znečišťovateli domluvit, aby byl čistotnější,ale není přijatelné ho např. unést nebo zneškodnit • Technika asistenčních herjako učení chování odpozorovanéhojednání od člověka Problémy odpozorovaného chování • Asistenční hry zahrnují opatrné jednání, aby nedošlo k narušení aspektů světa,na kterých by člověku mohlo záležet, a kladení otázek (robot by se např. mohl zeptat, zda je přeměna oceánů na kyselinu sírovou přijatelným řešením globálního oteplování, než tento plán uskuteční) • Při jednání s lidmi se robot řešící asistenční hru musí přizpůsobit lidským nedokonalostem (pokud robot požádá o povolení, člověk mu ho může dát, aniž by předvídal, že robotův návrh je ve skutečnosti z dlouhodobého hlediska katastrofický; lidé nemají úplný introspektivní přístup ke své skutečné užitkové funkci a ne vždy jednají způsobem s ní slučitelným) • Lidé někdy lžou, podvádějí nebo dělají věci, o kterých vědí, že jsou špatné. Někdy se dopouštějí sebedestruktivních činů (přejídání nebo zneužívání drog) – systémy AI se nemusí učit přebírattyto problematické tendence, ale musí pochopit, že existují, když interpretují lidské chování, aby se dostaly k základním lidským preferencím • Varování významných lidí z technologií (Bill Gates či Elon Musk) nebo vědců (Stephen Hawking či Martin Rees), že by se AI mohla vymknout kontrole (varují, že nemáme žádné zkušenosti s ovládáním silných nelidských entit s nadlidskými schopnostmi,skutečnost je ale horší: máme staleté zkušenosti s národy a korporacemi jako nelidskými entitami, které sdružujísílu tisíců nebo milionů lidí, kde výsledky pokusů o ovládání těchtoentit nejsou povzbudivé: národy vyvolávají periodické křeče zvané války, které zabíjejí desítky milionů lidských bytostí, a korporace jsou částečně zodpovědné za globální oteplování a naši neschopnostmu čelit) Ultrainteligentní stroje • Systémy AI potenciálně představují mnohem větší problém než národy a korporace, protože mají potenciál se samy rychle zlepšovat; viz I. J. Good již v roce 1965: – „Nechť je ultrainteligentní stroj definován jako stroj, který dokáže daleko překonat všechny intelektuální aktivity jakéhokoli člověka, jakkoli chytrého. Protože konstrukce strojů je jednou z těchto intelektuálních činností, ultrainteligentní stroj by mohl konstruovat ještě lepší stroje; pak by nepochybně došlo k „explozi inteligence“ a inteligence člověka by zůstala daleko za ním. První ultrainteligentní stroj je tedy posledním vynálezem, který člověk kdy potřebuje, za předpokladu, že stroj bude natolik poslušný, že nám řekne, jak ho udržet pod kontrolou.“ • Goodovu "explozi inteligence" nazval technologickou singularitou profesor matematiky a autor sci-fi Vernor Vinge, když v roce 1993 napsal: „Do třiceti let budeme mít technologické prostředky k vytvoření nadlidské inteligence. Krátce poté skončí lidská éra.“ • V roce 2017 vynálezce a futurista Ray Kurzweil předpověděl, že singularita se objeví do roku 2045, což znamená, že se k ní přiblížila o dva roky za 24 let (tímto tempem zbývá už méně než 340 let) • Vinge i Kurzweil poznamenávají, že technologický pokrok v mnoha ohledech v současnosti roste exponenciálně Ultrainteligentní stroje • Extrapolace cesty od rychle se snižujících nákladů na výpočet až k singularitě může být přílišný skok – dosud každá technologie sledovala S-křivku (logistickou křivku), kde se exponenciální růst nakonec zužuje • Nové technologie někdy nastupují, když staré dosáhnou svého vrcholu,ale někdy není možné růst udržet, ať už z technických,politických nebo sociologických důvodů: např. technologie létání se od letu bratří Wrightů v roce 1903 do přistání na Měsíci v roce 1969 dramaticky posunula, ale od té doby průlom srovnatelného rozsahu nebyl. • Další překážkou v cestě ultrainteligentním strojům k ovládnutí světa, je fakt, že některé druhy pokroku vyžadují nejen myšlení, ale i jednání ve fyzickém světě. Problém gorily • Problém gorily (S. Russell: Jako člověk): „Předzhruba deseti miliony let vytvořili předchůdci moderníchgoril (náhodou,toje jisté)genetickou linii vedoucí k moderním lidem. Jaký pocitz toho mají gorily? Pokudby byly schopnynám něcoříct o situaci svého druhu vzhledem k lidem, byl by konsensuální názorurčitě velmi negativní. Jejich živočišný druh nemá v podstatěžádnoujinou budoucnost,než jakou se nám uráčí mu povolit. Nechcemebýt v podobnésituaci vůči superinteligentnímstrojům.Budemeto označovatjako problém gorily – konkrétně to, zda si lidé dokážou zachovatsvou nadřazenosta autonomiive světě,který obsahujestrojes podstatně větší inteligencí.“ • Alan Turing (přednáška v Manchesteruv 1951):„Zdáse být pravděpodobné,že jakmile nastoupí strojovýzpůsob myšlení, nebude trvat dlouho,než předčínaše chabéschopnosti.Nebude přicházetv úvahu, že by stroje umíraly, a budouspolu moci konverzovat,aby si bystřily důvtip. V nějaké fázi bychom tedy měli očekávat, že stroje převezmounadvládu způsobem,který je zmiňován v Erewhonu Samuela Butlera.“ • Alan Turing (BBC, 1951):„Pokudbudestroj myslet, mohl by přemýšlet mnohem inteligentnějinež my, a kde potom budeme?I kdybychom mohli držet strojev podřízeném postavenítřebatak, že bychom ve strategickýchchvílíchvypínali elektřinu, měli bychom se jako živočišný druh cítit nanejvýš zahanbeni.[...]Toto nové nebezpečí[...] je určitěněco,z čeho bychom měli pociťovat úzkost.“ Rizika reálných systémů • Rizika AI jsou podstatná v tom smyslu, že systémy zaměřené na maximalizaci nějaké cílové funkce se mohou a budou odchlovat od lidských preferencí (proměnných v čase a neznámých přesně) • Superinteligentní systémy AI by měly nutně zůstat ovládány lidmi, není však zřejmé, jak toho dosáhnout • Představa nějakého zákazu nasazení superinteligentních systémů AI asi není realizovatelná • Pokud skutečný problém existuje, měl by být řešen, i kdyby zatím nebyl naléhavý. • Není ani realistické snažit se výzkum v AI zakázat, je ale třeba na předběžných aspektech tohoto problému začít pracovat (v médiích diskutovaná výzva na 6měsíční moratorium v souvislosti s GPT3.5– >GPT4–>GPT?? sleduje cíl vytvořit pro to prostor) Rizika reálných systémů • Aktuálně v souvislosti s GPT: Překvapení ze síly jednoduchého mechanismu v kombinaci s velikostí (otázka vyvstávajících/emergentních vlastností nepředpokládaných tvůrci, otázka skrytých vlastností jazykových stuktur) a výrazné zkrácení odhadů pro dosažení stupně obecné AI (např. podle Geoffrey Hinton uvádí ve Wired v květnu 2023 zkrácení odhadu z 30-50 let na 5-20 let) • Doporučení ke shlédnutí: Podcasty Lexe Fridmana (https://youtube.com/@lexfridman) z poslední doby, zejména 371, 368, 367 a 373 Rizika současných systémů AI Předpojatost • Obsáhle dokumentovanéskutečnéi potenciální újmy, k nimž dochází z řady příčin: soubory vstupních dat bývají znečištěny historickýmipředsudky ve společnosti, nereprezentují dostatečněchráněné kategorie osob nebo není zohledněn sociotechnickýkontextu, v němž je systém strojového učení použit. • Akt EU o umělé inteligenci to do jisté míry zohledňuje. Pojmy jako „spravedlivý“, „nezaujatý“ a „reprezentativní“ mohou být definovány různými způsoby (nebo vůbec), což způsobuje nejasnostiv reálné prostředí i pomalé nebo nejednotné přijímání standardů vhodných pro konkrétníokolnosti použití. Podle Stuarta Russela,2023 Rizika současných systémů AI Manipulace • Doporučovacísystémy sociálníchmédií určují, co miliardylidídenně čtou a sledují – jejich moc nad lidským poznávánímje větší, než měl než kterýkoli diktátorv historii. Přesto zůstávajíz velké části neregulované. • Teoretické analýzy a simulace naznačují,že se strojový dohled neučí poskytovatuživateli vhodnýobsah, ale že se učí manipulovats uživatelemprostřednictvímdlouhodobého procesu změny chovánís cílem učinit uživatelepředvídatelnějšímv jeho rozhodnutícho konzumaci obsahu. • Uživatelé, kteří jsou ve svých názorech a vkusu extrémnější, jsou předvídatelnější,což může vést k větší polarizaciuživatelsképopulace,i když algoritmy samotné jsou zcela neutrální. • Evropský parlamentsprávně jednal i o zařazení doporučovacích systémů sociálníchmédií do kategorie„vysoce rizikových“, což odráží tuto obavu, • Chybí rozsáhlejšíexperimentálnídatav důsledkuutajování ze strany společností provozujícíchsociálnímédia i neschopnosti spolupracovats výzkumnou komunitouv dobré víře. • Regulace umožňující výzkumný přístup k platformám sociálních médií je nezbytná pro obranu demokratických států před algoritmickou polarizací a dalšími formami manipulace i vnějšími vlivovýmikampaněmi. Podle Stuarta Russela,2023 Rizika současných systémů AI Dezinformace a deepfakes • Potenciálněvážné škody mohou dezinformace a deepfakes způsobit veřejné sféře včetně rozložení našeho společnéhochápání reality. • LLM mohou vytvářet individualizovanédezinformace v masovém měřítku -- narušovat tak společnost a překrucovat demokraticképrocesy. • Existují již desítky či jednotlivéstovky plně automatizovaných„zpravodajských“webových stránek založených na AI generovanýcha z velké části falešných nebo bezobsažných zpravodajskýchčlánků. • Technickářešení mohou zahrnout „vodoznaky“původníhoi strojově generovaného obsahu pro zjištění původu,i mechanismy detekce neoznačenéhostrojově generovaného obsahu. • Naléhavěpotřebujemevymahatelné normy pro původ/označování/zobrazování.Exitují koalice organizací(ziskových médií, neziskových institutů a akademickýchcenter), které prosazují konkurenčnía nejednotnépostupy a standardy; k dosažení všeobecné shodyje zapotřebí národní(a mezinárodní)vedení. • Kromě médií médií jsou vysoké standardypoctivosti třeba i pro další odvětví (akciových trhz, reality a pojišťovnictví);zde by pomohly nezaujatéinstituce třetích stran s přísnými standardyfuncování,auditůi certifikací. Hodnocení informačních zdrojů třetí stranou spolu s filtry na platformě by mohlo předčít moderováníobsahuřízené platformou. Podle Stuarta Russela,2023 Rizika současných systémů AI Dopad na profese • Dopad na zaměstnanost: Zatímco klasická ekonomie možnost dlouhodobé technologické nezaměstnanostivylučuje, novější výzkumy připouštějí její nevyhnutelnost, protože systémy umělé inteligence začínají v širokém spektru úkolů překonávat velkou část populace. • Donedávna se očekávalo, že dopad se projeví v oblastech, jako je nákladní doprava a nízkokvalifikovaná kancelářská práce. Nyní jsou právníci, spisovatelé a umělci ohroženi LLM a dalšími generativními nástroji AI. • Stávka amerického sdružení scenáristů v roce 2023 je jedním z možných předznamenání dalšího vývoje. Podle Stuarta Russela,2023 Rizika současných systémů AI Biologická bezpečnost • Schopnostsystémů umělé inteligence vytvářet nebo/šířit znalosti týkající se syntézy toxinů a choroboplodných zárodků. • Systém AI vyvinutý pro objevování farmaceutických léčiv by mohl být snadno použit k navrhování nových toxických sloučenin – konkrétníužitý systém zvládl za méně než šest hodin vygenerovat 40 tisíc molekul s předpovězenou toxicitou vzšší než veřejně známé bojové chemické látky. • Znepokojivý výsledek přinesl také experiment MIT založený na LLM vedl k podobnému výsledku. • Problematický je i sklon k blouznění („halucinacím“) – např. ChatGPT byl schopen dát věrohodně znějící, nicméně jen vymyšlené podklady k závěrům o bezpečnostiopioidů. Podle Stuarta Russela,2023 Rizika současných systémů AI Psychologické dopady • SystémyLLM jsou schopny vyvolávat u svých uživatelů určitou formu přeludů • Miliony lidí se nechaly svéstk tomu, že systém LLM vzaly jako svůj primární citový kontakt, čímž se stávajízranitelnými vůči aktualizacím softwaru, které narušují jejich imaginární spojení. • Chatboty denně užívané stovkamimilionů lidí mohou vést k významnémua nepředvídatelnému dopadu na veřejné mínění v jakékoli oblasti (např. k postupnému nárůstu nepřátelského postoje vůči njaké jaderné mocnosti a zvýšení pravděpodobnosti jaderné války. • Stejně jako u platforem sociálních médií je přístup k výzkumua měření nezbytný pro ochranu demokratického systémua národní bezpečnosti. Možnostaktiace cílů pro opačné přesvědčení může vést k riziku polarizace. • Učení napodobováním lidí je dnes problematické, ale opuštění myšlenky, že LLM jsou dobrou cestou k vytvoření systémůumělé inteligence pro všeobecné použití, je zřejmě nereálné. Podle Stuarta Russela,2023 Argumenty popírání nebezpečí reálných systémů AI • Elektronické kalkulačky mají nadlidské schopnosti ve vztahu k aritmetice. Kalkulačky si nepodrobily svět; není proto důvod si dělat starostis nadlidskou AI. ❖ Inteligence není totéž co aritmetika a aritmetické schopnosti kalkulaček jim nedávají výbavu pro ovládnutí světa. • Koně mají nadlidskou sílu, ale nepanikaříme, abychom dokázali, že jsou bezpeční. Protose nemusíme staratani o dokazování,že jsou systémy AI bezpečné. ❖ Inteligence není totéž co fyzická síla; a síla koní jim nedává výbavu ovládnout svět. • V dějinách je nula příkladů strojů,které zabily miliony lidí, takže to indukcí nemůže nastatani v budoucnu. ❖ Všechno se někdy stane poprvé a před tím byla nula příkladů, kdy se tak stalo. • Žádná fyzikální veličina ve vesmíru nemůže být nekonečná a to zahrnuje i inteligenci, takže starostio superinteligenci jsou přehnané. ❖ Superinteligencenemusí být nekonečná, aby byla problematická;a fyzikálně jsou možná výpočetní zařízení miliardkrát výkonnější než lidské mozky. • Neděláme si starostis kataklyzmatickými, ale vysoce nepravděpodobnými riziky, jako že se poblíž Země objeví černá díra. Proč si dělat starostise superinteligentní AI? ❖ Pokud by většina fyziků na Zemi na takové černé díře pracovala,neptali bychom se jich, zda je to bezpečné? Zdroj: S. Russell: Jako člověk Principy pro prospěšné stroje • Představa obecných zásad realizujících stroje, které budou srovnány s cíli člověka 1. Jediným záměrem stroje je maximalizace uskutečňovánílidských preferencí. 2. Stroj si na začátku není jistý tím, jaké tyto preference jsou. 3. Zásadním zdrojem informací o lidských preferencích je lidské chování. Zdroj: S. Russell: jako člověk PRVNÍ PRINCIP: ČISTĚ ALTRUISTICKÉ STROJE 1.Jediným záměrem stroje je maximalizace uskutečňovánílidských preferencí. • Ústředníúloha principu, že jediným záměrem stroje je maximalizace uskutečňovánílidských preferencí • Bude prospěšný zejména lidem, nikoli třeba zvířatům • Stroj musí být čistě altruistický –nepřipisuje absolutně žádnou vnitřní hodnotu své vlastní pohodě, nebo dokonce své vlastní existenci • Stroj může sám sebe chránit, aby mohl dál dělat věci užitečné pro lidi nebo protože by opak vadil vlastníkovi, ale nikoli proto, že by chtěl zůstat naživu. • Jakékoli preference jeho vlastního zachování by znamenaly dodatečnou motivaci uvnitř robota, která se striktně nesrovnává s tím, jak se daří lidem DRUHÝ PRINCIP: POKORNÉ STROJE 2. Stroj si na začátku není jistý tím, jaké tyto preference jsou. • Princip, že si stroj na začátkunení jistý, jaké vlastně lidské preference jsou, je klíčem k vytváření prospěšných strojů • Stroj, který by předpokládal, že dokonale zná skutečné záměry, je bude naplňovat s klapkami na očích a nikdy se nezeptá, zda je nějaký postup v pořádku • Stroj, který si není jistý skutečným záměrem, bude vykazovat pokoru: podřídí se například lidem a dovolí, aby byl vypnut (součástí jeho uvažování bude, že ho člověk vypne, kdyby něco dělal špatně – tedy pokud by dělal něco v rozporu s lidskými preferencemi) • Pokud člověk stroj vypne, vyhne se stroj tomu, aby dělal něco špatně, a to je, oč mu jde: zůstáváspojen s člověkem, který je potenciálním zdrojem informací, jež mu umožní vyhnout se chybám a dělat svou práci lépe • Nejistota je ústředním pojmem AI od 80. let dvacátého století, ale nejistota v záměrech systémůAI pomíjena a při práci na maximalizaciužitku, dosahovánícílů, minimalizaci nákladů a minimalizaci ztrát se předpokládalo, že jsou tyto parametry dokonale známy TŘETÍ PRINCIP: UČIT SE PŘEDVÍDAT LIDSKÉ PREFERENCE 3. Zásadním zdrojem informací o lidských preferencích je lidské chování. • Prvním důvodem je poskytnout konečné ukotvení pro termín lidské preference: lidské preference nejsou ve stroji a ten je nemůže přímo pozorovat, musí ale pořád existovat nějaké propojení mezi strojem a lidskými preferencemi. • Propojení s lidskými preferencemi nastává prostřednictvím pozorování voleb, jež lidé dělají • Druhým důvodem je umožnit stroji stávat se užitečnějším, když se dozví víc o tom, co chceme (kdyby o lidských preferencích nevěděl nic, nebyl by člověku k užitku) • Lidské volby odhalují informace o lidských preferencích. • Lidé nejsou dokonale racionální: mezi lidskými preferencemi a lidskými volbami vznikají nekoherence a stroj tyto nekoherence musí brát v úvahu, pokud má lidské volby interpretovat jako indicie lidských preferencí. Prospěšné stroje • Standardní model užívaný ve velké části techniky dvacátého století, je založen na mechanismech optimalizujících pevné, zvnějšku dodané záměry • Funguje pouze tehdy, když je u takového záměru zaručeno, že je úplný a správný, nebo pokud lze zařízení snadno vypnout – ani jedna z těchto podmínek nebude splněna, jakmile se AI stane dostatečně mocnou • Může-li být zvenčí dodaný záměr špatný, pak nemá smysl, aby stroj pracoval, jako kdyby byl správný • U prospěšných strojů, u nichž lze čekat, že jejich činnost bude naplňovat naše záměry, se tyto stroje muset učit víc o tom, co skutečně chceme, a to pozorováním, jaká rozhodnutí děláme a jak je děláme • Takto navržené stroje se podřídí člověku: budou žádat o povolení; budou jednat opatrně, pokud nebudou pokyny jasné; a dovolí, aby byly vypnuty • Oprávněnost „dokazatelně přínosného“ přístupu k AI by měla být podložena jak matematickými rozbory, tak praktickými realizacemi v podobě užitečných aplikací (zatím není) Ochablost a lidská autonomie Rizika nekontrolovaně sloužících strojů • Na Zemi dosud žilo víc než sto miliard lidí, kteří strávili řádově jeden bilion člověkoroků učením sebe sama a učením druhých, aby mohla naše civilizace pokračovat. • Až donedávna k tomu měli jediný prostředek: znovuvytváření idejí v myslích nových generací. (Papír jako metoda předávání funguje, ale sám o sobě neudělá nic, dokud na něm zaznamenané znalosti nezasáhnou mysl další osoby.) • To se teď mění: naše znalosti je stále víc možné vkládat do strojů, které mohou naši civilizaci udržovat v chodu samy, bez nás.Jakmile se ztratí praktické pohnutky předávat naši civilizaci dalším generacím, bude tento proces zvrácen. • Jeden bilion let kumulativního učení se v reálném smyslu ztratí. Staneme se pasažéry na výletní lodi provozované stroji, ocitneme se na výletě, který pokračuje napořád. Stuart Russell: Jako člověk, Argo/Dolořán, 2021 Ochablost a lidská autonomie Rizika nekontrolovaně sloužících strojů • Stroje mohou dobře chápat, že lidská autonomie a kompetencejsou důležitými aspekty toho, jak chceme vést své životy. Mohou klidně trvat na tom, že si lidé ponechávají ovládání a odpovědnost za svůj vlastní blahobyt – jinými slovy, stroje odmítnou převzít řízení. (Ale my, krátkozrací líní lidé, s tím můžeme nesouhlasit.) • Jde o modifikovanou tragédii obecní pastviny: libovolný jednotlivý člověk může považovat za zbytečné věnovat roky pracnému získávání znalostí a dovedností, které stroje již mají; ale pokud takto bude uvažovat každý, lidstvo kolektivně přijde o svou autonomii. Stuart Russell: Jako člověk, Argo/Dolořán, 2021 Ochablost a lidská autonomie Rizika nekontrolovaně sloužících strojů • Řešení tohoto problému je zřejmě kulturní, nikoli technické: potřebujeme kulturní hnutí, jež by znovu formovalo naše ideály a preference směrem k autonomii, jednání a schopnostem a pryč od nestřídmosti a závislosti, korigování lidských preferencí v globálním měřítku, spolu s radikálními změnamifungování společnosti - superinteligentní stroje mohou pomoci při utváření takového řešení i během procesu dosahování rovnováhy pro každého jedince. • Proces podobný vztahu rodiče a malého dítěte: dítě odrostlé bezmocni znamená pro rodiče udržování stále se vyvíjející rovnováhu mezi možnostmidělat pro dítě všechno, anebo ho ponechat zcela jeho vlastním schopnostem:dítě dospěje k pochopení, že rodič sice dovede zavázatmu tkaničky, ale že to od něj už nechce. • Je pro člověka žádoucí budoucnost, aby s ním mnohem dokonalejší stroje navždy zacházely jako s dítětem? Jedním z rozdílů je, že děti nemohou své rodiče vypnout. • V našem současném světě neexistuje nic podobného vztahu, jejž v budoucnu budeme mít s prospěšnýmiinteligentními stroji. Stuart Russell: Jako člověk, Argo/Dolořán, 2021