ZURN6311 DOTAZNÍKOVÝ VÝZKUM: ETIKA Lenka Dědková ÚKOL 2 •Convenience sampling, nelze generalizovat na celou populaci – ani voličů v ČR, ani voličů pana Nováka. •Kdo všechno může být sledující FB stránky politika? •Vliv na kontroverzní témata. •Jaké lepší strategie jste navrhovali? • • •8 WAYS HOW TO PEEL A BANANA • • ROZVOJ ETIKY VE VÝZKUMU •Spojený s eticky problematickými praktikami •Lékařské experimenty na lidech bez jejich souhlasu •WW2 •Ale nejenom medicína: •psychologie: Milgramovy experimenty zaměřené na výzkum autority (1963), Zimbardův Stanford prison experiment (1971) •https://www.youtube.com/watch?v=LMbuUUlSQ5w • • ROZVOJ ETIKY VE VÝZKUMU •Následovaly různé legislativní regulace •1979 Belmont report (National Commission for the Protection of Human Subjects of Biomedical and Behavioral Research) •Tři základní principy: respekt, přínos (beneficience), spravedlnost •Respektování autonomie člověka à nutnost dobrovolného informovaného souhlasu (bez donucení, manipulace..) •Přínos – maximalizovat benefity a minimalizovat újmy pro respondenta •(potenciální) přínos musí být vyšší než (potenciální) újma •Spravedlnost – férovost při výběru participantů – neznamená rovnost, ale zvažování míry, do jaké je daná skupina participantů už zatížena + neznevýhodňování jedné skupiny nad druhou •Př. medicínský experimentální výzkum na domorodém obyvatelstvu, z jehož zjištění benefitují především bohatí běloši • •„Subjects“ vs. participants: v sociálních vědách nepoužívejme „subjects“ • UKOTVENÍ V INSTITUCÍCH •Research Ethics Boards, Human Research Ethics Committees, Institutional Review Boards (IRB): etické komise •V některých zemích je při výzkumu s „human subjects“ (financovaným z veřejných zdrojů) povinné získat schválení IRB •Na soukromé výzkumy se často povinnost nevztahuje •Profesionální agentury pro sběr dat jsou ale často členy profesních organizací, které je zavazují etickými kodexy • •ICC/ESOMAR: https://www.esomar.org/uploads/public/knowledge-and-standards/codes-and-guidelines/ICCESOMAR_Code_C zech_.pdf •AAPOR Code of Ethics: https://www.aapor.org/Standards-Ethics/AAPOR-Code-of-Ethics.aspx •Association of Internet Researchers (AOIR): https://aoir.org/ethics/ •ASA (American Sociologial Association): https://www.asanet.org/sites/default/files/savvy/images/asa/docs/pdf/CodeofEthics.pdf • • • • UKOTVENÍ V INSTITUCÍCH •V ČR ze zákona EK nutná pouze pro výzkumy zahrnující biomedicínské postupy – přesto čím dál běžnější praxe i v jiných oborech •Obzvláště pokud jsou respondenty děti nebo jiné zranitelné skupiny •Nebo je povaha výzkumu z jiného důvodu výrazně citlivá •Nebo má vyšší než minimální rizika •Nebo dochází ke klamání respondentů • •MU: Etická komise pro výzkum (EKV): https://www.muni.cz/o-univerzite/fakulty-a-pracoviste/rady-a-komise/eticka-komise-pro-vyzkum/o-komi si •„Posouzení EK nevyžadují projekty využívající anonymní dotazníková šetření v dospělé populaci.“ •Pokud se na ně nevztahují předchozí situace •MU EKV dokumenty – dokument pro studenty (pro výzkum zpracovávající osobní údaje) https://www.muni.cz/o-univerzite/fakulty-a-pracoviste/rady-a-komise/eticka-komise-pro-vyzkum/dokume nty • • ETIKA JE VŠUDE •Etické principy nejsou jen okrasa, představují dealbreakers • •Vztahuje se na celou metodologii/vědu •Volba výzkumného problému a cílové populace •Design studie •Sběr dat (jak, na kom, kdy) a zacházení s daty •Analýza a interpretace dat •Publikace • •Celkově etické jednání ve vědě: používat nejlepší možné metody (výběru vzorku, dotazování, měření proměnných, analýz), analyzovat adekvátními postupy a interpretovat výsledky v rozsahu, v jakém to umožňuje vzorek, data a analýza •A především: celý postup vzniku dat otevřeně reportovat! • • Obsah obrázku text, obloha, podepsat, exteriér Popis byl vytvořen automaticky ELEMENTS OF MINIMAL DISCLOSURE (AAPOR) •Who sponsored the survey, and who conducted it •The exact wording of questions asked, including any preceding instruction or explanation that might reasonably be expected to affect the response •A definition of the population under study and a description of the sampling frame •A description of the sample selection procedure •Size of sample and, if applicable, completion rates and information on eligibility criteria and screening procedures •The precision of the findings, including, if appropriate, estimates of sampling error and a description of any weighting or estimating procedure used •Which results, if any, are based on parts of the sample rather than the entire sample •Method, location, and dates of data collection NO NO •Při volbě VO, designu a populace •Především u vulnerabilní populace – pečlivě zvažovat, co zvládne zodpovědět a co ne (citlivá témata a citlivé položky) •Některé kombinace VO a designu jsou by default špatné •Experimentální studie na dopady šikany na self-esteem •Jaký design by byl eticky ok? • •Při výběru vzorku: •Úmyslná tvorba vzorku tak, aby nám vyšlo, co chceme •Koho (a případně jak) byste oslovili, pokud byste chtěli, aby vám vyšlo, že: •Volby na podzim vyhraje SPD? •Metodologie na MEDZUR je zbytečná? •Mladí lidé považují Parlamentní listy za důvěryhodné médium? •Tazatelé: úmyslné nenásledování protokolu – koho mají oslovit • NO NO • •Při tvorbě dotazníku/sběru dat: •Návodné otázky, využití efektu pořadí a jiných známých technik, které vedou ke zkresleným odpovědím •Specificky k odpovědím, které jsou zkreslené směrem, který by potvrzoval hypotézu •Vaše hypotéza je, že lidé si myslí, že sociální sítě vedou k hloupnutí dětí. Jak se lze návodně zeptat? •Tazatelé: úmyslná úprava nebo doplňování odpovědí, částečně nebo kompletně falzifikované záznamy •Duplicitní záznamy • •Při kontrole/analýze dat •Mazání nepohodlných dat •Porušování principu důvěrnosti dat, porušování slíbené anonymizace nebo skartace dat •Arbitrární stanovování hladiny významnosti podle výsledku, p-hacking •Úprava dat, přepisování dat • NO NO • •Při sepisování a publikování výsledků •Zamlčování výsledků •Záměrně zavádějící interpretace (nejen výsledků, ale třeba i reprezentativita u convenience samplu) •Plagiarismus •Zamlčení vlastní podjatosti (conflicts of interest) •Jaké konflikty zájmů mohou nastat v následujících situacích? •Vytvoříte a prodáváte školení na zvýšení mediální gramotnosti. Provedete k němu studii o efektivitě. •Děláte výzkum o poptávce po novém produktu, kterým chcete přesvědčit investora. •Máte za úkol sesbírat data od vašich zaměstnanců ohledně jejich spokojenosti a víte, že na jejich základě budete hodnoceni šéfem. •Jak podobné situace ošetřit? • • FALZIFIKACE DAT •Special case chyb měření •Vede ke zpochybnění celého výzkumu a poškození reputace •Různé odhalené míry falzifikace ve velkých národních šetřeních (typicky malé, do 5%) •Falzifikovaná data mají tendenci posouvat statistiky vzorku •Častá falzifikace tazatelů zahrnuje odpovědi na položky kolem středu – tím se zvyšuje „špička“ rozložení proměnných •Zmenšuje se rozptyl a snižují se síly efektů vztahu proměnných DeMatteis et al 2020 FALZIFIKACE DAT •Agentury a výzkumníci mají řadu strategií, jak ověřovat data a jejich kvalitu •Zpětné kontaktování respondentů •Při paper-pen kontrola rukopisu a stylu zaškrtávání •Při využití CAPI náhodné nahrávání segmentů rozhovorů nebo pohybu na obrazovce, kontrola délky dotazování •Sledování pohybu tazatele pomocí GPS •Požadavek na pořízení fotky z místa interview + geotagging •V datech: analýza outlierů, konzistence odpovědí v dotazníku, kontrola duplicitních záznamů, kontrola v porovnání s rozložením u jiných tazatelů • •Falzifikace výzkumníka naopak typicky vztahy zesiluje – vlivem snahy produkovat data, která podporují hypotézy •Různá míra sofistikovanosti OCHRANA RESPONDENTA •Tři základní principy: respekt autonomie člověka, přínos nad riziky, spravedlnost • •Náklady, zátěž na straně respondenta by měly být minimalizovány a respondent o nich musí být informován •= čas, energie potřebná na vyplnění, na vyhledávání materiálů/konkrétních dat, újma •Cokoliv, co usnadní participaci, by se mělo využít – pečlivé formulace položek, ptát se jen na to, co je nutné k zodpovězení VO, ptát se jen tolika lidí, kolik je nutných k VO, pečlivý design, aby samotné vyplnění bylo intuitivní •Má to i pragmatický dopad: čím víc po respondentech chceme, tím víc odmítají účast na výzkumu nebo vypadávají v jeho průběhu •Pokud lze odpověď na VO získat bez lidí, využít primárně způsob bez lidí • •Informovaný souhlas: •Co to není: záruka „no harm“ •a neplatí, že pokud nic není ohroženo, tak nemusíme informovaný souhlas získat •Co to je: kontrola nad vlastním životem – kontrola nad tím, k čemu a jak slouží moje data, informace.. • • INFORMOVANÝ SOUHLAS •Dobrovolný – bez jakéhokoliv nátlaku nebo donucení z pozice autority nebo přílišné odměny •Musí rozumět tomu, s čím souhlasí a co to pro ně znamená •Zvažovat kognitivní schopnosti respondenta •Musí vědět a mít možnost neodpovídat nebo účast v průběhu odvolat bez negativních dopadů či postihu •Obzvláště důležité, pokud respondent a zhotovitel výzkumu jsou v nějakém formálním nebo asymetrickém vztahu •Zaměstnanec x zaměstnavatel, pacient x lékař, student x vyučující, zákazník x poskytovatel služeb •Musí rozumět benefitům •Z hodně studií reálně daný respondent přímo neprofituje – spíš společnost, mělo by to být jasné •Musí rozumět rizikům a rizika musí být minimalizována •Rizikem je i emoční újma způsobená otázkami, např. na traumatické zkušenosti •Respondent by se neměl cítit zesměšňován, stydět se.. • INFORMOVANÝ SOUHLAS: MUST •Informace o výzkumu •Téma, účel výzkumu - k čemu slouží a jak bude použit •Jak výzkum probíhá, co se od respondenta čeká, jak dlouho to trvá •Jaké jsou výhody a možná rizika účasti •Důvěrnost poskytnutých údajů, anonymita a ochrana osobních údajů, pokud jsou sbírány (GDPR) •Práva respondenta •Neodpovídat •Kdykoliv účast odvolat (resp. do kdy lze účast odvolat) •Kontakt na zodpovědnou osobu •Zadavatel a sponzor (kdo za výzkum platí, kdo ho provádí) •Pro výzkum s riziky: alternativní řešení (léčba), co se stane v případě identifikování potíží FORMY SOUHLASU •Kdy nemusí být psaný a podepsaný? •Pokud by archivovaný psaný souhlas mohl vést k identifikaci a následně poškození respondenta (např. survey o kriminální činnosti, o mentálním zdraví,…) •Pokud jsou ve výzkumu minimální rizika, pokud se nesbírají identifikující údaje a pokud je respondent schopen právně souhlas dát, stačí nepsaný •U online surveys typický případ •Požadavek na podepsaný IS vede k nižší response rate: až 13% lidí, kteří jsou ochotní se účastnit výzkumu, nejsou ochotní podepsat IS (Singer, 2003) •Podepsaný IS je důležitý především pro instituci provádějící výzkum – v případech, kdy z účasti plynou „vyšší než minimální rizika“ je ale často nezbytný •Alternativy: lidé jsou ochotnější podepsat dokument, že jim IS byl přečten a že dostali jeho kopii k uložení • •Příklady formulářů psaného IS na EKV MU: https://www.muni.cz/o-univerzite/fakulty-a-pracoviste/rady-a-komise/eticka-komise-pro-vyzkum/dokume nty Obsah obrázku text Popis byl vytvořen automaticky Obsah obrázku text Popis byl vytvořen automaticky Příklady IS pro děti a jejich zákonné zástupce v projektu ySkills (najdete ve studijních materiálech) FORMY SOUHLASU •Dlouhý informovaný souhlas na začátku survey snižuje response rate à proto musíme pečlivě balancovat, co a v jaké formě respondentům nebo jejich zákonným zástupcům sdělit •V případě „klasického“ survey s minimálními riziky často stačí jako součást úvodního textu před samotným vstupem do dotazníku •Samotný akt souhlasu může být vyjádřen tím, že respondent dotazník vyplní (implicitní souhlas) •Lepší je to tam napsat „Vyplněním dotazníku potvrzujete, že jste byli seznámeni s výše uvedenými informacemi a že s nimi souhlasíte“ nebo k tomu přímo dát zaklikávací políčko • •V případě respondenta, kde je potřeba souhlas zákonného zástupce: •Potřebujeme souhlas obou (i respondenta) (někdy i dalších aktérů v procesu, např. ředitel školy) •Aktivní (opt-in) vs pasivní souhlas (opt-out) •Aktivní – zástupce má explicitně dát najevo, že souhlasí •Pasivní – zástupce má explicitně dát najevo, že nesouhlasí •To ale zvyšuje náklady na straně respondenta a tím mu ztěžujeme odmítnutí – není eticky vhodné, byť se někdy používá • • POZVÁNKA Bc práce G. Ostárková o postojích k online seznamkám CO KDYBY ALE ZVEŘEJNĚNÍ NĚKTERÉ INFORMACE V IS PODLE ETICKÝCH POŽADAVKŮ VEDLO KE ZKRESLENÍ VÝSLEDKŮ? Obsah obrázku text, osoba, muž, interiér Popis byl vytvořen automaticky ZASTŘENÝ VÝZKUM •Obecně je etické lhaní (i nesdělení nějaké důležité informace) respondentům minimalizovat •Ideálně žádné! • •Zastřený výzkum: •Z povahy VO nemůže respondentům sdělit, co skutečně zkoumá – a nelze to tedy mít v IS •Využívá nějakou cover story, lže o účelu/průběhu výzkumu • •Př. respondenti hrají kooperativní hru nebo se baví s domnělými jinými respondenty, ale ve skutečnosti jde o program nebo výzkumníka •Respondenti věří, že po vyplnění osobnostního dotazníku dostanou profil své osobnosti, ale v rámci experimentální manipulace dostanou profil popisující je jako netolerantní lidi s nedostatkem empatie •Respondenti věří, že studie spočívá v tom, že vyplní osobnostní dotazník, ale během studie se do místnosti vřítí expartner administrátora a snaží se vyvolat hádku, a zkoumá se reakce respondentů na takovou situaci • FABRIKOVANÉ MATERIÁLY •Typické v experimentálním designu, ale i v survey, které hodnotí dopady expozice jednoho podnětu •Fiktivní reklamy, články, osoby.. • •I smyšlené materiály musí být etické – nesmí vést k (potenciálnímu) poškození •Např. výzkum zaměřující se na důvěryhodnost reklamního sdělení by neměl v reklamě zobrazovat pochybné události, praktiky… •„Co vám doktoři neřekli! Kloktání Savem vás ochrání před covidem!“ •Opatrně i se sděleními, která by mohla šířit obavu, strach, paniku, poplašné zprávy •Podnětové materiály s násilnými, agresivními, urážlivými obsahy (byť fiktivními) • DEBRIEFING •V těchto případech zásadní! •Odhalení a vysvětlení skutečného účelu výzkumu, vysvětlení, že materiály/osoby byly fiktivní/hrané… •V případech, kdy vlastně respondent nedal reálný plně informovaný souhlas, je etické se ho na souhlas po debriefingu zeptat znovu • •V online sběrech: jak zajistit, že se člověk do fáze debriefingu dostane? •Může být problematické až nemožné - dealbreaker • •V nějaké podobě by měl být v každém výzkumu – obvykle ale stačí kratičce jako součást poděkování a měl by v respondentovi posílit dobrý pocit z toho, že se výzkumu zúčastnil •Děkujeme za vyplnění dotazníku, kterého si velmi ceníme. Vaše odpovědi nám pomohou zjistit, jaké jsou dopady používání Instagramu, což je dnes obzvláště důležité téma. Pokud máte jakékoliv otázky nebo komentáře, neváhejte se obrátit na XYT@blabla. • PŘÍKLAD DEBRIEFINGU V ONLINE SURVEY •Děkujeme za odpovědi. Jak asi víš, pod fotkami na internetu můžeš vídat negativní komentáře, které se někdy týkají vzhledu. Takové komentáře mohou být pro osobu, které se týkají, zraňující. Nás zajímalo, co má vliv na to, jak lidé vnímají takové komentáře a osoby na fotkách. Vytvořili jsme proto fotku, kterou jsi viděl/a, i komentáře vedle ní. Fotka tedy nezobrazovala reálný Instagramový účet a komentáře byly rovněž smyšlené. Kdyby se stalo něco podobné tobě, doporučujeme se s tím obrátit na někoho, komu důvěřuješ. Teď prosím pokračuj ve vyplňování dotazníku dále. ETHICAL PICKLE •Co kdyby ale zveřejnění některé informace podle etických požadavků vedlo ke zkreslení výsledků? •Někdy i sponzor/zadavatel výzkumu může zkreslit výsledky, pokud ovlivní ochotu respondentů výzkumu se účastnit • •Pro všechny tyto případy je důležitá etická komise •Nezaujatý orgán, který zváží rizika/benefity studie Obsah obrázku text Popis byl vytvořen automaticky DO NO HARM •Nevztahuje se jen na respondenta • •Na výzkumníka/tazatele: •Pokud by prováděním sběru byl administrátor vystaven riziku, musí poskytnout informovaný souhlas a musí být maximalizovaná snaha rizika eliminovat •V případě nepřiměřeného rizika je to no-go • •Na jiné lidi, které náš výzkum také nesmí poškodit •Položka v dotazníku „Jak silně věříte tomu, že doktorka Dědková opsala svou disertaci“? •„push polls“ – anketa prezentovaná jako výzkum, jejímž reálným cílem je poškodit pověst – např. politikovi • • DŮVĚRNOST DAT •Co je z dat zveřejněno, je zveřejněno v takové podobě, která neumožňuje identifikaci respondenta •Pokud data obsahují osobní údaje, jsou uchovávána tak, aby se k nim nedostala neautorizovaná osoba •Přímá identifikace uložena v jiném souboru než datovém, se kterým se pracuje •Ideálně – nakládání s daty dat, že nikdo nemá možnost je přímo spojit •Př. EPI data •Zaheslované soubory/archivy, uložené na zabezpečeném serveru •Autorizované osoby – podepsaný agreement o zachování důvěrnosti OSOBNÍ ÚDAJ •Jakákoliv data, která mohou vést k identifikaci jednotlivce •Jméno, adresa, rodné číslo, UČO •Ale také: •Unikátní údaje, které nemáme zafixovány jako identifikační: počet followerů českého influencera na YT kanálu ke dni 21. 3. 2021 •Kombinace dat, které dohromady identifikují jednotlivce: •Sběr na školách: místo bydliště, velikost školy, věk, pohlaví, počet sourozenců, covid karanténa v posledním měsíci •Sběr v organizaci: pracovní zařazení, pohlaví, věk •Kombinace dat ze survey s údaji odjinud, které dohromady identifikují jednotlivce: IP adresa, přezdívky komentujících • •Sběr přes internet: pozor na to, jaké služby používáte – respondenti nedávají data jen vám, ale i zprostředkovateli + otázka zabezpečení INCENTIVY •Odměny za účast na studii, pobídky •Mají motivovat k účasti a zároveň odměnit za vynaloženou energii • •Jaké incentivy vás napadnou, že by šlo použít? •Pro výzkum na obecné populaci dospělých? •Pro výzkum na mladých dospělých na sociálních sítích? •Pro výzkum na dospívajících (13-17)? •Pro výzkum na matkách samoživitelkách? INCENTIVY •Incentivy, které jsou na hraně nebo za ní: •Tak velké, které de facto neumožňují reálné odmítnutí účasti na výzkumu – narušuje princip dobrovolnosti, může být nátlakové a vést k tomu, že lidé jsou ochotnější snést vyšší rizika než by udělali normálně •Pokud se zúčastní celá třída, dostanou volné vstupenky do ZOO •Pokud ve výzkumu sdělí svoje heslo, dostanou peníze navíc •Pokud se zúčastní studie, sníží se trestanci délka trestu •Pokud se zúčastní, dostane člověk závislý na drogách finanční odměnu •Kredity za účast na výzkumu •Takové, které narušují princip spravedlnosti •Např. kvůli finanční odměně se systematicky víc zapojují domácnosti s nižším SES - silnější pozici na odmítnutí mají zabezpečení respondenti •Neexistuje žádné jasné doporučení, je to o jemném balancování ČASTÉ INCENTIVY •Všichni respondenti nebo jen část •Loterie (10 respondentů získá menší odměnu, 3 větší odměnu) •Všichni, kteří vyplní dotazník kvalitně/až do konce • •Peníze •Kredity/body, které lze směnit za zboží/slevu •Příspěvek na charitu ve jménu respondenta •(Personalizované) výsledky studie •Např. osobnostní profil, porovnání schopností s ohledem na ostatní respondenty, report pro školy •Dobrý pocitJ • ETIKA •The CASRO Code of Standards and Ethics for Survey Research •Dnes Insights Association •V jejich etickém kodexu byla např. i specifikované, že respondent by po výzkumu měl být ochotný účastnit se dalších výzkumů •Zkušenost z výzkumu nesmí být pro respondenty tak špatná, aby to negativně ovlivnilo jejich postoj k výzkumům ÚKOL 3 •Najít alespoň článek, který zkoumá efekt survey invitation nebo informed consent na response rate nebo data quality, přečíst a stručně popsat, co, jak a na kom zkoumali, jaké byly výsledky a jaké doporučení byste na základě výsledků formulovali (cca 1 NS) • •Vyberte si jeden z následujících scénářů a navrhněte pro něj pozvánku a úvodní text (incl. informovaný souhlas a incentivy) •Krátce popište, co jste zvažovali a jak se to odrazilo při jejich tvorbě •Sami zvolte a popište mód sběru (papír-tužka, online, kombinace..) a kde byste respondenty oslovovali •Vyžadoval byste souhlas etické komise? Proč ano, proč ne? •(počítáme s convenience sample, neřešte výběrový rámec ani zkreslení daná výběrem vzorku) • •Scénář 1: •Chcete provést dotazníkový výzkum o sledování pornografie u seniorů v důchodu. Jeho součástí budou otázky na fyzické zdraví, partnerský vztah, frekvenci sledování různých typů pornografie (vč. jejich popisu) a jejich hodnocení, frekvenci sexuálního styku a masturbace. •Scénář 2: •Chcete provést dotazníkový výzkum o reakcích dospělých na mediální zprávy popisující válečné zločiny. Součástí výzkumu budou otázky na mediální praxe, hodnoty respondentů, politickou orientaci a grafické a textové materiály zobrazující násilí (zbraně, krev..). STUDIE O DOPADECH RŮZNÝCH ASPEKTŮ SBĚRU •Experimentální designy, závislé proměnné: •Typicky response rate (ať už na úrovni celého dotazníku – účast) nebo na úrovni položek a s ní související kvalita dat •Response rate nebo unit nonresponse •Poměr mezi pozvanými a ochotnými se účastnit •Lze spočítat jen pro některé typy výběrů • •Item nonreponse •Míra neodpovídání na konkrétní položky •Lze spočítat pro každou položku v každém typu výběru • •Kvalita dat •Částečně reflektovaná unit i item nonresponse •Širší: to, jak přesně respondenti odpovídají (jak lžou, upravují odpovědi apod.) – social desirability prone items, citlivé otázky LITERATURA •DeMatteis, J. M., Young, L. J., Dahlhamer, J., Langley, R. E., Murphy, R. E., Olson, K., & Sharma, S. (2020). Falsification in surveys. https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Data_Falsification_Task_Force_Report.pdf •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (Vol. 561). John Wiley & Sons. •American Association for Public Opinion Research (AAPOR). (2010). AAPOR Code of Professional Ethics and Practices. https://www.aapor.org/Standards-Ethics/AAPOR-Code-of-Ethics.aspx •ICC/ ESOMAR (2016). Mezinárodní kodex ICC/ESOMAR. https://www.esomar.org/uploads/public/knowledge-and-standards/codes-and-guidelines/ICCESOMAR_Code_C zech_.pdf •Singer, E. (2003), "Exploring the Meaning of Consent: Participation in Research and Beliefs about Risks and Benefits," Journal of Official Statistics, 19, pp. 273-285.