1 Projekt: Internacionalizace, inovace, praxe: sociálně-vědní vzdělávání pro 21. století, reg. č.: CZ.1.07/2.2.00/28.0225 Evaluace 1 Metody evaluačního výzkumu v sociální politice a sociální práci (hodnocení efektů) Cílem kurzu je (1) prohloubit znalosti specifických interdisciplinárních výzkumných postupů v oblasti evaluace sociálních programů a politik (studiem literatury) (2) aplikovat je na vybraných problémech a opatřeních programů sociální politiky. Základní metodologické okruhy: využití klasických metod (statistický rozbor, survey, rozhovor, field-work), metody evaluačního výzkumu použité v různých fázích sociálního programu a politiky. K vybraným okruhům budou doktorandi zpracovávat specifickou zadanou analýzu. Zadání: Vypracovat vlastní projekt komplexně pojatého evaluačního výzkumu efektů s využitím jak klasických sociologických metod tak specifických metod evaluace sociálních programů. Projekty se mohou vztahovat k tématu doktorské disertační práce. Forma textu: žádost o finanční podporu projektu (vědecká grantová agentura apod.) Rozsah textu cca 20 stran. Vlastní projekt sumativní evaluace zaměřené na popis a hodnocení výsledků programových intervencí (opatření). Projekt využije jednu z vybraných ucelených procedur evaluace výsledků, jako jsou například: evaluace účinků (reálných efektů), evaluace čistých efektů, evaluace neočekávaných efektů, cost- benefit analýza, programovou teorií řízená evaluace výsledků. Autor návrhu využije klasické strategie sociálněvědního výzkumu jako jsou např.: sociální experiment a kvaziexperiment, survey, rozhovory s experty, focus groups . Součástí návrhu bude také posouzení hodnotitelnosti výsledků. Toto hodnocení hodnotitelnosti zahrne zhodnocení: 2 - Dostupnosti dat - Finančních nákladů - Časového horizontu hodnocení a časových nákladů - Etických nákladů hodnocení, zejména pro příjemce - Naléhavosti potřeby hodnocení - Význam výsledků hodnocení ve vztahu k řešenému problému - Přístupy příjemců hodnocení Předpokládaná struktura projektu: 1 Problém, jeho kontext, potřeba hodnocení a základní otázka Problém, význam hodnocení efektů a typu efektů – vazby na design a implementaci projektu. Formulace cíle hodnocení. Zahrnutí hodnocení hodnotitelnosti. Význam hodnocení v kontextu policy making. 2 Shrnutí dosavadních poznatků, otázky k řešení Zobecněné poznatky o výsledcích podobných hodnocení, konfrontace s novějšími proměnami kontextu, problému a policies. Zdůraznění nových otázek a potřeb posunout hodnocení k novým cílům. 3 Teoretická východiska hodnocení (‚programová teorie‘) a zpřesnění cíle hodnocení Programová teorie: modely kauzality – je možné uvažovat varianty programové teorie v užších a širších kontextech problému a kontextech policies. Volba vhodného kontextu hodnocení. 4 Výzkumná otázka, dílčí otázky, hypotézy Výzkumná otázka v rovině poznávací, navazuje zpřesnění v rovině aplikační. Alternativní přístupy k hodnocení problému – jiné otázky ? Argumentace pro výběr nejvýznamnější otázky a vhodného zúžení otázky. Rozhodnutí o typu efektů, jež budou sledovány – a hodnoceny. Argumentace pro vhodný typ hodnocených efektů. Hypotézy – návaznost na dosavadní poznatky o předpokládaných efektech ve vztahu k programové teorii a kontextu a o podstatných charakteristikách policies z hlediska efektů pro řešení problému. 5 Metodologie hodnocení: náznak operacionalizace, metodické-výzkumné postupy, data Zhodnocení významu sledovaných efektů a jejich hierarchie z hlediska výzkumné otázky. Řešení problému kontrafaktuality za účelem zjišťování čistých efektů. Experimentální resp. quasi-experimentální design. Operacionalizaci provést na klíčovém konceptu a kritériu hodnocení, resp. nejpodstatnějším typu efektů. Výzkumné postupy a data: přehled a zdůvodnění možných postupů a zvolených postupů (efektivita výzkumu). 3 6 Výzkumné aktivity, harmonogram Sled – uspořádání výzkumných kroků, zhodnocení jejich náročnosti, identifikace možných zpoždění a náznak harmonogramu. 7 Předpokládaný přínos hodnocení, využití poznatků Identifikace možností využití výsledků v procesu policy making. Možné bariéry využití a možnosti jak je překonat. Předběžná doporučení jak zacházet s výsledky. Podmínka zápočtu: Odevzdání textu, jejich uznání učitelem a prezentace v semináři. Předmět je ukončen zkouškou. Zkouška má dvě části: Ćást A (1) obhajoba projektu před komisí nebo (2) získání grantu na základě projektu. Část B Diskuse vybraných metodologických otázek výzkumu v SPSP před komisí. garant a vyučující: Sirovátka, povinná literatura: Rossi P.H., Freeman H.E., Lipsey M.W., Evaluation. A Systematic Approach, 6th edition, Sage, London, 1999 Weimer D.L., Vining A.R. : Policy Analysis. Concepts and Practice. N.Jersey, Prentice Hall 1992. Journal of European Social Policy, Central European Journal of Public Policy, Journal of Public Policy, OECD Employment Outlook, poslední ročníky, vybrané stati. doporučená literatura : Becker, A. H., Vanclay, F. The International Handbook on Social Impact Assessment. Edward Edgar, 2003. Deleeck H, Van den Bosch, K., De Lathouwer L. : Poverty and the Adequacy of Social Security in the EC. Avebury, Aldershot. 1992. Mitchell, D. : Income Transfers in Ten Welfare States. Avebury Aldershot, 1991. Stephen Stich: The Fragmentation of Reason. Preface to a Pragmatic Theory of Cognitive Evaluation MIT press, 1993 Dahler-Larsen P., From Programme Theory to Constructivism, Evaluation, vol. 7, n.3, 2001 Davis I. C., Evaluation and Performance Management in Government, Evaluation, vol. 5, n.2, 1999 Denzin N. K. and Lincoln Y. S., Collecting and Interpreting Qualitative Materials, Sage, London, 1998 4 EC-DGV, Guidelines for Systems of Monitoring and Evaluation of ESF Assistance in the Period 2000-2006, July 1999 Fitz Gibbon C.T., Lynn Lyons M., How to Design a Program Evaluation, Sage, London, 1991 Gao, United States General Accounting Office, Program Evaluation and Methodology Division, Designing Evaluations, March 1991 Grant D.L., Monitoring Ongoing Programs, Jossey Bass, San Francisco, 1978 Gredler M. E., Program Evaluation, Prentice Hall, 1996 Guba E.G., Lincoln Y.S., Fourth Generation Evaluation, Sage, London, 1989 Chen H.T.: Theory-Driven Evaluation.Sage, London 1990 Chen H.T. : Practical Program Evaluation. Sage, London 2005 King J.A., Morris L.L., Fitz-Gibbon C.T., How to Assess Program Implementation, Sage, London, 1987 Lee T.W., Using Qualitative Methods in Organisational Research, Sage, London, 1999 Mark M.M., Henry G.T., Julnes G., Evaluation. An integrated framework for understanding, guiding and improving public policies and programs, Jossey-Bass, San Francisco, 2000 Martin S., Sanderson I., Evaluating Public Policy Experiments: measuring outcomes, monitoring processes or managing pilots?, Evaluation, vol. 5, n.3, 1999 Clegg S.R.et al. (eds.), Handbook of Organisational Studies, Sage, London, 1996 OECD : Evaluating Labour Market and Social Programmes The State of Complex Art. Paris 1991. OECD, Evaluating Labour Markets and Social Programmes. The State of a Complex Art, Ocse-Ocde, Paris, 1991 Owen J.M., Rogers P., Program Evaluation. Forms and Approaches, Sage, London, 1999 Patton M.Q. Qualitative Research and Evaluation Methods. Sage, London 3vol. 2002 Patton M.Q., Utilization-Focused Evaluation, Sage, London, 1997 Pawson R. and Tilley N., Realistic Evaluation, Sage, London, 1998 Posavac E.J., Carey R.G., Program Evaluation (Methods and Case Studies), Prentice Hall, Englewood Cliffs, 1992 Pressman J.L., Wildavsky A., Implementation, University of California Press, Berkeley, 1984 Rist, R. Policy Evaluation, Edward Edgar, 1995. Rubin H. & Rubin I., Qualitative Interviewing: The Art of Hearing Data, Sage, London, 1995 Sanderson I., Complexity, Evaluation and Evidence-Based Policy, paper presented to the IV Conference of the European Evaluation Society, Lausanne, October 2000 Schmid G., O’Reilly J., Schomann K. (eds.), Handbook of Labour Market Policy and Evaluation, E. Elgar, Cheltenham (UK), 1996 Scriven M.S., The Evaluation Thesaurus, Thousand Oaks, CA Sage, London, 1991 Shaw I.F., Qualitative Evaluation, Sage, London, 1999