Služby, projekty a práce s nezaměstnanými Téma: Monitoring a hodnocení programů zaměstnanosti FSS MU Brno, 2008 Struktura tématu 1. Evaluační výzkum a jeho význam v politikách pracovního trhu 2. Kontext evaluačního výzkumu 3. Fáze evaluačního výzkumu - příprava - hodnocení designu a implementace programu - hodnocení výstupů a efektů programu 4. Techniky hodnocení a zdroje dat (monitoring) o programech zaměstnanosti 5. Přínosy hodnocení programů zaměstnanosti 6. Omezení vyplývající z užití hodnotícího výzkumu v programech zaměstnanosti Ad 1) Evaluační výzkum a jeho význam n posuzování dopadů nebo účinků programů (zamýšlených i nezamýšlených) s ohledem na stanovené cíle programů n informuje aktéry o: potřebnosti intervence, designu programu, jeho implementaci a efektech vzhledem k identifikovaným potřebám è korekce programu n cílem je umožnit následné zformulování doporučení nebo navržení změny n výsledky nelze zobecňovat, nejsou přenositelné Kontext evaluačního výzkumu Při hodnocení sledujeme kauzální řetězec modelu intervence: n Ovlivňuje program ty skutečnosti, které lze chápat jako charakteristiky sociálního problému? n Které prvky programu (a faktory prostředí, v němž je implementován) ovlivňují rozhodujícím způsobem jeho účinnost? Kontext evaluačního výzkumu Kontext evaluačního výzkumu – příklad osob s nízkou kvalifikací AD3) Fáze evaluačního výzkumu Příprava hodnocení § Provést „hodnocení hodnotitelnosti“ - ověřit, zda máme dostatek informací k hodnocení programu, zda jsme schopni nahlédnout jeho filosofii, cíle, efekty. § Provést „obhlídku v terénu“ – jak program funguje, co se dá hodnotit a co hodnocení přinese. § Vytvořit „kauzální model intervence“ – jak by měl program reagovat na identifikovaný sociální problém, spojení mezi různými aktivitami, funkcemi a účinky programu. Vyvodit cíl, rámcová hlediska a rámcovou představu postupu hodnocení Hodnotící výzkum § Hodnocení politiky/programu, jeho designu (zejména cíle, jejich vztah k potřebám, změny cílů, vztah k nástrojům, kvalita nástrojů ad.) „Co je potřeba/problém a jak jim politika odpovídá?“ § Hodnocení implementace programu (administrativně-institucionální faktory, kvalitativní hodnocení) „Jak nejlépe uspokojit potřebu/řešit problém?“ (hodnocení existujících a alternativních strategií) § Hodnocení dopadů/efektů (na zaměstnanost, jiné-sociální dopady, náklady vs. výnosy programu ad.) „Čeho se docílí zavedením programu?“ Hodnocení designu programu a jeho implementace (1) Identifikace cílů programu a jejich povahy § odlišení cílů a prostředků k jejich dosažení § adekvátnost cílů, jasnost jejich formulací § znalost cílů realizátory a míra konzistence výkladu cílů, ztotožnění realizátorů s cíli programu § míra inovativnosti v cílech (narušují tradici?) § míra obeznámenosti klientů a sociálního okolí s programem a jeho cíli § konzistentnost systému cílů (nejsou v kontradikci?) § vztah cílů programu k povaze systému § skryté agendy programu (neartikulované cíle, cíle programu vs. cíle organizace, která program realizuje) Hodnocení designu programu a jeho implementace (2) Aktivity programu ve vztahu k jeho cílům § jsou aktivity relevantní cílům? § existují jiné varianty řešení a proč nebyly vybrány? § jak jsou aktivity realizovány? (ovlivňuje způsob jejich realizace výstupy a efekty programu?) § na jaké problémy tyto aktivity narážejí a co snižuje jejich účinnost (ze strany realizačního týmu, klientů, širšího sociálního okolí)? § jaká je nákladnost jednotlivých aktivit? § jaký je způsob řízení aktivit programu (kvalifikace realizačního týmu, kooperace uvnitř i vně programu, povaha kontrolních systémů, vedená evidence ad.)? Hodnocení designu programu a jeho implementace (3) Kontext (okolnosti) realizace programu § povaha okolí (úroveň a struktura nezaměstnanosti v lokalitě, množství a struktura pracovních příležitostí, další subjekty na trhu práce ad.) § širší sociální kontext (vše co intervenuje do cílů programu, jeho implementace nebo efektů) § zájmy, jenž jsou s cíli a aktivitami programu v průběhu jeho realizace spojovány nebo jsou s nimi v rozporu a subjekty, které jsou nositeli těchto zájmů (např. kdo má na lokálním pracovním trhu zájem o některý typ pracovníků a jaká je po nich poptávka) Hodnocení designu programu a jeho implementace (4) Cílová populace programu (participanti) § deklarovaná cílenost (k jakému druhu klientů se program obrací ve svém zadání) § reálná cílenost (kritéria výběru do programu, možný creaming-efekt) § sociodemografické charakteristiky, vzdělání, pracovní historie, postoje a motivace § způsob získávání klientů do programu a strategie jejich motivace k účasti a k akceptaci jeho cílů § unikající populace (které skupiny unikají a proč) Hodnocení výstupů a efektů programu (1) Výstupy programu § kvalitativní i kvantitativní popis formálních výstupů aktivit (počty klientů, kteří projdou programem, počty konzultací, hodiny výuky ad.) § nemusí mít přímou vazbu na cíle programu (nehovoří o kvalitě programu) (2) Efekty programu § dopady programu na trh práce § dopady na sociální a ekonomické paramentry území § dopady na osobnost participantů, jejich postoje, životní situaci, pracovní vyhlídky ad. (zaměstnanost, výše mzdy, stabilita zaměstnání, spokojenost se zaměstnáním, sebedůvěra, motivace, sociální kontakty, kvalita života ad.) § zamýšlené vs. nezamýšlené efekty Faktory ovlivňující efekty § Situace na trhu práce § Individuální charakteristiky účastníků § Charakteristiky opatření APZ 1 rozsah opatření 2 cílenost 3 vhodnost (potřeby, struktura) 4 kvalita (obsah, délka, intenzita, výše podpor…) Hodnocení účinků aktivní politiky TP (1) Účinky na zaměstnanost § Přímé účinky na zaměstnanost – získání zaměstnání a délka jeho trvání, kvalita zaměstnání (úroveň mezd, využití kvalifikace, pracovní perspektiva, pracovní podmínky) § Nepřímé účinky na zaměstnanost – zvýšení zaměstnatelnosti pracovní síly (hodnotit pracovní situaci účastníků programu s časovým odstupem od absolvování programu, běžně 6-12 měsíců) Hodnocení účinků aktivní politiky TP (2) Účinky snižující efekt programů na zaměstnanost § Efekt mrtvé váhy (místa, jež by vznikla i bez přispění programu, resp. jedinec by našel zaměstnání i bez intervence) § Efekt substituce (omezení náboru jiných pracovníků v důsledku přijetí účastníků programu) § Efekt vytlačení (nahrazení již zaměstnaných pracovníků za účastníky programů) Hodnocení účinků aktivní politiky TP (3) Další pozitivní účinky programů § Ekonomické dopady (zapojení na pracovní trh nebo do soutěže o pracovní místa, snížení nákladů a zvýšení příjmů SR, snížení tlaku na mzdy) § Sociální dopady (snížení rizika sociální exkluze, rozšíření sociálních sítí, strukturace a využití volného času) § Dopady na lidský kapitál, pracovní dovednosti a motivaci § Psychologické důsledky (sebedůvěra, změny postojů a očekávání vůči pracovnímu trhu, seberealizace ad.) Hodnocení účinků aktivní politiky TP (4) Negativní účinky programů § Efekt uzamčení v programu (lock-in efekt) – omezení hledačské aktivity v době účasti v programu § Creaming efekt – preferování „schopnějších a lépe vybavených“ uchazečů při výběru do programu (UP se snaží udržet zájem zaměstnavatelů a nabízet jim nejvhodnější uchazeče, anticipace neúspěchu a nízké návratnosti investic v případě zařazení nemotivovaného klienta) --- lepší cílenost programů Cílenost (a problémy) § Problém definice cílové skupiny (legislativní bariéry - výjimka, vyloučení z pomoci) § Creaming: 1 prevence a efektivnost x léčba 2 self- selection (motivace) 3 etický problém 4 důvěryhodnost - zaměstnavatelé Index cílenosti Podíl specifické skupiny v programu na celkovém počtu osob v programu ----------------------------------------------------------- Podíl nezaměstnané specifické skupiny na celkovém počtu nezaměstnaných Index cílenosti rekvalifikací na skupinu žen Podíl rekvalifikovaných žen na celkovém počtu rekvalifikovaných ------------------------------------------------------------------------------- Podíl nezaměstnaných žen na celkovém počtu nezaměstnaných Výsledek = > 1 ………programy cílené na specifické skupiny Výsledek  1 ………programy špatně cílené na specifické skupiny AD4) Techniky hodnocení a sběru dat (monitoring) § sekundární analýza dat § analýzy databází vedených o participantech programu § dotazníková šetření (nejlépe 100 a více účastníků) § kvalitativní polostandardizované rozhovory: s účastníky, realizátory, tvůrci a iniciátory programů § zúčastněné pozorování § rozbor programových dokumentů a institucionálních záznamů o zajištění programu a o jeho jednotlivých aktivitách Komparativní charakter hodnocení (efekty na různé skupiny účastníků v rámci jednoho programu X efekty na konkrétní cílovou skupinu v různých typech programů) Ad 5) Přínos hodnocení sociálních programů Zjištěné závěry slouží k: * přesnější a propracovanější charakteristice situace cílové skupiny * upozornění na přednosti a nedostatky realizovaných programů * odhalení prvků a faktorů, které výsledné pozitivní účinky programu ovlivňují nejvíce * korekci zkoumaných programů tak, aby lépe odpovídaly potřebám a požadavkům všech zúčastněných * rozvoji a zdokonalení užívaných hodnotících postupů AD6) Omezení vyplývající z užití hodnotícího přístupu