Aplikované statistické postupy: Analytické znaky laboratorní metody Interní kontrola kvality Externí kontrola kvality RNDr. Alena Mikušková FN Brno – Pracoviště dětské medicíny, OKB Mikuskova.alena@fnbrno.cz Analytické znaky laboratorní metody • Zajištění spolehlivosti výsledků laboratorního vyšetření: §Pravidelná kontrola vlastností laboratorní metody – = validace (verifikace) –Preciznost (precision) přesnost Změna terminologie ! –Pravdivost (trueness) správnost –Analytická citlivost –Analytická specifičnost –Srovnatelnost Preciznost přesnost metody =Míra shody mezi výsledky získanými opakovanou analýzou téhož vzorku za předem stanovených podmínek –Absolutní preciznosti přesnosti nelze dosáhnout –Náhodné chyby způsobí rozptyl výsledků analýz kolem průměrné hodnoty –Četnost jednotlivých výsledků vykazuje normální rozložení (Gaussova křivka) •Nejpravděpodobnější jsou průměrné hodnoty Gaus Preciznost přesnost metody •Příklad: výsledky opakovaného měření osmolality (300 mOsm/kg): • • • • • • • •počet měření 185, nejnižší hodnota 296, nejvyšší hodnota 308, průměr 302 s = 2,42 • •296 1x 297 2x •298 9x 299 17x •300 26x 301 28x •302 28x 303 24x •304 20x 305 15x •306 8x 307 5x •308 2x Gaus L-J osmo Preciznost metody •Míra nepřesnosti - směrodatná odchylka • • Xi…výsledky jednotlivých měření, • X…aritmetický průměr • n…počet měření • (Xi –X)…odchylka dílčího měření od průměru • ∑ …suma (matematický operátor) • • Příklad: √ 1/184 . [ (296 – 302)2 + 2.(297 – 302)2 + 9.(298 - 302)2 + ……] = 2,42 • •Variační koeficient: CV = S / X . 100 (%) • • Příklad: CV = ( 2,42 / 302 ) .100 = 0,8 % smodch Preciznost metody •Podle podmínek rozlišujeme –Preciznost v sérii = opakovatelnost – (jedna série, krátký časový interval, stejné podmínky + obsluha …) –Preciznost mezi sériemi (mezilehlá přesnost, mezilehlá preciznost, reprodukovatelnost - např. data z IKK) –Mezilaboratorní preciznost (reprodukovatelnost – např. data z EHK) • •Preciznost metody nemusí být stejná v celém rozsahu koncentrací → Nepřesnost lze určit na různých hladinách •Nejlépe na takové hladině, která je blízká rozhodovací hladině (př. horní referenční mez) –Opakované měření za daných podmínek (př. n=20, v sérii,…) • •Příklad: glukóza 5,0 mmol/l CV = 2,33 % (n=60, mezi sériemi) » 13,0 mmol/l CV = 1,79 % (n=60, mezi sériemi) Pravdivost správnost metody =Shoda mezi aritmetickým průměrem výsledků opakovaného měření a skutečnou hodnotou §Skutečná hodnota (obsah analytu v kontrolním vzorku) není v praxi nikdy zcela známa – → je znám pouze její odhad (např. pomocí referenční metody) §S hodnotou odhadu se porovnává aritmetický průměr opakovaných měření kontrolního vzorku (eliminace náhodné chyby) ØNepravdivost způsobuje systematická chyba •v opakovaných měřeních zůstává konstantní nebo se mění předvídatelným způsobem: – –Konstantní složka systematické chyby – – výsledek u různých koncentrací odchýlen vždy o stejnou hodnotu –Proporcionální složka systematické chyby – - výsledek u různých koncentrací odchýlen vždy o stejný násobek konst proporc Pravdivost správnost metody •Kombinace konstantní a proporcionální složky systematické chyby: • • • • • • • • • • •Systematická chyba měření a její příčiny mohou být známé nebo neznámé •Ke kompenzaci známé systematické chyby měření lze aplikovat korekci (pouze v určitých případech !) syst kombinace 1 syst kombinace 2 syst kombinace 3 Pravdivost metody •Matematické vyjádření nepravdivosti (bias = vychýlení): –Bias (absolutní) B = x – x0 –Bias % (relativní) BR = 100 . ( x – x0 ) / x0 »X0…cílová (deklarovaná) hodnota »X....naměřená hodnota » (průměr opakovaných měření) •Praktické provedení: -Materiály se spolehlivou cílovou hodnotou (2 hladiny) -Měření za podmínek opakovatelnosti -Porovnání průměrů s cílovými hodnotami -Výpočet bias Výpočet bias Preciznost a pravdivost •Vztah mezi precizností a pravdivostí: –Celková chyba = náhodná + systematická složka – – –Požadavky na preciznost a pravdivost dány: -Biologickou variabilitou měřeného parametru -např. Na, K, Cl – nejmenší biologická variabilita → nejpřísnější požadavky na přesnost -Účelem stanovení -Diagnostické účely → co nejmenší nepravdivost -Monitorování pacienta → co nejnižší nepřesnost (nepreciznost) • –Příklady (preciznost x pravdivost): system přesnost, správnost nepřesnost nesprávnost ne Změna terminologie •Eurachem-ČR = národní organizace evropské sítě Eurachem zaměřené na podporu kvality analytických měření a jejich metrologické návaznosti –Metrologická terminologie, verze 3.00 (květen 2018) • • –Preciznost (precision) = dříve přesnost –Pravdivost (trueness) = dříve správnost – – –Přesnost měření (Measurement accuracy) – nový význam •Těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (tzn. přesnost kombinuje preciznost a pravdivost, tj. vlivy náhodných i systematických faktorů) – • • Analytická citlivost metody =Nejmenší rozdíl koncentrací, které lze ještě s určitou spolehlivostí (nejčastěji 95 %) rozlišit =Směrnice kalibrační závislosti –tj. závislost přírůstku měřené veličiny (odezvy) na jednotku koncentrace – §Mez stanovitelnosti LQ (limit of quantification) §nejnižší hodnota koncentrace, při níž má metoda ještě akceptovatelnou nepřesnost •obvykle CV 20 % – (→ směrem k nízkým koncentracím nepřesnost narůstá) §někdy se LQ definuje jako trojnásobek LD – §Mez detekce LD (limit of detection) • nejnižší hodnota koncentrace, kdy se výsledek statisticky liší od blanku Analytická specifičnost metody ØSchopnost měřicího postupu stanovovat pouze tu měřenou veličinu, která má být stanovena •tzn. nespecifičnost vyjadřuje, jak je stanovení určitého analytu ovlivněno jinými látkami přítomnými ve vzorku ØVliv jiných látek na výsledek = interference •interference má za následek nesprávnost (systematickou chybu) •může ovlivňovat výsledek kladným i záporným směrem •časté interference – léky – ØPříklady •velmi specifické metody – stanovení substrátů pomocí enzymů •skupinová specifičnost – obvykle imunochemické metody »- protilátka reaguje se skupinou chemicky příbuzných látek Analytická citlivost a specifičnost •Nezaměňovat analytickou citlivost a specifičnost s klinickými vlastnostmi: • •Diagnostická citlivost –Ukazatel spolehlivosti metody odhalit nemoc •Udává pravděpodobnost, že výsledek bude pozitivní, je-li osoba nemocná • •Diagnostická specifičnost –Ukazatel spolehlivosti metody vyloučit přítomnost nemoci •Udává pravděpodobnost negativního výsledku u zdravé osoby • • • ! ! ! ! ! ! Porovnatelnost metod •Srovnání dvou metod měření téže látky – častý případ v klinické biochemii –např. při zavádění nové metody •Ideální případ: –metody 1 a 2 dávají stejné výsledky: • Graf závislosti: y (2) – x (1) –spojnice bodů půlí úhel mezi osami –prochází počátkem – – •Skutečnost: –body rozptýlené kolem jiné přímky – = regresní přímka y = a.x + b • korelační graf ideální přímka Porovnatelnost metod ØKorelační koeficient r = míra rozptylu bodů kolem regresní přímky –hodnoty v intervalu -1 až 1 –čím vyšší absolutní hodnota (0 -1), tím těsnější korelace •je pouze mírou asociace mezi dvěma metodami, ne jejich shody !!! » • např. r = 1 r = 0,95 r = -1 korel koef 1 Mg - korel graf graf Porovnatelnost metod ØRegresní analýza - určení parametrů regresní přímky y = a.x + b –lineární regrese (Excel) •Lze použít pouze za předpokladu, že metoda x má mnohem menší analytickou chybu než metoda y !!! –např. pro porovnávání rutinní metody s referenční metodou •glukóza hexokináza + glukóza ID/MS –neparametrická regrese Deming, Passing-Bablock (statistický program) –vhodný nástroj pro hodnocení srovnávacích experimentů – –- Příklad: • tabulka k regresi Klasická lineární regrese y = 0.862x + 1.049 Passing-Bablockova regrese y = 1.000x - 0.050 různé regrese Nejistota •Odhad nejistoty = parametr přidružený k výsledku měření •Představuje interval, ve kterém se výsledek nachází (demonstruje metrologickou kvalitu) –Znalost nejistoty stanovení pro jednotlivé analyty je požadována u akreditací – ØZdroje nejistot • = veškeré jevy, které nějakým způsobem mohou ovlivnit výsledek měření • ØZdroje dat pro výpočet odhadu nejistoty: –Experimentální data získávaná při běžné laboratorní činnosti –IKK, EHK –validace a verifikace –analýza kontrolních /referenčních materiálů –Nejistoty, poskytované výrobci a referenčními laboratořemi (údaje z dokumentace) – •odhady dílčích nejistot se poté slučují dle statistického zákona (propagace nejistot) • →Celková relativní kombinovaná nejistota (%) – zahrnuje (do 3/2021): –Mezilehlou preciznost (CV %), Bias (%), nejistotu stanovení průměru (%) –Relativní nejistota certifikovaného referenčního materiálu (%) – dle výrobce Nejistota •Česká společnost klinické biochemie: •Doporučení k vyjadřování nejistot kvantitativních výsledků měření ve zdravotnických laboratořích Verze 2, 10.3.2021 (aktualizace, zjednodušení) • →Celková relativní kombinovaná nejistota (%) – zahrnuje: –Mezilehlou preciznost (CV %) –Relativní nejistotu certifikovaného referenčního materiálu (%) – dle výrobce • • –uc,rel … relativní (%) kombinovaná standardní nejistota –uRw,rel … relativní standardní nejistota charakterizující mezilehlou preciznost –ucal,rel … relativní standardní nejistota kalibrátoru (z dokumentace výrobce) – –Pro praktické účely (např. sdělování klientům) se převádí na tzv. rozšířenou nejistotu: – –Uc,rel = 2 . uc, rel Interní kontrola kvality •Systém pro zabezpečování analytické spolehlivosti laboratorních výsledků –zajišťuje validitu (platnost) laboratorních výsledků •použitelnost lékaři při diagnostice a terapii • •detekce a minimalizace analytické chyby • •pravidelné analýzy kontrolních vzorků o různých hodnotách obsahu analytů –vyhodnocování výsledků •porovnání těchto výsledků s očekávanými (cílovými) hodnotami –okamžitá reakce na zjištěné nedostatky – •Systém IKK: –pro každé z prováděných laboratorních vyšetření –jednoduchý, přehledný, ekonomický, účinný –v souladu s legislativními a normativními požadavky (ČSN EN ISO 15189:2003) –v souladu s odbornými poznatky •Doporučení o vnitřní kontrole kvality (Česká společnost klinické biochemie) Kontrolní materiály pro IKK – ØVhodná matrice - dle typu analyzovaného materiálu pacientů –tzn. pro kontrolu měření analytů v plazmě - materiály na bázi lidské plazmy –pro kontrolu měření analytů v moči materiály na bázi lidské moči atd. ØMateriály v kapalné nebo lyofilizované formě ØMěření kontrolních vzorků stejným způsobem jako rutinní vzorky pacientů ØMěření IKK minimálně na dvou hladinách: –jedna z nich v oblasti referenčního intervalu, druhá mimo něj –obsah analytů pokud možno v blízkosti klinických rozhodovacích hladin ØImunochemická stanovení - kontrolní materiály o třech hladinách ØKontrolní materiály jsou komerčně dostupné od výrobců in vitro diagnostiky –buď součást jednotného analytického měřícího systému •tzn. kontrolní materiály od téhož výrobce jako přístroj, reagencie a kalibrátory –kontrolní materiály jiných (nezávislých) výrobců ØDokumentace –složení, příprava, uchovávání kontrolního materiálu –atest - deklarované hodnoty obsahu analytů ØSměsné sérum - možno použít není-li k dispozici vhodný kontrolní materiál –příprava přímo v laboratoři, –cílová hodnota = aritmetický průměr výsledků testovací série Frekvence provádění IKK –Kdy provádět kontrolní měření: •- před každou analytickou sérií (minimálně 1x za 24 hodin) –- po kalibraci měřícího systému (metody) •- po výměně reagenční soupravy –- po údržbě či servisním zásahu »- při pochybnostech o funkci analytického systému Ø •- Analyzátory na měření acidobazické rovnováhy a krevních plynů: –- 3 hladiny kontrolního materiálu 1x denně •- nejlépe vždy po 8 hodinách jedna hladina • •- POCT přístroje: -(POCT = Point- of- care-testing, provádění měření a testů in vitro mimo centrální nebo klinickou laboratoř -denně na dvou hladinách Hodnocení IKK – ØRegulační (Levey-Jenningsův) diagram: ≈obsah analytu proti datu měření (nebo jinému vyjádření času) •centrální linie - očekávaná hodnota –deklarovaná hodnota od výrobce –aritmetický průměr naměřených kontrolních hodnot •regulační meze - násobky směrodatné odchylky (2SD, 3SD) –horní (UCL - upper control limit) –dolní (LCL - lower control limit) LJ Hodnocení IKK •Jsou-li výsledky kontrolních analýz mimo limit IKK → → signál k prověření analytické metody: •nová kalibrace s následnou kontrolou správnosti metody •výměna reagencií s následnou rekalibrací a kontrolou kvality •údržbový zásah s následnou rekalibrací a kontrolou kvality Shewhart Westgardova pravidla • James O. Westgard • • •základní Westgardova pravidla - použití pro 2 nebo 4 kontrolní měření •tj. dvě hladiny kontrolního materiálu měřené v singletu nebo v dubletu •další kontrolní pravidla - použití pro 3 hladiny kontrolního materiálu •pro posouzení akceptability analytické série lze pravidla používat •samostatně (single-rule QC) •v kombinacích (multi-rule QC) – –Pozn.: QC…Quality Control, kontrola kvality » - systém používaný v laboratorní medicíně pro detekci » chyb v analytickém procesu » 6 základních pravidel: » 1-2s 1-3s 2-2s R-4s 4-1s 10x » - číslo (před pomlčkou) - kolikrát určitá situace nastala » - číslo za pomlčkou - velikost odchylky výsledku QC měření jako násobek směrodatné odchylky s prof Základní Westgardova pravidla • 1-3s - jedna hodnota přesáhla průměr o 3 SD na libovolnou stranu • • • • • • • • • • • • • 2-2s - došlo k porušení pravidla 1-2s dvakrát za sebou na stejné straně průměru • • • • • • • • • 1-2s - jedna hodnota přesáhla průměr o 2 SD na libovolnou stranu • 1-2s 1-3s 2-2s Základní Westgardova pravidla • R-4s - mezi dvěma kontrolními měřeními v jedné sérii je rozdíl 4s (4SD) • • • • • • • • • • • 10x - 10 výsledků kontrolních měření leží na stejné straně průměru – • • • • • • • 4-1s - poslední 4 hodnoty kontrolních měření leží o více než 1 SD na stejné straně průměru • R-4s 4-1s 10x Westgardova pravidla multirules schema –7-T - sedmibodový trend •7 výsledků kontrolních měření po sobě – na jedné hladině buď stoupá nebo klesá 7-T - kombinace (multi-rule QC) Výběr Westgardových pravidel • Výběr pravidel GC Unity - Westgard Externí hodnocení kvality (EHK) •- EKK - externí kontrola kvality - EQA - External Quality Assessment •- MPZ - mezilaboratorní porovnávání zkoušek - PT - proficiency testing •- Zkoušení způsobilosti - nově dle ČSN EN ISO/IEC 17043 –součást procesů zajištění kvality výsledků měření v laboratoři •vedle interní kontroly kvality, validace a/nebo verifikace měřících procesů • •hodnocení laboratorních výsledků externí nezávislou organizací –vyhodnocení schopnosti rutinních laboratoří provádět analýzy jednotlivých analytů •porovnání výsledků měření hodnocených laboratoří navzájem •porovnání s referenčními hodnotami •přínos EHK pro účastníka –detekce případných zdrojů chyb –odstranění analytických problémů –verifikace a zajištění metrologické návaznosti výsledků •Účast v EHK - povinný požadavek norem ISO 15189 a ISO 17025 pro zdravotnické a zkušební laboratoře Poskytovatelé EHK •EQA providers - musí splňovat základní kritéria –zaručená nestrannost –nezávislost –zajištěná důvěrnost –odborná způsobilost –technicko - organizační způsobilost •způsobilost zpracovat data, provázanost s odbornými společnostmi –zavedený systém řízení kvality –akreditace podle ISO Guide 43-1:1997 a/nebo dle ILAC G-13:2000 • •Poskytovatelé EHK –v různých zemích uznávané profesní organizace zpravidla nezávislé na vládách –cíl - přispění ke zkvalitnění laboratorních služeb, trening a vzdělávání • •Účast v programech EQA –v některých zemích dobrovolná –jinde povinná, podmínkou pro získání akreditace Poskytovatelé EHK •The Netherlands - European Concerted Action on Thrombosis Foundation (ECAT Foundation) •United Kingdom - United Kingdom National External Quality Assessment Service (UK NEQAS) •Finland – Labquality •Germany – DGKL •Italy - DicoCARE VEQ • • • •USA - College of American • Pathologists (CAP) •Externí hodnocení kvality v ČR –- SEKK s.r.o. (Systém externí kontroly kvality) EQA EC4 SEKK logo Praktické provádění EHK •Kontrolní cykly - podle předem daného časového plánu •rozeslání kontrolních vzorků organizátorem –přesná pravidla výroby, značení a zacházení s kontrolními vzorky –komutabilita, homogenita, stabilita, přiměřené množství •měření vzorků na pracovištích účastníků –stejný přístup jako ke vzorkům pacientů –obvykle pouze jedno měření pro jeden jakýkoliv vzorek –zákaz zkreslování a falšování výsledků ! •odeslání výsledků zpět organizátorovi –v požadované podobě (jednotka, počet desetinných míst) s informací o anal. systému •vyhodnocení výsledků organizátorem –porovnání chyby laboratoře s hodnotou cílové nejistoty měření TMU •target measurement uncertainty - toleranční rozpětí –TMU - na základě stavu analyt. technologie (state-of-art) a/nebo klin. požadavku •rozeslání vyhodnocení kontrolního cyklu účastníkům –sdělení cílových hodnot účastníkům a způsob jejich určení •cílové hodnoty organizátorovi předem známé nebo určeny konsenzuálně –odhady nejistot cílových hodnot Certifikace návaznosti a srovnatelnosti v SEKK •pro vybrané analyty vydávány certifikáty úspěšnosti –dokumentují analytickou způsobilost účastníka –dokumentují návaznost a/nebo srovnatelnost výsledků –omezená doba platnosti (např. 1 rok) –udělovány pouze pro analyty se spolehlivě určenou vztažnou hodnotou •s dostatečně nízkou úrovní nejistoty •v ostatních případech se vydává pouze osvědčení o účasti v konkrétním cyklu • •certifikáty úspěšnosti podle typu cílové hodnoty –certifikát návaznosti •pro analyty s cílovými hodnotami stanovenými referenční laboratoří –certifikát srovnatelnosti •pro analyty s cílovými hodnotami stanovenými jako průměr výsledků účastníků •Certifikát návaznosti - nadřazen certifikátu srovnatelnosti –výjimečný případ - certifikována návaznost i srovnatelnost Návaznost, srovnatelnost •Návaznost •vlastnost výsledku měření, pomocí níž může být výsledek vztažen ke stanovené referenci přes dokumentovaný nepřerušený řetězec kalibrací • •BIPM - Mezinárodní úřad pro míry a váhy •NMI - Národní metrologický institut •NERL – Národní referenční laboratoř • • •Srovnatelnost •potvrzuje, že výsledky účastníka jsou dostatečně srovnatelné s výsledky ostatních účastníků Schema návaznosti Certifikace úspěšnosti • Hodnocení: •porovnání rozdílu výsledku účastníka (D% ) s hodnotou povolené odchylky (Dmax) v procentech: • • • • • x…výsledek účastníka, AV…vztažná hodnota • • •úspěšnost: |D%| ≤ Dmax pro všechny výsledky daného analytu – – –Hodnoty Dmax (toleranční rozpětí) reflektují –současný stav analytické technologie (state-of-art) –a/nebo klinické požadavky D % Výsledky účastníků SEKK •Vyhodnocení organizátora- písemná zpráva –vyhodnocení vlastních výsledků účastníka –souhrnné statistické vyhodnocení všech účastníků cyklu –Certifikát / Osvědčení o účasti v daném kontrolním cyklu – •Informace vztahující se ke konkrétnímu pracovišti jsou důvěrné –přístup - pouze pověření pracovníci a supervizor –souhrnné anonymní informace (statistická data) - http://www.sekk.cz/ Vyhodnocení vlastních výsledků účastníka Výsledkový list Vyhodnocení vlastních výsledků účastníka výsledky kvalit •Kvantitativní zkoušky –Youdenův graf –P – skóre • • • • • • •Kvalitativní zkoušky Youden Souhrnná statistika Kompletní statistika Doporučení pro účastníky externího hodnocení kvality SEKK •archivace výsledkových dat včetně primárních výtisků –audity –možnost řešení případů neshod účastníka s organizátorem EHK – •účast v každém relevantním typu kontrolního cyklu alespoň 2x ročně • •v případě neúspěchu v EHK –detailní prozkoumání možné příčiny na vlastním pracovišti –provedení záznamu o neshodě –přijmutí nápravných opatření –v případě závažných problémů - konzultace •supervizor •referenční laboratoř •regionální odborník •představitel výboru odborné společnosti Propojení EHK a IKK •Výsledky EHK lze různými způsoby korelovat s výsledky IKK •Základní parametry pro provázání EHK – IKK: –mezilehlá preciznost (mezilehlá preciznost, reprodukovatelnost) –bias (vychýlení) – –Westgardův lineární vztah – TEanal ≤ b + z.CV •TEanal…celková analytická chyba % •b…bias/vychýlení •z…statistický násobek (obvykle z = 2) •CV…variační koeficient (získaný z IKK) • •Pro úspěšné stanovení v EHK nutné TEanal ≤ Dmax • Děkuji za pozornost… • …ale i těm, kteří se nudili ! •…těm, které problematika zajímala… pozornost a nuda