Stejná odpověď, stejné body. U každého a pokaždé.

Rozhoduje struktura, ne to, jestli hodnotí člověk

Největší přehled toho, co předpovídá pracovní výkon, přepočítal v roce 2022 tým Paula Sacketta. Volný pohovor vyšel nejhůř, test odborných znalostí zhruba dvakrát lépe.

Operační validita, tedy jak dobře metoda předpovídá pracovní výkon. Journal of Applied Psychology 107 (2022), tab. 3.

• Co z toho plyne. Člověk hodnotí dobře, jen když má pevné otázky a schéma. Čím víc volnosti, tím víc šumu.
• My jdeme o krok dál. Pevné otázky, pevné schéma a navíc nulový rozdíl mezi hodnotiteli, protože schéma uplatňuje výpočet.
• Poctivě: čísla se týkají výběru zaměstnanců, ne certifikací. Jako důkaz, že struktura poráží dojem, ale platí.

Pravidlo, nebo dojem: sedmdesát let výzkumu

Už v roce 1954 ukázal psycholog Paul Meehl, že pevné pravidlo předpovídá lépe než úsudek odborníka. Pozdější metaanalýzy to potvrdily.

• Grove a kol. 2000: mechanické pravidlo bylo v průměru asi o 10 % přesnější. Podstatně lépe dopadlo ve 33 až 47 % studií, lidský úsudek jen v 6 až 16 %. Platilo to bez ohledu na typ úlohy i zkušenost posuzovatelů.
• Zajímavost pro ústní zkoušky: lidský úsudek dopadl hůř tehdy, když měl posuzovatel k dispozici rozhovor. Osobní kontakt přidává dojem, ne přesnost.
• Ægisdóttir a kol. 2006: v nejpřísněji vybraných studiích byla statistická předpověď o 13 % přesnější.

Kdo rozhoduje o správnosti a hranicích

• Otázky schvaluje rada naslepo

  V systému

  Každou otázku hodnotí aspoň šest odborníků, kteří nevidí verdikty ostatních dřív než svůj a neznají autora.

  NCCA Standards, Std 13

• Klíč platí jen při shodě

  V systému

  Nejlepší volbu musí stejně označit aspoň 80 % hodnotitelů. Jinak se otázka přepisuje a do testu nejde.

  NCCA Standards, Std 16

• Hranice úrovní ve dvou kolech

  Po pilotu

  Angoffovou metodou: odborníci u každé otázky odhadnou, jak často ji zvládne bezpečák na hranici bronzu, stříbra a zlata. Druhé kolo proběhne s daty z pilotu a výsledek zkontroluje Hofsteeho metoda. Panel doporučuje, rozhoduje rada.

  Cizek, Bunch 2007; NCCA Standards, Std 17; Standards 2014, 5.21 až 5.23

• Panel deset až patnáct lidí

  Po pilotu

  Na datech z osmi profesních licenčních zkoušek vychází 10 až 15 hodnotitelů jako rozsah, kdy se hranice ustálí. Dnes je minimum šest.

  Hurtz, Hertz 1999, Educational and Psychological Measurement 59

• Hodnotitel nezkouší sám sebe

  V systému

  Kdo hodnotí otázky, nesmí 12 měsíců test sám skládat.

  ISO/IEC 17024, nestrannost

Délka testu a přesnost výsledku

• Cíl spolehlivosti 0,90

  Po pilotu

  Pro rozhodnutí o jednotlivci se doporučuje spolehlivost aspoň 0,90. Po pilotu ji spočítáme a zveřejníme i nejistotu skóre u každé hranice.

  Nunnally, Bernstein 1994; Standards 2014, 2.14, 2.16, 11.14

• Délka testu podle dat

  Po pilotu

  Kolik otázek je potřeba, určí spolehlivost naměřená v pilotu, ne pohodlí. Podle výzkumu to pro tři úrovně bývá sto a víc otázek; počet upravíme podle výsledku.

  Spearman-Brown; USMLE Step 1 až 280, NCLEX 85 až 150, CFA Level I 180 otázek

• Jak jisté je zařazení

  Po pilotu

  Pro obě hranice (bronz a stříbro, stříbro a zlato) spočítáme, jak často by stejný člověk při opakování dostal stejnou úroveň.

  Livingston, Lewis 1995, Journal of Educational Measurement 32(2)

• Oblasti jen tam, kde jsou spolehlivé

  Po pilotu

  Výsledek po oblastech má smysl jen s aspoň dvaceti otázkami v oblasti. Tam, kde jich je méně, oblast neukážeme, aby nikoho nemátla.

  Sinharay 2010; Haberman 2008; NCCA Standards, Std 19

Srovnatelné verze testu

• Zkušební otázky v každém testu

  V systému

  Nové otázky se nejdřív objeví jako nezapočítávané. Dnes jsou v testu čtyři, cílem je 15 až 25, k nerozeznání od ostrých.

  NCLEX Test Plan 2026 (15 nezapočítávaných); ITC/ATP 2022

• Kalibrace každé otázky

  Po pilotu

  Obtížnost otázky se ustálí po 100 až 150 odpovědích. Teprve pak může rozhodovat o výsledku.

  Linacre 1994, Rasch Measurement Transactions 7(4)

• Ekvivalizace verzí

  Cíl

  Každý dostane jiný výběr otázek. Statistické vyrovnání obtížnosti zajistí, že lehčí výběr nikoho nezvýhodní.

  Kolen, Brennan 2014; NCCA Standards, Std 17

• Adaptivní test

  Cíl

  Až bude banka šesti až osminásobkem délky testu, může další otázka záviset na předchozích odpovědích. Stejná přesnost s méně otázkami.

  Stocking 1994, ETS RR-94-05; NCLEX

Algoritmus, který si můžete přečíst. Bez umělé inteligence.

1. Výběr otázek

   Otázky se vyberou ze schválené banky podle pevného plánu zkoušky: kolik z které oblasti a vrstvy. Každý dostane srovnatelný test, k němu nezapočítávané zkušební otázky.

2. Pořadí

   Pořadí otázek i voleb se u každého náhodně zamíchá. Soused ani opakovaný pokus nevidí totéž ve stejném pořadí.

3. Čas

   Čas na otázku je pevný podle typu otázky. Kdo má doložené potíže se čtením, dostane prodloužení. Pravidlo je stejné pro všechny ve stejné situaci.

4. Body

   Nejlepší volba dostane bod. Kde to rada výslovně schválí, může druhá nejlepší dostat část bodu podle pořadí, které určil panel. Jinak nula.

5. Výsledek

   Skóre se porovná s hranicemi úrovní, které rada stanovila předem. Výsledek ukáže úroveň a oblasti, u kterých je dost otázek na spolehlivý údaj.

6. Záznam

   Každá odpověď, čas a verze otázky se uloží. Výsledek jde kdykoli přepočítat a přezkoumat, nic nestojí na vzpomínce zkoušejícího.

Žádný model, žádné „hodnocení odpovědi“ strojem. Nepoužíváme volné texty hodnocené umělou inteligencí ani strojové posuzování kamery. Výsledek je součet bodů podle klíče, který schválili lidé. Nová norma pro certifikaci osob ISO/IEC 17024:2026 klade na použití umělé inteligence zvláštní požadavky; my ji do hodnocení nepouštíme vůbec.

Statistika a férovost

• Kontrola každé otázky

  V systému

  Po 100 odpovědích jde otázka ven, když ji zvládne méně než 20 % nebo víc než 95 % uchazečů, nebo když neodlišuje silné od slabých. Zjevné vady se hledají už po 30 odpovědích.

  Standards 2014, 4.8 a 4.10

• Férovost pro skupiny

  Cíl

  Otázka nesmí být těžší pro někoho jen kvůli věku, pohlaví nebo oboru. Rozbor je možný od 200 odpovědí v menší skupině a 500 celkem; do té doby to uvádíme jako omezení.

  Zwick 2012, ETS RR-12-08 (Mantel-Haenszel)

• Nahlášení otázky a přepočet

  Po pilotu

  Uchazeč otázku nahlásí z výsledku. Když rada uzná chybu, výsledek se přepočítá všem. Přepočet už systém umí.

  ISO/IEC 17024, čl. 9.8

• Odvolání do 30 dní

  V systému

  O odvolání rozhoduje člověk a výsledek jde doložit z uložených odpovědí.

  ISO/IEC 17024, čl. 9.8

Bezpečnost a dohled

• Dvě varianty podle toho, co potřebujete

  V systému

  Metaanalýza 49 studií: bez dohledu vycházejí skóre průměrně o pětinu směrodatné odchylky vyšší. Proto Znalostní test nese na certifikátu „bez dohledu“ a Ověřený má doklad, kameru a kontrolu člověkem.

  Steger, Schroeders, Gnambs 2020, European Journal of Psychological Assessment 36(1)

• Kontroluje člověk, ne software

  V systému

  Rozpoznávání obličeje ani automatické „odhalování podvodů“ nepoužíváme. V nezávislém experimentu takový software nenašel žádného ze šesti podvádějících, člověk jednoho.

  ITC/ATP 2022, 3.16; Bergmans a kol. 2021

• Rozbor vzorců odpovědí

  Po pilotu

  Podezřele rychlé odpovědi, nápadně shodné odpovědi různých lidí a výsledky, které nesedí k ostatním odpovědím téhož člověka. Podezření vždy posoudí člověk.

  ITC/ATP 2022, kap. 8; Cizek, Wollack 2017

• Ochrana banky

  Cíl

  Sledování úniků otázek, jejich stahování z internetu a obměna banky. Každý incident se zapisuje.

  ITC/ATP 2022, kap. 8

Jak to dělají jinde

• Americká lékařská licence (USMLE Step 1): jednodenní počítačový test s výběrem odpovědi, výsledek prospěl, nebo neprospěl. Praktickou zkoušku klinických dovedností se standardizovanými pacienty (Step 2 CS) USMLE v lednu 2021 zrušila. Důvodem nebyla nespolehlivost, ale vývoj oboru; část ověřování přesunula do počítačových simulací.
• Licence zdravotních sester v USA (NCLEX): počítačový adaptivní test, o úspěchu rozhoduje bodovací algoritmus.
• Certified Safety Professional (BCSP): nejrozšířenější certifikace bezpečáků v USA je počítačová zkouška v testovacím centru, výsledek uchazeč vidí hned.
• Kde hodnotí lidé: britský NEBOSH IGC stojí na písemném rozboru scénáře s pohovorem a praktickém hodnocení rizik, obojí hodnotí examinátoři. Vyšší stupně CFA mají eseje hodnocené lidmi. Je to jiný model, pomalejší a dražší, s výsledkem za týdny.
• Norma pro certifikaci osob: ISO/IEC 17024 ústní ani praktickou zkoušku nepředepisuje. Vyžaduje zkoušku, která je spolehlivá, objektivní a férová, a pravidelné potvrzení validity například statistikou. Akreditovaní nejsme, principy normy ale přebíráme.

Co test neověří

1. Ruční dovednost a jednání s lidmi

   Jak vedete školení, jak přesvědčíte ředitele, jak zvládnete konflikt v dílně. Tohle test neměří a netvrdíme, že ano.

2. Šikovnost na testy

   Někdo umí body získat z formy otázky. Proto volby vyrovnáváme délkou i slovníkem a hlídáme to statistikou.

3. Kvalita stojí na otázkách

   Automatický test je tak dobrý, jak dobré má otázky. Proto rada, zkušební otázky, kontrola po 100 odpovědích a přepočet.

4. Co s tím uděláme

   Hlubší formáty z oddílu 04 posunou test blíž k práci v terénu. Ruční dovednost ani jednání s lidmi ale online test nikdy plně nenahradí.

Co to není. Ověření nenahrazuje odbornou způsobilost podle zákona č. 309/2006 Sb. a není to akreditovaná certifikace osob podle ISO/IEC 17024.

Časté námitky

Zdroje

1. McManus I. C., Thompson M., Mollon J. (2006). Assessment of examiner leniency and stringency („hawk-dove effect“) in the MRCP(UK) clinical examination (PACES). BMC Medical Education 6:42. doi:10.1186/1472-6920-6-42.
2. Yeates P., Cardell J., Byrne G., Eva K. W. (2015). Relatively speaking: contrast effects influence assessors’ scores and narrative feedback. Medical Education. doi:10.1111/medu.12777.
3. Abuzied A. I. H., Nabag W. O. M. (2023). Structured viva validity, reliability, and acceptability as an assessment tool in health professions education. BMC Medical Education 23. doi:10.1186/s12909-023-04524-6.
4. Schmidt F. L., Hunter J. E. (1998). Psychological Bulletin 124(2):262–274; Sackett P. R., Zhang C., Berry C. M., Lievens F. (2022). Journal of Applied Psychology 107(11):2040–2068. doi:10.1037/apl0000994.
5. McDaniel M. A. a kol. (2001). Journal of Applied Psychology 86(4):730–740; McDaniel M. A. a kol. (2007). Personnel Psychology 60(1):63–91.
6. Meehl P. E. (1954). Clinical versus Statistical Prediction. University of Minnesota Press; Grove W. M. a kol. (2000). Psychological Assessment 12(1):19–30; Ægisdóttir S. a kol. (2006). The Counseling Psychologist 34(3):341–382.
7. Downing S. M. (2005). The effects of violating standard item writing principles on tests and students. Advances in Health Sciences Education 10(2):133–143.
8. Bergmans L., Bouali N., Luttikhuis M., Rensink A. (2021). On the efficacy of online proctoring using Proctorio. CSEDU 2021.
9. Millman J., Bishop C. H., Ebel R. (1965). An analysis of test-wiseness. Educational and Psychological Measurement 25(3):707–726.
10. USMLE: Step 1 (usmle.org) a oznámení o ukončení Step 2 CS, 26. 1. 2021; NCSBN, NCLEX (nclex.com); BCSP, CSP (bcsp.org); NEBOSH, International General Certificate (nebosh.org.uk).
11. ISO/IEC 17024 Posuzování shody: Všeobecné požadavky na orgány pro certifikaci osob, vydání 2012 (čl. 9.3) a 2026 (čl. 6.5 umělá inteligence, 9.3 zkouška, 9.8 odvolání).
12. AERA, APA, NCME (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
13. ITC, ATP (2022). Guidelines for Technology-Based Assessment. International Test Commission a Association of Test Publishers.
14. Institute for Credentialing Excellence, NCCA Standards for the Accreditation of Certification Programs (platné od 2023).
15. Rodriguez M. C. (2005). Three options are optimal for multiple-choice items. Educational Measurement: Issues and Practice 24(2):3–13.
16. Livingston S. A., Lewis C. (1995). Estimating the consistency and accuracy of classifications based on test scores. Journal of Educational Measurement 32(2):179–197.
17. Sinharay S. (2010). How often do subscores have added value? Journal of Educational Measurement 47(2):150–174; Haberman S. J. (2008). JEBS 33:204–229.
18. Hurtz G. M., Hertz N. R. (1999). How many raters should be used for establishing cutoff scores with the Angoff method? Educational and Psychological Measurement 59:885–897; Cizek G. J., Bunch M. B. (2007). Standard Setting. SAGE.
19. Linacre J. M. (1994). Sample size and item calibration stability. Rasch Measurement Transactions 7(4):328; Kolen M. J., Brennan R. L. (2014). Test Equating, Scaling, and Linking. Springer; Stocking M. L. (1994). ETS RR-94-05.
20. Zwick R. (2012). A review of ETS differential item functioning assessment procedures. ETS RR-12-08.
21. Steger D., Schroeders U., Gnambs T. (2020). A meta-analysis of test scores in proctored and unproctored ability assessments. European Journal of Psychological Assessment 36(1):174–184; Cizek G. J., Wollack J. A. (2017). Handbook of Quantitative Methods for Detecting Cheating on Tests. Routledge.
22. NCLEX-RN Test Plan 2026 (nclex.com); CFA Institute, Level I exam; Lubarsky S. a kol. (2013). Script concordance testing, AMEE Guide 75. Medical Teacher 35(3).
23. Angoff W. H. (1971). Scales, norms, and equivalent scores. In Thorndike R. L. (ed.), Educational Measurement, 2. vyd., s. 508–600.