Metodika

Úsudek, ne paměť

Jak otázky vznikají, kdo je schvaluje a jak se z odpovědí stane úroveň. Srozumitelně pro uchazeče i pro personalisty; odborný podklad mají hodnotitelé v radě.

V praxi si bezpečák číslo dohledá za minutu. Chybný úsudek se dohledat nedá.

Co ověřuji

Ověřuji, jestli bezpečák umí předpisy a odborné postupy použít v konkrétní situaci: poznat, o co jde, zvolit správný další krok, odhalit chybu v postupu a posoudit opatření. Neověřuji, jestli si pamatuje číslo předpisu, paragraf, lhůtu nebo limit.

Pravidlo čísel. Číslo smí být v zadání jako součást situace, ale volby se nesmí lišit číslem, lhůtou, limitem ani paragrafem. Zkouška je jednoduchá: odpověděl by správně zkušený bezpečák, který si číslo v tu chvíli nepamatuje, ale ví, co a proč dělat?
Tři druhy úvahy. Otázky chtějí postup použít v nové situaci, situaci rozebrat a najít příčinu, nebo posoudit několik možností a vybrat nejlepší. Prosté „vyjmenujte“ v bance není.
Situace z provozu. Asi 60 % otázek tvoří situační úsudek: popis toho, co se stalo, a otázka, co je v té chvíli správné udělat.
Tak to dělají uznávané zkoušky. Podobně stavějí otázky lékařské zkoušky v USA (NBME), britská zkouška NEBOSH pro bezpečáky pracuje se scénářem z neznámého pracoviště a mezinárodní rámec kompetencí INSHPO popisuje práci bezpečáka jako rozhodování, ne jako znalost textu.

Každá otázka projde kontrolním seznamem. Stačí jedno „ne“ a vrací se k přepsání.

Jak vzniká otázka

Situace. Realistická, česká a úplná: typ provozu, kdo tam je, co se stalo, co už kdo udělal. Všechno, na čem odpověď závisí, je v zadání.
Otázka v posledním řádku. Jedna, jasná, kladně položená, ve tvaru „co je správné“, ne „co byste udělali“. Kdo obor zná, musí umět odpovědět, i když volby ještě nevidí.
Čtyři volby, jedna nejlepší. Ostatní volby jsou chyby, které se v praxi opravdu dělají: počkat a spolehnout se na jiné, potrestat člověka místo hledání příčiny, nasadit ochranné pomůcky tam, kde jde riziko odstranit, nebo udělat správnou věc ve špatném pořadí.
Žádné nápovědy. Správná volba nesmí být nejdelší, nesmí opakovat slovo ze zadání a v bance nejsou volby „všechno uvedené“ ani otázky se záporem.
Co otázka měří a zdůvodnění. Ke každé otázce patří věta, co měří, a zdůvodnění každé volby. Kdo odpoví špatně, uvidí po testu, co otázka měřila, ale klíč ne.
Dva recenzenti a rada. Otázku posoudí dva zkušení bezpečáci, z toho jeden ji nejdřív vyřeší naslepo, bez klíče. Když oba nezvolí klíč, otázka se přepíše. Schvaluje odborná rada.

Každé téma má v radě garanta, který ručí za věcnou správnost otázek.

Ukázku, jak taková otázka vypadá i se zdůvodněním všech voleb, najdete v cvičných otázkách.

Banka, kterou lze opsat, by za rok nic neověřovala.

Jak se chrání banka otázek

Každý dostane jiný test. Otázky se vybírají z banky náhodně podle témat a vrstev, pořadí otázek i voleb je pro každého jiné.
Správné odpovědi se nezveřejňují. Po testu uvidíte výsledek po vrstvách a tématech a u chyb, co otázka měřila.
Test je označený. Po celou dobu je přes test průhledný vodoznak se jménem, kódem pokusu a časem. Označování a kopírování textu je vypnuté.
Pravidlo 12 měsíců. Kdo viděl správné odpovědi, nezíská 12 měsíců ostrý výsledek. Platí to pro hodnotitele i pro mě.
Hlídání úniku. U každé otázky se počítá, kolik lidí ji vidělo. Otázka, která náhle začne vycházet mnohem lépe bez změny obsahu, jde z testu ven.

Statistika otázku označí. Rozhodne člověk.

Pilot a statistiky otázek

Po pilotu se u každé otázky podívám, kolik lidí na ni odpovědělo správně a jestli ji zvládají spíš ti, kterým jde celý test. Otázka, kterou zvládnou všichni, nebo kterou lépe odpovídají slabší uchazeči, nic neměří a vyřadím ji nebo přepíšu. Stejně se sleduje, jestli každou špatnou volbu někdo vybírá.

O vyřazení podle statistik rozhoduji až od zhruba sta odpovědí na otázku. Při menším počtu jsou čísla příliš nejistá; do té doby se řeší jen hrubé chyby, například špatně určený klíč.

Čtyři otázky v každém testu jsou zkušební: nové otázky, které sbírají statistiky, než se začnou počítat. Nepoznáte je a do výsledku se nezapočítávají.

Hranice nestanovuji sám a od stolu.

Jak vznikají hranice úrovní

Hranice pro bronz, stříbro a zlato stanoví komise zkušených bezpečáků z různých oborů metodou Angoff. Komise nejdřív popíše, co umí nejslabší bezpečák, který si danou úroveň ještě zaslouží. Pak každý u každé otázky samostatně odhadne, kolik ze sta takových bezpečáků odpoví správně. Odhady se porovnají se skutečnými výsledky pilotu, sporné otázky se proberou a odhaduje se znovu. Součet odhadů je hranice.

Konečné hranice zveřejním po pilotu. Do té doby jsou provizorní a výsledky z pilotu to mají uvedené. Víc o úrovních na stránce Úrovně.

Když je chyba v otázce, nemá ji odnést uchazeč.

Nahlášení otázky a odvolání

Nahlásit otázku půjde přímo v testu jedním kliknutím, čas kvůli tomu neběží navíc. Po testu je deset minut na krátký komentář k nahlášeným otázkám.
Automatická revize. Když otázku nahlásí aspoň tři lidé a zároveň aspoň 5 % těch, kdo ji dostali, jde k radě.
Přepočet. Uzná-li rada chybu, otázka se vyřadí nebo opraví a všem dotčeným se výsledek přepočítá. Dostanou o tom zprávu.
Odvolání proti výsledku je možné i bez nahlášení v testu. Vyřizuje ho člověk, ne automat.

Proti obcházení stojí hlavně varianta Ověřený. Znalostní test to o sobě říká otevřeně.

Poctivost testu

Čas podle délky otázky. Delší situace má víc času. Plošně krátký limit by měřil rychlost čtení a znevýhodnil lidi s dyslexií, pro které je čas delší.
Varianta Ověřený přidává doklad totožnosti, kameru a kontrolu pokusu člověkem. Na certifikátu je to vidět.
Žádná biometrie na serveru. Rozpoznávání obličeje nepoužívám. Kontrola „obličej v záběru“ běží jen v prohlížeči. Snímky se mažou 30 dní po konečném výsledku.

Z normy ISO/IEC 17024 přebírám principy, ne akreditaci.

Co to není

Není to odborná způsobilost podle zákona

Zákonnou odbornou způsobilost k zajišťování úkolů v prevenci rizik podle zákona č. 309/2006 Sb. certifikát nenahrazuje a nedává. Kdo tuto práci vykonává, potřebuje osvědčení podle zákona. Moje ověření stojí vedle něj.

Není to akreditovaná certifikace

Nejde o certifikaci osob podle normy ISO/IEC 17024 a akreditaci Českého institutu pro akreditaci nemám. Z normy přebírám principy: oddělení autorů od uchazečů, ochranu banky a právo na odvolání.

Kdo certifikát vydává

ORSEB, kterou provozuje ORESEC s.r.o. (v založení). Certifikát říká, jak jste obstáli v tomto ověření, nic víc. Za obsah otázek a metodiku odpovídá odborná rada.

Co se děje s daty

Snímky z kamery a doklady jsou jen v soukromém úložišti a mažou se podle pravidel, která uvidíte před souhlasem. Na ověřovací stránce nejsou nikdy.

Principy z normy ISO/IEC 17024, které dodržuji: oddělení autorů otázek od uchazečů, ochrana banky, ověřování kvality testu a právo na odvolání. Akreditaci Českého institutu pro akreditaci nemám a web ji nenaznačuje.