V dnešním globálním pracovním prostředí je schopnost mluvit plynně anglicky nezbytná. To vede zaměstnavatele a personalisty k potřebě pečlivě zvážit jazykové schopnosti adeptů na zaměstnání už při výběrovém řízení. Testy TOEIC® jsou určeny k tomu, aby tento výběr firmám co možná nejvíce ulehčily. Ptáte-li se, co je na jazykových testech TOEIC® tak skvělého, že je užívá tolik společností v tolika zemích, odpověď je nasnadě: je to přesnost a smysluplnost jejich výsledků.
Co si pod přesností výsledků představit?
Jedná se současně o velmi jednoduchý a velmi složitý koncept. Ve zkratce můžeme dle výzkumníků z ETS říct, že přesnost znamená, do jaké míry se testu daří naplňovat to, k čemu byl určen, ať již jde o ohodnocení úrovně jazyka jisté osoby či odlehčení procesu výběru vhodného kandidáta firmám, univerzitám nebo profesním organizacím. Jinými slovy se tedy můžeme ptát, zda výsledky testu opravdu znamenají to, co si myslíme, že znamenají, a zda test naplňuje smysl, kvůli kterému byl vytvořen. Proces tohoto hodnocení lze jistě považovat za nikdy nekončící, neboť neexistuje shoda na tom, kolik důkazů je třeba. Shodnout se však můžeme na tom, že čím více důkazů, tím lépe.
Jakým způsobem vývojáři testů zajišťují přesnost výsledků?
Vývojáři testů TOEIC® jsou odborníci v oblastech jazykového vzdělávání i testování a jsou v kontaktu s experty v jiných oblastech testování. To však zdaleka není vše. Sestavení testu předcházejí velmi zevrubné plány (tzv. test blueprints), které se zaměřují mimo jiné na to, aby každá varianta testu byla co do obtížnosti co nejvíce podobná těm ostatním nebo aby všechny varianty byly srovnatelné co do zastoupení jednotlivých testovaných prvků. Revizní proces je rovněž extrémně precizní. Přibližně 20 posuzovatelů prošetřuje každou testovou otázku předtím, než je schválena k užití. Některé otázky tímto sítem neprojdou, jiné musejí být náležitě upraveny, aby vysoké standardy splňovaly. Po tomto procesu následuje pilotní testování každé z těchto otázek, aby bylo zajištěno, že studenti vědí, jakým způsobem na dané otázky odpovídat, a že otázky mají vhodnou obtížnost. Posléze je provedena statistická analýza a v návaznosti na ní další výzkum, který zajistí, že test je nejen funkční, ale i vhodný ve všech ohledech.
Důkazy o přesnosti mohou nabývat vícero forem, těmi nejdůležitějšími v testech TOEIC® jsou logická analýza, přezkoumání způsobu, jakým studenti přistupují k testovým otázkám, vyšetření rozdílů v užití jazyka mezi různými skupinami a porovnání výsledků testu s ostatními kritérii a proměnnými.
Jeden druh důkazu o přesnosti testu, jenž byl monitorován, zahrnoval vlastní sebehodnocení testovaných subjektů nazývané can-do report. Přes 5 tisíc absolventů testu bylo v roce 2007 dotázáno, jak dobře zvládli jednotlivé úkoly zaměřené na poslech a porozumění textu. Bylo zjištěno, že pokud jsou tyto otázky kladeny správně, lidé jsou velice přesní v představě, jak dobře tu kterou činnost zvládají. Fakt, že tato sebehodnocení velmi úzce kopírují výsledky testů TOEIC®, poskytuje dobrý důkaz o přesnosti výsledků (tj. výsledky testů tedy znamenají to, co autoři těchto testů říkají, že znamenají).
Závěrem možno říci, že jednou z klíčových přidaných hodnot testů TOEIC® je jejich přesnost a smysluplnost, tedy do jaké míry test hodnotí to, co jeho autoři tvrdí, že hodnotí. Detailní příprava testů velkou měrou přispívá k jejich přesnosti, což nám dokládají speciální studie jako can-do report. Důkazů o hodnotě, přesnosti a smysluplnosti testů TOEIC® bude jistě postupně přibývat. Ostatně stejně jako jejich absolventů.
Text celé studie (v angličtině) je k nahlédnutí zde.