Pokyny pre tvorcov testov

Prepis

1 Pokyny pre tvorcov testov Výber textov Všetky zdroje textov musia byť autentické, v prípade potreby sa však didakticky upravujú pre obidve úrovne. Texty nesmú byť prevzaté z tlačených materiálov určených na skúšku z cudzích jazykov, ktoré už boli publikované, z cudzojazyčných učebníc ani iných didakticky upravovaných materiálov (časopisy určené na vyučovanie cudzích jazykov). Téma v texte musí byť primeraná vekovej skupine maturantov a texty nesmú byť po obsahovej stránke pre žiaka stresujúce (smrť, autonehoda, rozvod, násilie, intolerancia, atď). Texty pre jednotlivé úlohy treba voliť tak, aby sa témy v nich obmieňali. Texty by nemali predpokladať vedomosti súvisiace s poznaním špecifík kultúrneho prostredia, v ktorom je opisovaná situácia umiestnená. Text musí mať názov. Dizajn úloh Úlohy musia byť v súlade so špecifikáciou testu. Položky musia byť rovnomerne rozmiestnené v celom texte. V teste by sa nemali vyskytnúť dve položky s podobnými alebo rovnakými odpoveďami. Ak položky nie sú v tom istom poradí, v akom sa informácie vyskytujú v texte, musí to byť uvedené v inštrukciách. Položky sa nesmú dať riešiť bez toho, aby žiak nepracoval s textom, t.j. odpovede nesmú byť predvídateľné. Riešenie položiek nesmie byť na sebe navzájom závislé, t.j. žiak je schopný riešiť každú položku, aj keď položku pred ňou neriešil (tzv. možnosť nového začiatku). Položky v každej úlohe musia byť očíslované. Autor odovzdá každú úlohu v elektronickej (Word, 12 point in Times New Roman) aj papierovej forme. Spolu s úlohou poskytne autor na samostatnom papieri aj kľúč. Po odpilotovaní úloh a následnej položkovej analýze autor úlohu upraví. Inštrukcie Inštrukcie pre úroveň B1 sú v slovenčine (na školách s vyučovacím jazykom maďarským v maďarčine), na úrovni B2 sú v cieľovom jazyku. Inštrukcie sú štandardizované, musia byť zrozumiteľné, jednoduché a stručné.

2 Počúvanie s porozumením Texty Texty musia byť vhodné pre testovanie ročných žiakov a pre daný typ úlohy. Pri výbere treba zohľadniť počet hovoriacich (odporúčame nie viac ako troch). Treba sa vyhnúť všeobecne známym príbehom, poviedkam, známym príbehom zo života celebrít a pod. Texty by mali byť vhodné na testovanie počúvania s porozumením. V jednom texte môžu byť maximálne traja hovoriaci. Autori musia odovzdať aj prepis textov. Dizajn úloh Intervaly medzi jednotlivými položkami sú približne 7 10 sekúnd, na začiatku textu sekúnd pred prvou položkou. K jednotlivým úlohám nie sú uvádzané príklady. Položky sú rovnomerne rozmiestnené po celom texte. Znenie položiek musí byť zrozumiteľné a nemalo by vyžadovať veľa čítania. Pri formulácii úloh je potrebné dbať na vylúčenie prediktability, t.j. na úlohy nemôže žiak odpovedať bez počutia textu (nahrávky). Výber položiek má byť rozmanitý (nie dve položky, ktoré obsahujú čísla, mená, mená krajín, národnosti...). Pauza na prečítanie zadania závisí od typu úlohy. Po prvom vypočutí nahrávky je pauza 15 sekúnd. Pauza na vypracovanie tiež závisí od typu úlohy. A) multiple choice výber odpovede zo 4 alebo 3 možností Žiakom treba dať oporné body (hlavné myšlienky alebo kľúčové slová), ktoré im umožnia orientovať sa v texte. Každá položka môže mať len jednu správnu odpoveď. Každý distraktor by mal byť spomenutý v texte, ktorý žiak počúva (mal by v ňom odznieť, ale v iných súvislostiach). Štyri možnosti by nemali vyžadovať príliš veľa čítania. Text, ktorý žiak počuje, nie je totožný s vetami, ktoré číta. Časti textu, na ktoré sa viažu položky, musia byť od seba logicky oddelené (nie dve rôzne položky k tomu istému odstavcu). Každá úloha by mala mať o jednu položku viac, ako požaduje špecifikácia. Pauza na prečítanie zadania je 2 minúty. Po prvom vypočutí nahrávky je pauza 15 sekúnd. Pauza na kontrolu po druhom vypočutí je tiež 15 sekúnd. Rozsah textu na počúvanie je približne 3 minúty. B) úloha s krátkymi odpoveďami Položky musia nasledovať v takom poradí, v akom sa informácie vyskytujú v texte. Intervaly medzi položkami sú približne 7 10 sekúnd, na začiatku textu sekúnd pred prvou položkou. V každej položke by mala byť len jedna správna odpoveď. Ak ich je viac, musia byť všetky uvedené v kľúči.

3 V odpovediach sa treba sústrediť na fakty (konkrétne podstatné mená), nie na prídavné mená alebo slovesá, ktoré majú množstvo synoným. Odpoveď nemôže vyžadovať ani subjektívny úsudok žiaka. Je potrebné vyhýbať sa položkám, ktoré vyžadujú v odpovedi dve slová. Vety, ktoré žiaci počujú, nemôžu byť také isté ako vety, ktoré dopĺňajú. Je potrebné vyhnúť sa v odpovediach slovám, ktoré majú ťažké hláskovanie. Každá úloha by mala mať o jednu položku viac, ako požaduje špecifikácia. Pauza na prečítanie zadania je 60 sekúnd. Po prvom vypočutí nahrávky je pauza 15 sekúnd. Pauza na kontrolu odpovedí po druhom počúvaní je jedna minúta. Rozsah textu na počúvanie je približne 2,5 minúty. C) Pravda/nepravda/nie je v texte Intervaly medzi jednotlivými položkami sú približne 7 10 sekúnd, na začiatku textu sekúnd pred prvou položkou. Položka, ktorá si vyžaduje odpoveď Nie je v texte nemôže byť čiastočne pravdivá, takáto položka by sa mala sústrediť na fakt, ktorý sa v texte neuvádza, jej riešenie by nemalo závisieť od uhla pohľadu. Každá úloha by mala mať o jednu položku viac, ako požaduje špecifikácia. Pauza na prečítanie zadania je 60 sekúnd. Po prvom vypočutí nahrávky je pauza 15 sekúnd. Pauza na kontrolu odpovedí po druhom počúvaní je 15 sekúnd. Rozsah textu na počúvanie je približne 2,5 minúty. D) priraďovanie 5 čatí/3 časti Tvrdenia buď parafrázujú výpovede jednotlivých hovoriacich alebo ich sumarizujú (v takom prípade je možné použiť aj jednoslovné položky, napr. zamestnania). Všetky texty sú o tej istej alebo podobnej téme, preto treba dať pozor, aby položky neboli tvorené na myšlienky v textoch, ktoré sa opakujú u viacerých hovoriacich. Položky musia byť vytvorené tak, aby neobsahovali tie isté slová ako texty. Ak úloha pozostáva z piatich častí, v položkách je 5 tvrdení, ktoré žiak musí použiť a jeden distraktor. Ak úloha pozostáva z troch častí, v položkách je 6 tvrdení, ktoré žiak musí použiť. Distraktory nie sú. Pauza na prečítanie zadania sa mení podľa typy úlohy (1 minúta 20 sekúnd, ak ide o jednoslovné položky). Po prvom vypočutí nahrávky je pauza 15 sekúnd. Pauza na kontrolu odpovedí po druhom počúvaní je 15 sekúnd. Rozsah textu na počúvanie je približne 2,5 minúty.

4 Čítanie s porozumením Texty Texty musia byť vhodné pre maturantov a pre daný typ úlohy. Je potrebné sa vyhnúť všeobecne známym príbehom, poviedkam, známym príbehom zo života celebrít a pod. Texty musia byť autentické a treba ich voliť tak, aby sa pre úroveň B2 upravovali čo najmenej. Dizajn úloh Položky by mali byť rozmiestnené v texte rovnomerne. K jednotlivým úlohám nie sú uvádzané príklady. Položky musia byť napísané tak, aby odpoveď nebola priamo závislá od porozumenia slovnej zásoby, ktorá je mimo rozsahu predpísanej slovnej zásoby žiaka s výnimkou položiek, ktoré testujú schopnosť žiaka odhadnúť význam slov z kontextu. Položky by mali byť napísané jednoduchým jazykom a nemali by vyžadovať veľa čítania. Pri formulácii položiek treba dbať na vylúčenie prediktability, t.j. položky treba formulovať tak, aby ich žiak bez prečítania textu nemohol vyriešiť. A) výber zo 7 daných možností A- G Ak sa v úlohe vkladajú späť do textu časti viet, mali by skutočne testovať čítanie s porozumením a nielen gramatiku (t.j. správna voľba by nemala súvisieť len s gramatickou štruktúrou vety). Ak žiaci vkladajú späť do textu prvú časť vety, musí byť napísaná veľkým začiatočným písmenom. Ak žiaci vkladajú časti viet, nemala by byť v možnostiach na výber len jedna časť vety, ktorá je začiatkom vety v texte (a teda je napísaná s veľkým začiatočným písmenom). Na začiatku tejto úlohy by mala byť minimálne jedna alebo dve celé vety, ktoré uvedú žiaka do textu; až potom nasledujú položky. Žiadna položka nesmie mať dve riešenia (teda tá istá veta/časť vety sa nesmie hodiť do dvoch medzier alebo nadpis k dvom odsekom/častiam textu a pod.). Každá úloha by mala mať minimálne o dve položky viac, ako požaduje špecifikácia. B) úloha s alternatívnou odpoveďou Ak ide o typ úlohy, kde sa žiak musí rozhodnúť, či je tvrdenie pravdivé alebo nepravdivé, treba vyberať texty tak, aby jednotlivé tvrdenia neboli pravdivé v jednej časti textu a nepravdivé v druhej. Vhodné sú súvislé texty, ktoré sa dajú rozdeliť na štyri rovnomerne dlhé časti. Ak sú všetky tvrdenia pravdivé, je možné použiť aj štyri krátke texty, v ktorých štyria rôzni ľudia rozprávajú o rovnakej alebo podobnej téme. Žiadne tvrdenie sa nemôže vzťahovať k dvom častiam textu/odsekom. Každá úloha by mala mať minimálne o dve položky viac, ako požaduje špecifikácia.

5 C) úloha s krátkymi odpoveďami Ak položky nenasledujú v takom poradí, v akom sa informácie vyskytujú v texte, musí to byť uvedené v inštrukciách;. V každej položke by mala byť len jedna správna odpoveď. Ak ich je viac, musia byť všetky uvedené v kľúči. V odpovediach sa treba sústrediť na fakty/údaje/konkrétne informácie (napr. konkrétne podstatné mená), nie na prídavné mená, ktoré majú množstvo synoným. Odpoveď nemôže vyžadovať ani subjektívny úsudok žiaka. Výber položiek má byť rozmanitý (nie dve položky, ktoré obsahujú čísla, mená, mená krajín, národnosti, atď.). Je potrebné vyhýbať sa položkám, ktoré vyžadujú v odpovedi dve slová. Formulácia položiek nemôže byť taká istá, ako je formulácia viet v texte. Členy treba uvádzať v položke (t.j. v parafrázovanej vete) a nevyžadovať ich pri odpovedi. Každá úloha by mala mať minimálne o dve položky viac, ako požaduje špecifikácia. D) multiple choice - výber odpovede zo 4 alebo z 3 možností Žiakom treba dať oporné body, ktoré im umožnia orientovať sa v texte. Každá položka môže mať len jednu správnu odpoveď. Každý distraktor by mal byť spomenutý v texte, ktorý žiak číta. Položky by nemali vyžadovať príliš veľa čítania a všetky možnosti by mali byť približne rovnako dlhé. Formulácia položiek nemôže byť taká istá, ako je formulácia viet v texte. Každá úloha by mala mať minimálne o jednu položku viac, ako požaduje špecifikácia.

6 Gramatika/slovná zásoba Vlastnosti textov Zdroje textov musia byť autentické (nesmú byť prevzaté z materiálov určených na vyučovanie alebo testovanie cudzích jazykov). Slovná zásoba a jazykové štruktúry použité v textoch sú primerané úrovniam B1 alebo B2. Rozsah jazykových štruktúr zodpovedá rozsahu, ktorý je určený v cieľových požiadavkách a vzdelávacích štandardoch pre jednotlivé cudzie jazyky. Celkovo je úroveň textov rovnaká alebo trochu nižšia ako je testovaná úroveň jazyka, aby sa zabezpečilo, že ide skutočne o test gramatiky a slovnej zásoby a nie čítania s porozumením. Rozsah textov: slov pre multiple choice na 10 položiek. Texty majú rovnaký rozsah slov v B1 a B2. Texty sú písané pre širokú verejnosť, spadajú do rámca žiakových skúseností a vedomostí a sú napísané pre čitateľov, ktorí sú vekovo a záujmovo porovnateľní s maturantmi. Tematické okruhy textov sú v súlade s cieľovými požiadavkami a vzdelávacími štandardmi. Inštrukcie Inštrukcie k úlohám musia byť jasné, krátke a štandardizované. Dizajn úloh Vypracovanie každej položky musí byť nezávislé na vypracovaní predchádzajúcej položky, t.j. odpoveď na jednu otázku nie je závislá na odpovedi na inú ( možnosť nového začiatku ), z toho dôvodu je potrebné, aby boli medzi jednotlivými položkami najmenej dve slová. Jednotlivé položky by mali testovať čo najširší rozsah jazykových štruktúr a lexiky. V jednej úlohe musí byť minimálne 12 položiek. Odovzdáva aj elektronickú podobu použitého článku (úryvku) a úlohu. A) multiple choice - výber odpovede zo 4 možností Úloha môže testovať aj gramatiku, aj slovnú zásobu. Nesprávne/neexistujúce gramatické tvary nesmú byť použité ako distraktory, t.j. je možné použiť len existujúce tvary. V úlohe je možné použiť aj nulový distraktor, resp. odpoveďou môže byť možnosť, ktorá uvádza, že do vety netreba doplniť žiadne slovo. Nulový distraktor/nulová odpoveď môže byť použitá len v prípade, ak je takýto tvar v súlade s gramatikou daného jazyka (napr. nulový člen v angličtine, vynechané vzťažné zámeno v angličtine a pod.) Vždy je správna len jedna možnosť.

7 V nasledujúcom texte sú vynechané slová (01 10). Za textom nájdete pre každé vynechané miesto štyri možnosti doplnenia. Rozhodnite, ktoré z ponúkaných slov patrí na príslušné miesto textu. Z ponúkaných možností (A) (D) je správna iba jedna. B) výber slov z banky slov Úloha testuje slovnú zásobu. Každá položka má iba jedno riešenie. Identifikácia správneho riešenia by nemala závisieť iba od poznania gramatických pravidiel daného cudzieho jazyka (napr. an instructor). Prečítajte si nasledovný text a do medzier doplňte chýbajúce slová. Z ponúkaných 15 slov je iba 10 správnych. C) vytvorenie správneho slovesného tvaru Úloha testuje gramatiku. Do kľúča je potrebné uviesť všetky správne možnosti riešenia (rozlišovanie veľkých a malých písmen na začiatku vety nie je relevantné, v angličtine treba uviesť aj skrátené tvary). Slovesá v zátvorkách dajte do správneho tvaru. D) modifikovaný cloze Úloha testuje gramatiku. Dopĺňajú sa slová, ktoré majú iba gramatickú funkciu, t.j. neplnovýznamové slová, (napr.: predložky, členy, pomocné slovesá, vzťažné zámená, spojky a pod). Pozorne si prečítajte nasledujúci text a doplňte chýbajúce slová v správnom tvare tak, aby text dával význam. E) slovotvorba Úloha testuje slovnú zásobu a slovotvorné postupy. Testujú sa slovotvorné postupy zamerané na prefixáciu a sufixáciu s ohľadom na špecifiká derivatológie daného cudzieho jazyka. Odvodené slovo musí byť aj v správnom gramatickom tvare vzhľadom na kontext vety. Zmeňte slovný druh slov uvedených v zátvorkách a dajte ich do správneho tvaru tak, aby text dával význam.

8 F) oprava textu Úloha testuje gramatiku. Jeden riadok textu musí obsahovať len jednu testovanú položku. Slovo, ktoré do riadka nepatrí, sa v ňom môže vyskytovať len raz. Je porebné vyhnúť sa takým jazykovým konštrukciám, v ktorých je viac možností riešenia. Pozorne si prečítajte text. Niektoré riadky sú správne, niektoré obsahujú JEDNO slovo, ktoré by tam nemalo byť. Ak je riadok správny, označte ho vedľa čísla riadka na odpoveďovom hárku. Ak riadok obsahuje slovo, ktoré by v ňom nemalo byť, napíšte vedľa čísla riadka toto slovo. Na začiatku sú uvedené dva príklady.

9 Rozprávanie Vybrané úlohy musia byť v súlade s cieľovými požiadavkami pre maturantov a so špecifikáciou testu. Na splnenie úlohy by sa od žiaka nemalo vyžadovať priveľa predstavivosti a kreativity. Treba sa vyhýbať otázkam, ktoré sú založené na faktografických informáciách a vedomostiach (Kto je na obrázku? Čo vieš o Shakespearovi? Ako sa volá najvyššia budova v...?). Opis a porovnávanie obrázkov Obrázky treba vyberať tak, aby stimulovali žiakov k produkcii rôznorodých gramatických štruktúr a dostatočného rozsahu jazyka, t.j. mali by znázorňovať ľudí pri nejakej činnosti, nemali by byť statické. Obrázky musia byť jednoznačné a zreteľné, nemusia byť farebné. Fotokópia by mala byť čierno-biela a nie väčšia ako formát A4. Obrázky musia byť vhodné pre vekovú skupinu maturantov. Na tej istej maturitnej skúške by mal byť použitý rovnaký typ úlohy (buď opis alebo porovnanie), aby skúška bola rovnaká pre všetkých. Stresujúce, priveľmi abstraktné, symbolické obrázky, obrázky so skrytou myšlienkou sú nevhodné. Riadený rozhovor Stimuly by mali byť vypracované v dvoch verziách: jedna pre žiaka s tematickými okruhmi, druhá pre skúšajúceho s vopred pripravenými otázkami (postačujúce sú 3 stimuly). Treba sa vyhýbať otázkam, na ktoré stačí odpovedať áno - nie. Každý žiak by mal dostať otázky podobného typu: napr. o nejakej udalosti v minulosti, o plánoch do budúcnosti a pod., aby sa dal otestovať čo najväčší rozsah gramatických štruktúr a jazykových funkcií, rozsahu jazyka. Konkrétne otázky sa nemôžu objaviť na stimule pre žiaka. Žiak má počas prípravy k dispozícii len okruhy. Rozhovor iniciuje skúšajúci uvedením, že žiak ukončil prvú časť (opis obrázka) a prechádza k druhej časti. V úvode riadeného rozhovoru necháme žiaka približne tri minúty samostatne hovoriť, aby sme zistili, či je schopný produkovať súvislý prejav k danej problematike. Zodpovednosť za otázky je na strane skúšajúceho, ktorý má viesť žiaka k príslušnej interakcii a produkcii rozmanitých gramatických štruktúr (odporúčame, aby tieto boli jednotné pre všetkých žiakov, napr. adekvátne použitie minulých časov, podmienkových viet, nedovoliť žiakovi používať výlučne prítomné časy). Situačná úloha Situačná úloha musí byť napísaná tak, aby si vyžadovala skutočnú interakciu v zadanej situácii z reálneho života a táto interakcia by mala viesť k požadovanému výstupu (dohode, kompromisu,...). Treba vytvoriť situácie, ktoré sú realistické, vhodné pre danú vekovú skupinu a v ktorých je pre nich prirodzené rozprávať v cudzom jazyku.

10 Od žiaka by sa nemalo vyžadovať, aby hral úlohu, s ktorou sa nevie stotožniť alebo s ktorou sa stotožňuje ťažko (úlohy, v ktorých sa žiak sťažuje riaditeľovi školy na konkrétneho učiteľa nie sú vhodné). Odporúčame, aby bol skúšajúci v úlohe dospelého človeka. Skúšajúci, ktorý je žiakovi v úlohe partnerom, by nemal rozprávať viac ako žiak. Úloha musí byť napísaná tak, aby sa žiak musel pýtať, iniciovať interakciu, udržiavať rozhovor a pod. Skúšajúci nevystupuje v úlohe učiteľa, t. j. nedopĺňa žiakove odpovede, len vedie rozhovor, na skúške žiaka nikdy neopravuje, počas skúšky sa nikdy nevyjadruje o žiakovom výkone, nespochybňuje, čo žiak povedal, ani nekomentuje jeho názory, prejavuje úprimný záujem o to, čo žiak hovorí, počúva žiaka, pretože ho jeho výpovede úprimne zaujímajú a nie preto, že hodnotí, vyhýba sa otázkam, na ktoré stačí odpovedať áno - nie, rozhovor iniciuje uvedením, že žiak ukončil prvú časť (opis obrázka) a prechádza k druhej časti, v úvode riadeného rozhovoru nechá žiaka približne tri minúty samostatne hovoriť, aby sa zistilo, či je schopný súvisle rozprávať o danej problematike, otázky kladie tak, aby žiaka stimulovali k vyjadreniu názoru, nesmú testovať jeho vedomosti zo žiadnej oblasti. Z hľadiska psychohygieny, objektivity a reliability skúšania odporúčame, aby sa úlohy členov komisie po vyskúšaní 5 žiakov vymenili (t.j. skúšajúci si vymení úlohu s jedným hodnotiteľom, predseda komisie zostáva vo funkcii hodnotiteľa). Všetci hodnotitelia by mali prejsť tréningom, aby ich hodnotenie bolo štandardizované aspoň v rámci školy.