Externá časť maturitnej skúšky 2007 Záverečná správa zo štatistického spracovania testu z ruského jazyka úroveň B Mgr. Zuzana Juščáková, PhD. ŠPÚ Brat

Prepis

1 Externá časť maturitnej skúšky 007 Záverečná správa zo štatistického spracovania testu z ruského jazyka úroveň B Mgr. Zuzana Juščáková, PhD. ŠPÚ Bratislava 007

2 OBSAH ÚVOD...4 TESTOVANÍ ŽIACI...5 VÝSLEDKY...6. Všeobecné výsledky Analýza rozdielov vo výsledkoch Rozdiely podľa typu školy Rozdiely podľa krajov..... Rozdiely podľa zriaďovateľa Rozdiely podľa pohlavia Rozdiely podľa známky... POLOŽKOVÁ ANALÝZA...5. Psychometrické charakteristiky testu Porovnanie variantov testu RJ07B Obťažnosť Reliabilita a medzipoložková korelácia Kľúče a distraktory....6 Citlivosť Distribúcia úspešnosti a citlivosť Neriešenosť Súhrnné charakteristiky položiek ZÁVER...49 LITERATÚRA...50 Príloha A Príloha B Príloha C

3 Vysvetlivky: MS maturitná skúška EČ externá časť maturitnej skúšky GYM gymnáziá SOŠ stredné odborné školy ZSŠ združené stredné školy SOU stredné odborné učilištia N veľkosť štatistického súboru, počet žiakov BA Bratislavský kraj TT Trnavský kraj TN Trenčiansky kraj NR Nitriansky kraj ZA Žilinský kraj BB Banskobystrický kraj PO Prešovský kraj KE Košický kraj Typ školy členenie škôl na dve skupiny: gymnáziá a ostatné Typ školy členenie škôl na gymnáziá, stredné odborné školy, združené stredné školy, stredné odborné učilištia Sig. obojstranná signifikancia, štatistická významnosť RJ07B označenie testu z ruského jazyka, úroveň B P.Bis. Point Biserial, parameter medzipoložkovej korelácie r korelačný koeficient, koeficient vecnej signifikancie

4 Úvod Dňa 8. marca 007 sa konala externá časť maturitnej skúšky (EČ MS) z ruského jazyka v úrovni A a B. Cieľom externej časti maturitnej skúšky je priniesť porovnateľné výsledky pre žiakov z celého Slovenska. V prvej časti správy kvantifikujeme štatistický súbor. Údaje o počtoch žiakov sú členené z hľadiska územného, inštitucionálneho a rodového. V ďalšej časti Výsledky prezentujeme možné faktory rozdielnosti výkonov v EČ MS prostredníctvom základných štatistických charakteristík testu, distribúcie úspešnosti žiakov a výsledky spracované podľa vybraných triediacich znakov po úprave bodovania kritických položiek. V časti Položková analýza sa vraciame k výsledkom pred úpravou bodovania, predkladáme informácie o psychometrických charakteristikách testu a postupne dokladujeme odhaľovanie kritických položiek. V Závere sumarizujeme štatistické zistenia smerované k hodnoteniu meranej populácie a k overeniu meracieho nástroja a prípadne identifikujeme jeho slabiny v záujme budúceho skvalitnenia tvorby testov. K správe pripájame plné znenie variantu testu, ktorý bol použitý v položkovej analýze. Informácie, ktoré správa prináša, sú určené tvorcom testov a didaktikom jednotlivých predmetov. Boli by sme radi, keby si externá maturitná skúška postupne získala dôveru a kredit nielen v rámci Slovenska, ale aj Európskej únie. Súčasťou správy je samostatný dokument - Príručka, v ktorej uvádzame východiská testovania, základné informácie o priebehu EČ MS, o testovacích nástrojoch, metódach spracovania dát a vysvetlenie niektorých odborných pojmov, štatistických postupov a vzorcov. 4

5 Testovaní žiaci V predmete ruský jazyk úroveň B maturovalo 9 žiakov. Najviac ich bolo z Prešovského kraja 8 % a najmenej z Trnavského kraja 0,8 %. Rozloženie ďalších maturantov podľa kraja približuje. tabuľka, podľa zriaďovateľa školy. tabuľka, podľa typu školy. tabuľka, podľa pohlavia 4. tabuľka. 5. tabuľka dokladuje rovnomernosť administrácie variantov testu RJ07B medzi maturantov.. tabuľka Počet škôl a žiakov podľa krajov Kraj BA TT TN NR ZA BB PO KE Spolu Školy Žiaci počet % počet % 7 8,% 7 9,,6% 7,8% 7 8,% 44 4,8% 7 8,% 47 5,% 8 9,5% 6 7,7% 7 8,% 7, 6, 55 8, 9,6% 98,7% 84 00, 9 00,. tabuľka Počet škôl a žiakov podľa zriaďovateľa Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy Spolu Školy Žiaci počet % počet % 69 8,% 567 6,% 4 6,7% 44 7,7%,%,% 84 00, 9 00,. tabuľka Počet škôl a žiakov podľa typu školy Typ školy GYM SOŠ ZSŠ SOU Spolu Školy Žiaci počet % počet % 5 4,7% 65 40, 7,% 64 9,9%,% 79 8,7%,% 04,4% 84 00, 9 00, 4. tabuľka Počet žiakov podľa pohlavia Pohlavie chlapci dievčatá Spolu počet % 7 9,7% 64 70,% 9 00, 5. tabuľka Počet žiakov podľa variantov Variant 05 0 Spolu počet % 45 49,5% 46 50,5% 9 00, 5

6 Výsledky. Všeobecné výsledky Štatistické charakteristiky v nasledujúcich tabuľkách vyjadrujú úspešnosť žiakov ako aj kvalitu testu po úprave bodovania, kedy sa v položkách, ktoré vykazovali nevhodné štatistické vlastnosti, pridelil každému žiakovi bod. Vysvetlenie použitých charakteristík je uvedené v Príručke. 6. tabuľka Výsledné psychometrické charakteristiky percentuálnej úspešnosti testu RJ07B Test RJ07B Časť Počúvanie Gramatika Čítanie Spolu Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka ,0 95,0 00,0 96,7 0,0,5 0,0 6,7 74,6 6,8 6, 66, 6,7,7 9,0,9 4,7 5,9,9 8,9 00,0 89,7 98,6 9,5,6,5,6,5 7,5 6,9 60,0 65, 75,6 6,7 6,5 67,,79,78,785,89 7,6 6,4 8,8 4,6 5,0,6 7, 8,9. graf Výsledný histogram úspešnosti Počet žiakov Úspešnosť 6

7 7. tabuľka Rozdelenie žiakov s úspešnosťou menšou ako % Typ školy Spolu GYM SOŠ ZSŠ SOU Pohlavie chlapci dievčatá Spolu tabuľka Prepojenie úspešnosti a percentilu Úspešnosť Percentil Počet žiakov 6,7,0,5,,, 4 4,, 5 7,5,4 6 8,,5 7 9,,7 8 0,0,9 9 0,8, 0,7,,5,4,,6 4,,9 4 5,0,0 5 5,8, 6 6,7, 7 7,5, 4 8 8,,7 9 9,, 0 40,0,4 40,8,6 5 4,7 4, 7 4,5 4, , 5, , 6, ,0 7, ,8 7, ,7 8, ,5 8, , 9,8 0 49, 0,9 9 50,0,8 0 50,8,9 4 5,7 4, 5 5 5,5 5,9 6 5, 7, 7 54, 8, ,0 0, ,8, ,7 4, ,5 6, , 7, , 9, ,0 0,6 7

8 45 60,8, ,7 5, 47 6,5 7, , 9, , 4, ,0 44, ,8 46, 5 66,7 48, ,5 50, , 5, , 54, ,0 56, ,8 59,0 58 7,7 6,5 59 7,5 6, , 65, , 67,5 6 75,0 69,8 6 75,8 7, 64 76,7 74, ,5 76, , 78, , 79, ,0 8, ,8 84, 70 8,7 85,5 7 8,5 87, , 88,6 7 84, 90, ,0 9, ,8 9, ,7 9, ,5 94, , 95, , 96, ,0 97, ,8 97,7 8 9,7 97,9 8 9,5 98, , 99, , 99, 86 95,0 99, ,8 99, ,7 99,9 Podľa 7. tabuľky 5 žiakov nedosiahlo % hranicu úspešnosti v EČ MS z RJ07B. Prevažne ide o žiakov stredných odborných škôl, pričom najnižšia úspešnosť bola 6,7 % - jeden žiak. Z 8. tabuľky vidíme, že táto skupina tvorí,4 % z celkového počtu zúčastnených. Ďalej možno vidieť (8. tabuľka), že približne % žiakov dosiahlo úspešnosť nižšiu ako 50 %. Úspešnosť vyššiu ako 90 % dosiahlo žiakov, čo predstavuje asi, % všetkých zúčastnených žiakov, pričom najvyššia dosiahnutá úspešnosť bola 96,7 % - jeden žiak. Keďže 50. percentil sa nachádza približne v 5. riadku z 88 riadkov, môžeme indukovať, že test o niečo lepšie diferencoval žiakov s nižšou úspešnosťou (pod 67 %) ako žiakov s vyššou úspešnosťou (nad 68 %). Podľa. grafu predpokladáme normálne rozloženie početností úspešností žiakov v RJ07B. 8

9 . Analýza rozdielov vo výsledkoch V tejto časti správy poukazujeme na rozdiely vo výsledkoch žiakov podľa typu školy, krajov, zriaďovateľa, pohlavia a známky, ktorú žiaci získali na polročnom vysvedčení v danom predmete... Rozdiely podľa typu školy 9. tabuľka Úspešnosť podľa typu školy Typ školy GYM ostatné Spolu N Štd.chyba Priemer priemeru 65 7,5, ,0,5 9 66,,5. graf Typ školy a úspešnosť GYM ostatné 0. tabuľka Úspešnosť podľa typu školy Typ školy GYM SOŠ ZSŠ SOU Spolu N Štd.chyba Priemer priemeru 65 7,5,7 64 6,0,7 79 6,7, 04 58,8, 9 66,,5 Priemerná úspešnosť žiakov gymnázií (7,5 %) je signifikantne vyššia ako úspešnosť zvyšných troch skupín, a to aj v priemerných úspešnostiach jednotlivých častí testu, viď 4. graf. Od národného priemeru sa priemerná úspešnosť gymnazistov líši pozitívne (je vyššia ako národný priemer), na úrovni strednej vecnej signifikancie, r = 0,4. Na opačnom konci škály priemerných úspešností je skupina žiakov stredných odborných učilíšť (58,8 %), ich horší výkon v porovnaní s národným priemerom sa preukázal na úrovni silnej vecnej signifikancie, r = 0,50. Postavenie ďalších skupín podľa typu školy ukazuje. tabuľka. Časť testu počúvanie dosiahla vyššiu úspešnosť ako časť čítanie v oboch typoch škôl (GYM, ostatné). Usporiadanie úspešností všetkých častí testu z tohto pohľadu je zhodné (4. graf). 9

10 . graf Typ školy a úspešnosť GYM SOŠ ZSŠ SOU. tabuľka Porovnanie úspešnosti podľa typov škôl s národným priemerom Typ školy GYM SOŠ ZSŠ SOU Národný priemer= 66. Vecná t df Sig. signifikancia 9,04 64,000,4-4,78 6,000,4 -,456 78,00,6-5,880 0,000,50 4. graf Výsledky jednotlivých častí testu podľa typu školy 0 Úspešnosť v počúvaní Úspešnosť v gramatike Úspešnosť v čítaní Úspešnosť GYM ostatné 0

11 .. Rozdiely podľa krajov. tabuľka Úspešnosť podľa krajov Kraj BA TT TN NR ZA BB PO KE N Štd.chyba Priemer priemeru 7 60,5,9 7 78, 6, ,, ,,9 6 6,, 7 59,5, 55 7,7, ,9,9 Porovnávať úspešnosť podľa všetkých krajov by nebolo vhodné, keďže početnosť súborov je veľmi rôzna. V nasledujúcom 5. grafe a. tabuľke sme Trnavský kraj nezahrnuli. 5. graf Kraje podľa úspešnosti PO TN NR KE ZA BA BB. tabuľka Porovnanie priemerov krajov s národným priemerom Kraj BA TN NR ZA BB PO KE Národný priemer = 66. Vecná t df Sig. signifikancia -5,99 7,000,4,80 4,4, -,556 46,58,08 -,607 60,000,7 -,096 6,005,5 9,84 54,000,5 -,475 97,4,0 Rozdiely v dosiahnutej úspešnosti podľa krajov s národným priemerom sa ako signifikantné preukázali v prípade Bratislavského horšie (na úrovni strednej vecnej signifikancie), Žilinského horšie ( na úrovni miernej vecnej signifikancie), Banskobystrického horšie (na úrovni silnej vecnej signifikancie) a Prešovského kraja lepšie (na úrovni silnej vecnej signifikancie).

12 .. Rozdiely podľa zriaďovateľa 4. tabuľka Úspešnosť podľa zriaďovateľa Zriaďovateľ Štátne školy Súkromné školy Cirkevné školy Spolu N Štd.chyba Priemer priemeru ,6,6 44 6,,7 74,. 9 66,,5 6. graf Zriaďovatelia podľa úspešnosti Štátne školy Súkromné školy 5. tabuľka Porovnanie priemerov podľa zriaďovateľa s národným priemerom Národný priemer 66, % Zriaďovateľ Štátne školy Súkromné školy t df Štat. sig. Vec. sig. 4,8 566,000,77-5,404 4,000,80 Najpočetnejšiu skupinu tvorili žiaci štátnych škôl 6, %, z cirkevných škôl sa zúčastnil jeden žiak, preto budeme porovnávať iba žiakov štátnych a súkromných škôl: dosiahnutá priemerná úspešnosť žiakov zo štátnych škôl ( 68,6 %) v teste RJ07B bola signifikantne vyššia ako úspešnosť žiakov súkromných škôl ( 6, % ). Od národného priemeru v zmysle lepších štátne školy, a v zmysle horších výsledkov súkromné školy, sa líšili priemerné výkony na úrovni slabej a miernej vecnej signifikancie...4 Rozdiely podľa pohlavia 6. tabuľka Úspešnosť podľa pohlavia Pohlavie chlapci dievčatá N Štd.chyba Priemer priemeru 7 66,5, ,,6

13 7. graf Pohlavie podľa úspešnosti chlapci dievčatá V porovnaní podľa pohlavia rozdiely v priemerných výkonoch neboli signifikantné...5 Rozdiely podľa známky 7. tabuľka Úspešnosť podľa známky Známka 4 5 bez údaju N Štd.chyba Priemer priemeru 87 77,, ,,7 75 6,,7 56,9,0 54, 4,8 5, 4, 8. graf Známka podľa úspešnosti Známka

14 8. tabuľka Porovnanie priemerov podľa známky s národným priemerom Známka 4 5 Bez údaja Národný priemer = 66. Vecná t df Sig. signifikancia 4,7 86,000,7,659 94,008,5-5,89 74,000,0-8,95,000,6 -,5 0,00,6 -,9,004,57 Z 8. grafu vidíme očakávané usporiadanie úspešností. Priemerná úspešnosť v teste žiakov, ktorí na polročnom vysvedčení mali stupeň - výborný, bola 77 %. Priemerný výkon tejto skupiny v porovnaní s národným priemerom sa preukázal ako lepší, a to na veľmi silnej úrovni vecnej signifikancie, kde je r = 0,7, viď 8. tabuľka. Vecná signifikancia lepších výkonov ako národný priemer dvojkárov je veľmi mierna, trojkárov mierna. Žiaci ďalších klasifikačných stupňov dosiahli silne vecne signifikantné horšie výsledky ako národný priemer. 4

15 Položková analýza Na to, aby sme mohli výsledky testu považovať za spoľahlivé, musíme poznať vlastnosti testu. V tejto časti správy predkladáme okrem základných psychometrických charakteristík testu aj vlastnosti jednotlivých položiek, ich obťažnosť, citlivosť, neriešenosť, vynechanosť, nedosiahnutosť a medzipoložkovú koreláciu. Charakter a kvalitu testu spresňujeme postupným odhaľovaním dôvodov, pre ktoré niektoré položky budeme považovať za kritické, iné akceptovať ako vhodné, podieľajúce sa na dobrej kvalite testu.. Psychometrické charakteristiky testu S výslednými psychometrickými charakteristikami testu sme sa mohli oboznámiť v predchádzajúcej časti, v kapitole Výsledky (6. tabuľka). Znovu pripomenieme, že výsledné psychometrické charakteristiky percentuálnej úspešnosti testu predstavujú vlastnosti testu po úprave bodovania, kedy sme v kritických položkách, ktoré nepreukázali dobré vlastnosti, pridelili každému žiakovi po jednom bode za danú položku. Stav pred úpravou bodovania ukazujú prvotné tabuľky a grafy. 9. tabuľka Prvotné psychometrické charakteristiky testu Test RJ07B Časť Počúvanie Gramatika Čítanie Spolu Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka ,0 95,0 00,0 95,0 0,0 7,5,0,5 74,6 6,4 5, 6,0 6,7 4, 9,7 4, 4,7,8 4,6 5, 00,0 88,9 9,7 90,9,6,5,7,5 7,5 60,5 5,8 6, 75,6 6, 54,4 6,9,79,778,780,89 7,6 6,6 9, 4,7 5,0,0 8, 9, 5

16 9. graf Prvotný histogram Počet žiakov Úspešnosť. Porovnanie variantov testu RJ07B O administrácii variantov testu môžeme povedať, že bolo proporčné z viacerých hľadísk (územného, inštitucionálneho a rodového), čo dokladuje 0. tabuľka. 00 % pre variant 05 v riadku Cirkevné školy predstavuje jeden žiak, ako už bolo spomenuté vyššie. 0. tabuľka Podiel žiakov vo variantoch podľa kraja, zriaďovateľa, typu školy a pohlavia Kraj Zriaďovateľ Typ školy Pohlavie BA TT TN NR ZA BB PO KE Štátne školy Súkromné školy Cirkevné školy GYM SOŠ ZSŠ SOU chlapci dievčatá Variant 05 0 % % 49,% 50,9% 57,% 4,9% 47,7% 5,% 5,% 48,9% 49,% 50,9% 48,% 5,9% 49, 5, 50,5% 49,5% 49,% 50,8% 49,7% 50,% 00,, 50,4% 49,6% 50, 50, 45,6% 54,4% 47,% 5,9% 54,% 45,8% 47,4% 5,6% 6

17 . tabuľka Úspešnosť žiakov podľa variantov testu Úspešnosť Variant 05 0 N Štd.chyba Priemer priemeru 45 6,5,7 46 6,6,7 Okrem skúmania rozdielov priemerných úspešností dosiahnutých v jednotlivých variantoch (. tabuľka) nás zaujíma aj porovnanie úspešnosti každej položky podľa variantu. Po prepojení ich číslovania pokračujeme v označení prevzatom z variantu 05. Nasledujúca. tabuľka v druhom stĺpci prezentuje obťažnosť (opak úspešnosti viď Príručka) položiek variantu 05, tretí stĺpec sa vzťahuje k obťažnosti položiek variantu 0 (Obťažnosť ), štvrtý obsahuje koeficient vecnej signifikancie rozdielu porovnávaných obťažností danej položky podľa variantov.. tabuľka Percentuálna obťažnosť položiek v oboch variantoch a vecná signifikancia rozdielov Položka Vecná Obťažnosť Obťažnosť signifikancia 0, 5,6,46 8,4,6,7,7 0,4,54 0,4 0,,5 6,4 7,5,4,9,7,6 9,9 9,9,05,8,9,0 5,7 6,7,09,6 9,,088 V. tabuľke je výber položiek, ktoré mali najväčšiu vecnú signifikanciu rozdielov obťažnosti podľa variantov spomedzi všetkých 80 položiek testu. Dokazuje, že varianty testu RJ07B boli ekvivalentné, keďže len jedna položka (58 variant 05) sa preukázala rozdielnou obťažnosťou podľa variantu na úrovni strednej signifikancie. Varianty testu môžeme považovať za rovnocenné, preto sme ďalšie analýzy robili len so zástupným variantom 05.. Obťažnosť V 0. grafe názorne vidíme prudko klesajúcu škálu obťažností v časti počúvanie. Obťažnosť nižšiu ako 0 % malo položiek ( 6,, 7,,..., 8 ) a obťažnosť vyššiu ako 80 % iba jedna položka ( 7). V časti gramatika I a gramatika II klesanie obťažností bolo miernejšie, keďže ide o časť so 40 položkami. Najmenej obťažné položky tejto časti testu sú 5 a 5. Najširšiu škálu obťažnosti dosiahla časť čítanie, extrémnu obťažnosť tu dosiahla položka 79, najľahšou bola položka 6. 7

18 0. graf Grafy obťažnosti položiek v jednotlivých častiach testu RJ07B - variant 05 - počúvanie 0 Obťažnosť Úspešnosť Položka RJ07B - variant 05 - gramatika I 0 Obťažnosť Úspešnosť Položka 8

19 RJ07B - variant 05 - gramatika II 0 Obťažnosť Úspešnosť Položka RJ07B - variant 05 - čítanie 0 Obťažnosť Úspešnosť Položka 9

20 Z porovnania úspešnosti podľa typu školy (. graf, 9. a 0. tabuľka) v predchádzajúcej kapitole konštatujeme signifikantné rozdiely. Podrobnejší rozbor podľa položiek ponúka. tabuľka výberom tých položiek, ktoré dosiahli najväčšiu vecnú signifikanciu - mali miernu vecnú signifikanciu (0,0 r 0,0).. tabuľka Percentuálna obťažnosť položiek podľa typu školy a pedagogická významnosť rozdielov RJ07B - variant 05 Položka Obťažnosť Vecná Obťažnosť GYM ostatné signifikancia 78,8 9,5 -,00 6,0 80,5 -,05 7,7 88,0 -,05 4,, -,06 0,9 9, -,9 4,5 46,4 -, 5,6 74,5 -,6 50,5 7,8 -,8 5, 59,9 -,4,5 56, -,4 0, 44, -,49 5, 77, -,5 4, 68,5 -,7 8,8 58, -,88 4 položiek s miernou vecnou signifikanciou. Nasledujúca 4. tabuľka dokladuje, že aj podľa položiek sa rodové rozdiely nepreukázali. Všetky položky testu RJ07B z hľadiska porovnávania pohlaví vykazovali veľmi miernu vecnú signifikanciu. 4. tabuľka Percentuálna obťažnosť položiek podľa pohlavia a pedagogická významnosť rozdielov RJ07B - variant 05 Položka Obťažnosť Obťažnosť Vecná chlapci dievčatá signifikancia 50,,,85 5,0 9,6 -,59 7,4 54,6 -,6 prípady z 80 položiek, ktoré mali vo vecnej signifikancii najvyššiu absolútnu hodnotu..4 Reliabilita a medzipoložková korelácia Porovnanie reliability jednotlivých častí variantov testu RJ07B ukazuje 5. tabuľka. Vidíme, že pri počtoch maturantov (45 a 46) testovanie v oboch variantoch podľa ich častí bolo rovnako spoľahlivé. 5. tabuľka Reliabilita jednotlivých častí testu RJ07B Variant 05 0 Počúvanie Gramatika Čítanie Spolu,804,77,766,890,78,786,79,895 0

21 Zostupné usporiadanie položiek podľa stonásobku koeficienta P.Bis. prezentuje. graf.. graf Medzipoložková korelácia (Point Biserial) RJ07B - variant 05 - počúvanie Položka RJ07B - variant 05 - gramatika I Položka

22 RJ07B - variant 05 - gramatika II Položka RJ07B - variant 05 - čítanie Položka Odlišnú kvalitu častí gramatika I a gramatika II sme pozorovali už v predchádzajúcej analýze. Obťažnosť. Aj medzipoložková korelácia eviduje túto skutočnosť. V časti gramatika I nezaznamenávame žiadnu položku s nepriaznivým koeficientom medzipoložkovej korelácie, v časti gramatika II viac ako dve tretiny položiek má koeficient menší ako 0,0, dokonca jedna položka (59) má koeficient záporný.

23 .5 Kľúče a distraktory Táto časť položkovej analýzy sa venuje položkám s výberom odpovede. Účelom skúmania je zistiť, aká je proporcionalita voľby distraktorov a správnej odpovede a usudzovať, akí žiaci volili správnu odpoveď. V teste RJ06B pôjde o tieto skupiny položiek: -, -40, 6-67, Správna odpoveď je vyznačená žltou farbou. V hlavičke tabuľky sú uvedené možnosti odpovedí A, B, C, D. Označenie X sa vzťahuje na žiakov, ktorí neodpovedali. V prvom riadku tabuľky sú uvedené hodnoty medzipoložkovej korelácie (P.Bis.). V druhom riadku tabuľky p znamená podiel žiakov, ktorí si vybrali danú možnosť. V treťom riadku tabuľky N znamená počet žiakov, ktorí si vybrali danú možnosť. Kritériá hodnotenia položiek s výberom odpovede. Podiel žiakov, ktorí si vybrali správnu odpoveď by mal byť najväčší.. Hodnota P.Bis. pri správnej odpovede by mala byť väčšia ako 0,0 (optimálne väčšia ako 0,5).. Hodnota P.Bis. pri nesprávnej odpovede (distraktore) by mala byť záporná. Akékoľvek nedodržanie týchto kritérií zvýrazňujeme červenou alebo hnedou farbou. Červená farba identifikuje v správnej odpovedi hodnotu P.Bis. menšiu ako 0,. Hnedá farba identifikuje distraktory, ktoré majú kladnú hodnotu P.Bis.. 6. tabuľka Položky s výberom odpovede analýza distraktorov Položky č. : A0 B0 C0 D0 X0 P. Bis. -, -,6,7 -,0,06 p,00,06,9,00,00 N,00 8,00 49,00,00,00 A0 B0 C0 D0 X0 P. Bis. -,0 -,4 -,4,5 -,0 p,0,05,04,90,00 N 4,00,00 7,00 408,00,00 Var A0 B0 C0 D0 X0 P. Bis. -,06,6 -, -,0 -,7 p,0,90,04,0,00 N 5,00 404,00 8,00,00,00 A04 B04 C04 D04 X04 P. Bis. -,7 -,4 -,04, -,0 p,5,0,0,78,0 N 67,00,00 4,00 5,00 5,00 A05 B05 C05 D05 X05 P. Bis. -,0,7 -,9 -,07. p,0,96,0,00,00 N 7,00 4,00 0,00,00,00

24 A06 B06 C06 D06 X06 P. Bis.,6 -,09 -, -, -, p,8,04,06,04,0 N 68,00 8,00 9,00 0,00 5,00 A07 B07 C07 D07 X07 P. Bis. -, -,7,40 -,04 -, p,0,07,88,0,0 N 7,00,00 97,00 9,00 5,00 A08 B08 X08 P. Bis. -,9, -,4 p,0,97,0 N,00 46,00,00 A09 B09 X09 P. Bis.,4 -,40 -,0 p,96,0,00 N 45,00 4,00,00 A0 B0 X0 P. Bis.,8 -,5 -, p,9,07,0 N 46,00,00,00 A B X P. Bis. -,5,5 -,05 p,5,75,00 N,00 9,00,00 A B X P. Bis. -,,4 -,06 p,7,8,0 N 77,00 7,00,00 A B X P. Bis.,9 -,7 -,08 p,95,05,0 N 47,00,00,00 Položky č. 40: A B C D X P. Bis.,4 -, -,06 -,04. p,77,9,0,0,00 N 48,00 84,00 5,00 4,00,00 Var A B C D X P. Bis. -,4 -,09, -, -,05 p,0,4,7,,0 N,00 64,00 8,00 5,00 7,00 4

25 A B C D X P. Bis. -, -,0 -,07,,0 p,4,09,05,7,00 N 65,00 40,00,00,00,00 A4 B4 C4 D4 X4 P. Bis. -,8, -,4 -,07. p,06,77,,06,00 N 6,00 46,00 5,00 8,00,00 A5 B5 C5 D5 X5 P. Bis. -,09 -,0,6,04,0 p,0,4,,04,0 N 89,00 9,00 46,00 9,00 6,00 A6 B6 C6 D6 X6 P. Bis. -, -, -,09, -,04 p,4,0,07,67,00 N 07,00 9,00,00 0,00,00 A7 B7 C7 D7 X7 P. Bis., -,6,0 -,4,05 p,89,05,05,0,00 N 400,00,00,00 6,00,00 A8 B8 C8 D8 X8 P. Bis. -,08,7,0 -,7 -,0 p,05,55,,8,0 N,00 49,00 5,00 6,00,00 A9 B9 C9 D9 X9 P. Bis. -,6 -,07,8 -,0 -,0 p,5,0,68,04,0 N 4,00,00 07,00 6,00,00 A0 B0 C0 D0 X0 P. Bis. -,,05 -,07, -,0 p,,6,,9,0 N 44,00 9,00 48,00 0,00 0,00 A B C D X P. Bis. -,4, -,6 -,05 -,04 p,0,89,06,0,00 N 5,00 40,00 6,00 7,00,00 A B C D X P. Bis.,9 -,7 -,07 -, -,05 p,75,0,5,07,00 N 7,00,00 69,00,00,00 5

26 A B C D X P. Bis. -,6, -,,04,0 p,7,64,08,00,00 N,00 89,00 5,00,00,00 A4 B4 C4 D4 X4 P. Bis. -,6 -,,0,7 -,06 p,0,0,6,6,0 N 46,00 45,00 74,00 78,00 8,00 A5 B5 C5 D5 X5 P. Bis., -,,05 -, -,04 p,65,,4,07,00 N 95,00 59,00 64,00,00,00 A6 B6 C6 D6 X6 P. Bis.,00 -,9, -,04 -,0 p,9,07,60,0,00 N,00,00 7,00 4,00,00 A7 B7 C7 D7 X7 P. Bis. -,04,08,0 -,0 -,0 p,08,78,0,0,00 N 5,00 54,00 47,00,00,00 A8 B8 C8 D8 X8 P. Bis. -,0 -, -,0,7,00 p,4,,0,7,0 N 6,00 49,00 9,00 8,00 4,00 A9 B9 C9 D9 X9 P. Bis., -,6 -,,0,08 p,87,04,07,0,0 N 94,00 0,00 0,00 4,00,00 A40 B40 C40 D40 X40 P. Bis. -,04 -,09,4 -,,05 p,0,,7,06,00 N 44,00 48,00 0,00 8,00,00 Položky č. 6 67: A6 B6 C6 D6 E6 F6 G6 H6 I6 J6 X6 P. Bis. -,6 -,05 -,0 -,0,9 -,06 -,0,0. -,0 -,0 p,09,5,0,0,,07,00,00,00,00,06 N 9,00 7,0 6,00, ,00,00,00,00,00 5,00 A6 B6 C6 D6 E6 F6 G6 H6 I6 J6 X6 P. Bis.,0 -,05 -,08 -,4 -,0 -,0 -,0 -,0 -,0 -,0 -,9 p,69,0,0,0,0,0,00,0,00,0,06 N,0,00 5,00,00,00 47,00,00,00,00 7,00 6,00 6

27 A6 B6 C6 D6 E6 F6 G6 H6 I6 J6 X6 P. Bis. -,08 -, -,,7 -,05,00, , p,0,04,0,88,0,00,00,00,00,00,0 N,00 6,00 0,00 97,0 8,00,00,00,00,00,00 0,00 A64 B64 C64 D64 E64 F64 G64 H64 I64 J64 X64 P. Bis. -,9,08 -,0.,09 -,,08,06,06,05 -,8 p,0,6,0,00,,04,05,8,0,,05 N 4,00 6,0 5,00,00 5,00 8,00,00 8,00,00 58,00,00 A65 B65 C65 D65 E65 F65 G65 H65 I65 J65 X65 P. Bis. -,. -,05 -,0 -,7,40 -,8 -,0 -,04 -,0 -, p,00,00,08,0,0,5,8,00,0,0,04 N,00,00 8,00,00 5,00 0 6,00,00 4,00 8,00 A66 B66 C66 D66 E66 F66 G66 H66 I66 J66 X66 P. Bis. -, -,4 -,06 -,0,0 -,0,,04 -,4,05 -, p,00,04,04,0,0,04,5,,0,,4 N,00 8,00 8,00 6,00 9,00 6,00 58,00,00 54,00 6,00 A67 B67 C67 D67 E67 F67 G67 H67 I67 J67 X67 P. Bis. -,05 -,04 -,05 -,0 -,04 -,4 -, -,,0 -,07 -,9 p,06,0,0,0,0,0,04,0,74,0,04 N 5,00 8,00 4,00 4,00,00,00 7,00 4,00,00 9,00 Položky č. 68 7: Položka AA AB AC AD AE BA BB BC BD BE X Y 68 8,8, 0,4, 4,7 5,0,4,,,4 6,0 7,5 69,8 0,9,, 68,,6 0,4 0,7,0 0,9,9 6,7 70, 4,9 9,7 0,4 0,4 0,,8 59,6 0, 0,7 4,9 5,8 7 67,6,8 0,,4 0,4 0,0,6 0,7 4,7 0,0 6,9,8 7, 0, 0,,4,,4 0,9, 70,5,7 6,7 7, 7, 74,5 0,9, 0,9 0,4 5,, 0,9 0, 4,9 6,4 Medzi položkami s výberom odpovede je polovica položiek bez kritických hodnôt P.Bis. Medzi nimi máme položky veľmi ľahké (napr. 8, 9, 5,,, 0,, konfrontujte s 0. grafom), ktoré však dobre diferencovali úspešných a menej úspešných žiakov. Príkladom veľmi efektívnych položiek môžu byť: 4, 6, 7, 9,,,,, 4, 6,, 6, 65, 67 (uvedené bez kvalitatívneho usporiadania). Kritickými položkami medzipoložkovej korelácie sa ukázali: 7, 0, 4, 5, 6, 7, 64 a Citlivosť Za optimálnu citlivosť položky považujeme citlivosť percentuálnych hodnôt nad 0 %. V časti testu počúvanie tomuto intervalu nevyhovovali položky 9, 0, 8, a 5 (vymenované zostupne s klesajúcou citlivosťou), v časti gramatika položky 54, 55, 7, 9, 40, 5, 5, 5, 7 a 59, v časti čítanie len položka 79 (viď. graf). 7

28 . graf Citlivosť položiek podľa jednotlivých častí testu RJ07B - variant 05 - počúvanie p5 p9 p6 p0 p8 p4 p06 p04 p p7 p p07 p0 p0 p0 p09 p0 p08 p p05 Položka RJ07B - variant 05 - gramatika I p4 p4 p50 p46 p45 p6 p57 p p4 p48 p8 p9 p p47 p4 p4 p56 p p5 p Položka 8

29 RJ07B - variant 05 - gramatika II p60 p p44 p58 p5 p49 p8 p6 p p0 p54 p55 p7 p9 p40 p5 p5 p5 p7 p59 Položka RJ07B - variant 05 - čítanie p80 p78 p70 p68 p7 p65 p76 p75 p7 p66 p77 p6 p67 p7 p6 p69 p74 p6 p64 p79 Položka.7 Distribúcia úspešnosti a citlivosť Grafy distribúcie úspešnosti pomáhajú charakterizovať, ako v danej položke súvisí úspešnosť jej riešenia s celkovou výkonnosťou žiakov. O položke sa dozvedáme, akú má silu diferencovať. V. grafe na x-ovej osi sú žiaci rozdelení podľa celkovej úspešnosti v teste do 0 skupín. V prvej skupine () sa nachádzajú žiaci s najvyššou percentuálnou úspešnosťou riešenia testu, poslednú skupinu (0) tvoria najmenej úspešní žiaci. Y-ová os vyjadruje priemernú úspešnosť jednotlivých skupín žiakov v danej položke. Vľavo pri každom grafe je uvedená citlivosť položky. 9

30 7,78% 4,44% 5 48,89% 7,78%. graf Grafy distribúcie úspešnosti p0 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p0 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p05 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p07 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 0

31 7,% 68,89%,% 6,% 46,67% 8,89% 7,78% 6,67% p09 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p5 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín

32 45,56% 4,44% 8,89%,% 7,% 66,67% 45,56% 6,% p7 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p9 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín

33 ,% 6,67% 6,67% 7,78% 7,78% 48,89% p5 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p7 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p9 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín

34 6,67%,% 4,44% 6,67%,%,% 6,67% 4,44% p p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p5 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p7 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p9 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 4

35 5,56% 4,% 54,44% 57,78% 68,89% 8,89% 4,% 7,% p4 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p4 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p45 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p47 p % Rozdelenie na 0 skupín 5% Rozdelenie na 0 skupín 5

36 7,78% 4,44% 8,89% 7,78% 6,67%,% 7,78% 6,% p49 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p5 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p5 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p55 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 6

37 ,% 8,89% 6,67% -,%,% 46,67% 7,78% p57 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p59 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p6 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p6 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 7

38 8,89% 58,89% 5,56% 65,56% 8,89% 6 58,89% 44,44% p65 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p67 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p69 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p7 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 8

39 6,67% 7,% 4,% 7 54,44% 55,56% 46,67% 5,56% p7 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p75 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p77 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín p79 p % 5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 9

40 Z. grafu možno usudzovať, že niektoré položky veľmi dobre diferencujú žiakov. Napríklad najmenej úspešných žiakov (0. skupina) výraznejšie oddeľuje od ostatných položka 7, postupne môžeme menovať ďalšie:,, 67, 4, 40, 6, ale aj 9. Naopak, najúspešnejších žiakov výraznejšie separujú položky napr.: 5, 9, 46, 4, 57, 65, 66, 7. Príkladom optimálnej diferenciácie v celom spektre výkonov by mohli byť položky: 5, 6, 8, 4, 4, 46, 76,78, 80. Na celkovú výkonnosť žiakov sú niektoré položky, napr.:,, 5, 8, 9, 0,, 7,, 9, 5, 5 citlivé málo až nedostatočne, pretože sú pre všetkých takmer rovnako ľahké, alebo, napr.: 0, 48, 49, 79, takmer rovnako ťažké. Niektoré položky diferencujú dobre len polovicu výkonnostného spektra, skupiny 0 až 6, alebo 5 až, napr.: 4, 7,, 4, 6. Výrazne nevhodná je položka 59, ale aj 7. Hodnotenie si nerobí nárok na komplexnosť, je len príkladom, ako sa v. grafe môže čitateľ orientovať..8 Neriešenosť Najviac riešená bola časť gramatika I. Výraznejšie narastá neriešenosť až v poslednej štvrtine testu časť čítanie, ide o 5-6 položiek, pričom najvyššia hodnota neriešenosti bola 40 % - položka 79. Pozornosť treba venovať aj 7. položke v časti počúvanie. (4. graf, zostupné usporiadanie položiek podľa častí testu RJ07B). Položky 5,, 4 a 54 riešil každý žiak. Niektoré príčiny neriešenosti ilustruje 5. graf. Položky sú usporiadané podľa poradia v teste, podiel nedosiahnutosti na neriešenosti je znázornený farebne. 4. graf Položky jednotlivých častí testu usporiadané podľa neriešenosti RJ07B - variant 05 - počúvanie Položka 40

41 RJ07B - variant 05 - gramatika I Položka RJ07B - variant 05 - gramatika II Položka 4

42 RJ07B - variant 05 - čítanie Položka 5. graf Vynechanosť a nedosiahnutosť položiek v jednotlivých častiach testu RJ07B - variant 05 - počúvanie 0 Vynechanosť Nedosiahnutosť Položka 4

43 RJ07B - variant 05 - gramatika I 0 Vynechanosť Nedosiahnutosť Položka RJ07B - variant 05 - gramatika II 0 Vynechanosť Nedosiahnutosť Položka 4

44 RJ07B - variant 05 - čítanie 0 Vynechanosť Nedosiahnutosť Položka 44

45 .9 Súhrnné charakteristiky položiek V nasledujúcej 7. tabuľke uvádzame súhrnné charakteristiky jednotlivých položiek v teste. Kritická obťažnosť v druhom stĺpci je vyznačená farebne, v poslednom stĺpci (stonásobok koeficientu P.Bis.) sme tiež farebne zvýraznili položky, ktoré sme identifikovali ako problematické z hľadiska medzipoložkovej korelácie. Červenou farbou sme zvýraznili položky, ktoré mali záporný P.Bis. Tmavooranžovou farbou sme zvýraznili položky, ktoré mali hodnotu korelácie so zvyškom testu 5<P.Bis.<0. Svetlooranžovou farbou sme zvýraznili položky, ktoré mali hodnotu korelácie so zvyškom testu 0<P.Bis.<5. Žltou farbou sme zvýraznili položky, ktoré mali hodnotu korelácie so zvyškom testu 5<P.Bis.<0. 7. tabuľka Súhrnné charakteristiky položiek RJ07B - variant 05 a Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Korelácia medzi položkou a zvyškom testu (Point Biserial) 7, 0,0,00,, 6,8 9,5 7,8,00,, 4,7 0,4 0,0,00,44,44 6, 4,7 48,9,00,,,9 5 4,0 0,0,00,00,00 7, 6 8,4 50,0,00,, 6, 7,0 7,8,00,, 9,5 8, 4,4,00,67,67, 9,5 7,8,00,44,44 4,5 0 7,8 6,7,00,67,67 8, 4,8 46,7,00,, 5,4 7,7 8,9,00,67,67 4, 5,,,00,67,67 8,8 4 7,9 6,,44 9,5 9,98 9,8 5 5,7 7,,44,97,4 5,7 6 40,6 68,9,67 8,4 9,09 49, 7 8, 45,6,67,6,8,9 8 6,4 6,, 5,54 6,87 47, 9,7 7,,55,77 5, 5, 0 4,4 66,7,55,77 5, 50,5 a. Časti testu = Počúvanie Najviac kritických položiek z hľadiska veľmi nízkej obťažnosti je v časti počúvanie. Je to sedem položiek:,, 5, 8, 9, 0,. Spomedzi týchto dve nedosiahli dostatočnú hodnotu P.Bis., položky 5 a. 45

46 Charakteristiky položiek: RJ07B - variant 05 a a. Korelácia medzi položkou a Nedosiahnutos zvyškom testu Položka Obťažnosť Citlivosť ť Vynechanosť Neriešenosť (Point Biserial),8 8,9,00,00,00,7 Časti testu = Gramatika 9,5,,00,55,55 0,6 8,6 45,6,00,,,6 4, 4,4,00,00,00,6 5 67,6 7,8,00,, 6, 6,0 48,9,00,44,44 0,5 7, 6,7,00,,,9 8 44,8 7,8,00,67,67 7, 9,9 6,7,00,67,67 8,5 0 7, 0,0,00,,,, 0,0,00,44,44, 5,,,00,44,44 9,0 5,9 6,7,00,44,44 0,8 4 8,4 4,4,00,77,77 7,4 5 4,6,,00,,,0 6 9,9,,00,44,44,5 7,5 4,4,00,44,44 8,0 8 7, 6,7,00,89,89 7,4 9,6 6,7,00,67,67,8 40 6,8,,00,,,7 4,9 4,,00,,, 4 46, 7,,00,67,67 50,9 4 49,9 68,9,00,89,89 50, 44 78, 8,9,00,77,77, 45 64, 54,4,00,, 4, 46 65, 57,8,00,, 7, , 5,6,00,,,7 48 8,4 4,,00,0,0 9, ,9 7,8,00,99,99, 50 57,4 6,,00,44,44 44, 5 5, 6,7,00,, 6,0 5 8,4,,00,44,44 0,5 5, 8,9,00,,, 54,8 7,8,00,00,00,9 55 7, 7,8,00,44,44 0,0 56 8,4 4,4,,,44 8, ,8 46,7,,89,,9 58 0, 7,8,,44,67,8 59 0,8 -,,67,00,67-8, 60 7,5,,67,44, 6,0 V časti gramatika len dve položky mali obťažnosť nižšiu ako 0 %: položka 5 a 5. Citlivosť pod hranicou 0 % mali štyri položky: 7, 5, 5 a 59. Viaceré položky dosiahli nevyhovujúce až kritické hodnoty P.Bis., najzávažnejšie položka 59, 5 a 7. 46

47 RJ07B - variant 05 a Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Korelácia medzi položkou a zvyškom testu (Point Biserial) 6 76,7 8,9,00 5,54 5,54 9,0 6 0,8 6,7,00 5,76 5,76 0,0 6,0 0,0,00,, 7, ,,,00 5,0 5,0 8, ,0 58,9,00,99,99 9, ,4 44,4,00,97,97 0,9 67 6,4 8,9,00 4, 4, 0, ,0 60,0, 5,76 5,99 7, 69,9 5,6,,66,88 4, ,4 65,6, 4,66 4,88 47,9 7,4 8,9, 6,65 6,87,0 7 9,5 58,9, 6,4 6,65 5, 7 5,5 46,7, 4,66 4,88 45,0 74 6,4 5,6,44,89, 7,9 75, 54,4,77,66 6,4, , 55,6 5,76 4,88 0,64 6, , 4, 9,09 7,54 6,6 5, ,4 70,0,0 8,85,04 4, 79 94,7 6,7,5 5,94 9,47, 80 46, 7,,5, 4,6 8,7 a. Časti testu = Čítanie Extrémne obťažná sa v celom teste ukázala jedna položka (79). Ďalšie charakteristiky tejto položky súvisia s touto vysokou obťažnosťou. Nízky P.Bis. vykazuje aj položka 64. Upravenie bodovania sme navrhli pre položky : 0 distraktor B pomýlil dobrých žiakov, distraktor A volilo viac žiakov ako správnu odpoveď, položka má nízku medzipoložkovú koreláciu nesprávne rozlišovala žiakov, za správne odpovede boli považované viac distraktory A, B, D, 58 zistili sme rozdiel v zadaní správnej odpovede podľa variantov testov, 59 položka nesprávne rozlišovala výkonnosť žiakov, 64 - položka nesprávne rozlišovala výkonnosť žiakov, 79 položka bola extrémne obťažná. Vzhľadom na výsledky položkovej analýzy po dohode s koordinátorkou tvorby testu RJ07B bolo upravené bodovanie položiek 58, 59, 64 a 79. Každému žiakovi v týchto položkách bol pridelený jeden bod. 47

48 6. graf Súhrnné charakteristiky položiek testu RJ07B - variant 05 Citlivosť 75,0 50,0 5,0 0,0 Počúvanie Gramatika Citlivosť 75,0 50,0 5,0 64 Čítanie Obťažnosť, 49,0 94,7 Typ položky výber odpovede krátka odpoveď 0,0 0,0 5,0 50,0 Korelácia medzi položkou a zvyškom testu (Point Biserial) 48

49 Záver Priemerná úspešnosť v maturitnom teste z ruského jazyka úroveň B externej časti MS 007 bola 66, %. Zapojenie žiakov podľa kraja, typu školy a ďalších hľadísk podrobne uvádza prvá kapitola. Najlepšiu priemernú úspešnosť podľa krajov dosiahli žiaci Prešovského kraja. Podľa typu školy výrazne najlepší bol priemerný výkon gymnazistov. Rodové rozdiely v úspešnosti sa nepreukázali. V záujme obhájenia externej formy maturitnej skúšky pre danú generáciu a do budúcnosti, je vždy potrebné overiť kvalitu testu a identifikovať prípadné nedostatky. Na základe analýzy početnosti žiakov - podľa krajov, zriaďovateľa, typu školy a pohlavia - v oboch variantoch, obťažnosťou položiek vo variantoch, reliability podľa variantov, usudzujeme, že varianty testu RJ07B sú ekvivalentné. Reliabilita testu pred úpravou bodovania bola vysoká. Cronbachovo α = 0,89 potvrdzuje vysokú presnosť merania. Aj ďalšie parametre testu svedčia o dostatočnej rozlišovacej sile testu. Presnejšie o kvalite testu však vypovedá kvalita jednotlivých položiek: obťažnosť, citlivosť, neriešenosť a predovšetkým medzipoložková korelácia. Overeniu týchto parametrov sa venovala časť Položková analýza. Táto poukázala na neštandardné vybočenia v štyroch položkách z 80, ktoré boli navrhnuté na úpravu bodovania. Bodovanie zvyšných položiek ostalo nezmenené. Reliabilita takto upraveného testu sa nezmenila, Cronbachovo α = 0,89. Pre tvorcov si dovoľujeme navrhnúť v budúcnosti obohatiť test z ruského jazyka úroveň B položkami s obťažnosťou medzi % na úkor ľahkých položiek s obťažnosťou pod 0 % tak, aby výskyt týchto dvoch skupín bol proporčný, najmä v časti počúvanie. Možno konštatovať, že tvorba testu z ruského jazyka má v priebehu troch rokov vzrastajúcu kvalitu, v tomto roku bolo upravené bodovanie iba štyrom položkám z celkového počtu osemdesiat. 49

50 Literatúra. Burjan, V.: Tvorba a využívanie školských testov vo vzdelávacom procese. Exam : Bratislava Hendl, J.: Přehled statistických metod zpracování dát. Portál : Praha Grošeková, M. : Jazykové skúšky a štandardizované testy. časť. In: Bulletin SAIA Slovenská akademická informačná agentúra, Informačný mesačník o štúdiu v zahraničí č. 9, ročník XIV, september ( ) 4. Kolektív: Standardy pro pedagogické a psychologické testování. Testcentrum : Praha Lapitka, M.: Tvorba a použitie didaktických testov. ŠPÚ : Bratislava Ritomský, A. - Zelmanová, O.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní položková a multivariačná analýza s využitím systému SPSS. ŠPÚ : Bratislava Ritomský, A. - Zelmanová, O. - Zelman, J.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní s využitím systému SPSS. ŠPÚ : Bratislava Sklenárová, I. - Zelmanová, O.: Metodika spracovania dát z maturity 005 v systéme SPSS. ŠPÚ : Bratislava SPSS Base 0.0 User`s Guide. by SPSS Inc. : Chicago SPSS Base 7.0 Syntax Reference Guide. by SPSS Inc.: Chicago Turek, I.: Učiteľ a pedagogický výskum. Metodické centrum : Bratislava 998. Wimmer, G.: Štatistické metódy v pedagogickom výskume. Gaudeamus : Hradec Králové 99. URL: ( ) 50

51 5 Príloha A Prepojenie variantov testu

52 Príloha B Kľúč správnych odpovedí pre položky s výberom odpovede v teste z ruského jazyka riadny termín Číslo úlohy Úroveň B test 05 test 0 0 C B 0 D C 0 B D 04 D A 05 B C 06 A D 07 C B 08 B B 09 A B 0 A A B A B A A B A C C A D B 4 B D 5 C A 6 D B 7 A D 8 B C 9 C A 0 D B B C A D B A 4 D B 5 A D 6 C C 7 B A 8 D B 9 A C 40 C D 6 E B 6 A D 6 D C 64 B A 65 F E 66 G I 67 I G 68 B - a A - e 69 A - e B - a 70 B - c A - b 7 A - a B - d 7 B - d A - a 7 A - b B - c 5

53 Kľúč správnych odpovedí pre položky s krátkou odpoveďou v teste z ruského jazyka riadny termín Číslo úlohy Úroveň B test 05 test 0 4 «Звёзды белых ночей» «Звёзды белых ночей» 5 последний аккорд последний аккорд 6 две недели две недели 7 обоих обоих 8 недавние недавние 9 последний последний 0 надолго надолго 4 стала стала 4 акцией акцией 4 Словакией Словакией 44 период период 45 деятельностью деятельностью 46 связи связи 47 учреждениями учреждениями 48 заитересованными заитересованными 49 выросло выросло 50 участии участии 5 великого великого 5 трудно трудно 5 года года 54 раннего раннего 55 старинной старинной 56 песен песен 57 исток исток 58 прогуливал прогуливал 59 последние последние 60 благодаря благодаря 74 духовной грамоте синим 75 «алхимическую» яркий и выразительный 76 XVIII /8 духовной грамоте 77 синим «алхимическую» 78 яркий и выразительный XVIII /8 79 многоцветными/разноцветны фигурки ми 80 фигурки многоцветными/ разноцветными 5

54 Príloha C MATURITA 007 EXTERNÁ ČASŤ RUSKÝ JAZYK úroveň B kód testu: 05 NEOTVÁRAJTE, POČKAJTE NA POKYN! PREČÍTAJTE SI NAJPRV POKYNY K TESTU! Test obsahuje 80 úloh. Na vypracovanie testu budete mať 0 minút. V teste sa stretnete s dvoma typmi úloh: pri úlohách s výberom odpovede vyberte správnu odpoveď spomedzi niekoľkých ponúkaných možností, z ktorých je vždy správna iba jedna. Správnu odpoveď zaznačte krížikom do príslušného políčka odpoveďového hárka označeného piktogramom. pri úlohách s krátkou odpoveďou, ktorú tvorí jedno či niekoľko slov, píšte do príslušného poľa odpoveďového hárka označeného piktogramom. Na začiatku každej časti testu sa z inštrukcií dozviete, ktorý odpoveďový hárok máte použiť. Pri práci smiete používať iba pero s čiernou alebo modrou náplňou. Nesmiete používať zošity, slovníky, učebnice ani inú literatúru. Poznámky si robte na pomocný papier. Na obsah pomocného papiera sa pri hodnotení neprihliada. Píšte čitateľne. Pri použití tlačeného písma rozlišujte veľké a malé písmená. Podrobnejšie pokyny na vyplňovanie odpoveďového hárka sú na poslednej strane testu. Prečítajte si ich. Pracujte rýchlo, ale sústreďte sa. Želáme vám veľa úspechov! Začnite pracovať, až keď dostanete pokyn! 54

55 I раздел АУДИРОВАНИЕ (0 баллов) Táto časť testu sa skladá z troch nahrávok. Každú nahrávku budete počuť dvakrát. Počas počúvania nahrávky odpovedajte na otázky prislúchajúce k jednotlivým nahrávkam. Sledujte inštrukcie a piktogramy, aby ste vedeli, na ktorý odpoveďový hárok máte vyznačovať svoje odpovede. Teraz si pripravte odpoveďový hárok označený piktogramom. часть Потомки Ганнибала (7 баллов) Vypočujte si rozprávanie o žijúcich potomkoch Abrama Hannibala, arapa ruského cára Petra Veľkého. Na základe vypočutého vyberte správnu odpoveď. Vždy je správna iba jedna z ponúkaných možností. Svoje odpovede vyznačte na odpoveďovom hárku označenom piktogramom. Teraz máte dve minúty na prečítanie úloh В современной Суйде живёт. (A) (B) 700 потомков Ганнибала 600 потомков Ганнибала (C) 500 потомков Ганнибала (D) 800 потомков Ганнибала 0 О своём родстве с Ганнибалом жители Суйды. (A) не вспоминают (B) (C) вспоминают часто вспоминают ежедневно (D) вспоминают изредка 0 В Суйде открыли музей Абрама Ганнибала. (A) крепостника Петра I (B) крестника Петра I (C) крестьянина Петра I (D) родственника Петра I 04 Основателем музея Ганнибала стал. (A) (B) Сергей Гулаков Алексей Смулаков (C) Андрей Гумилёв (D) Андрей Бурлаков 55

56 05 Прадед Пушкина обожал. (A) (B) матрёшку картошку (C) бабушку (D) Наташку 06 До Ганнибала картофель считали. (A) (B) ядовитым совсем диким (C) полезным (D) лекарственным растением 07 Арина Родионовна знала, как. (A) (B) наказать поэта рассердить Пушкина (C) притащить будущего поэта домой (D) вызвать его гнев 56

57 часть (6 баллов) Vypočujte si rozhovor novinára s Michailom Filipčukom, ktorý sa stal slávnym už ako malý chlapec. Na základe vypočutého rozhodnite o každom tvrdení 08 či je pravdivé (A) alebo nepravdivé (B). Svoje odpovede vyznačte na odpoveďovom hárku označenom piktogramom. Teraz máte dve minúty na prečítanie tvrdení Миша прославился в фильме уже в пять лет. (A) верно (B) неверно 09 В 6 лет он хочет окончить школу на отлично. (A) верно (B) неверно 0 В Голливуде он получил детского «Оскара». (A) верно (B) неверно Он мечтает о карьере актёра. (A) верно (B) неверно Миша считает, что профессия актёра стабильна. (A) верно (B) неверно Миша регулярно занимается физикой и математикой. (A) верно (B) неверно 57

58 Teraz si pripravte odpoveďový hárok označený piktogramom. часть Летний фестиваль в Петербурге (7 баллов) Vypočujte si televíznu upútavku pozvánku na návštevu letného festivalu v Sankt-Peterburgu. Na základe vypočutého doplňte chýbajúce slová v úlohách 4 0. V odpovedi použite jedno, dve alebo tri slová. Svoje odpovede napíšte na odpoveďový hárok označený piktogramom. Teraz máte dve minúty na prečítanie viet. В этом году в Санкт-Петербурге открывается летний фестиваль Художественный руководитель фестиваля позаботится о том, чтобы 5 5 сезона потряс воображение публики. Программа рассчитана на 6 6. Множество спектаклей и концертов состоится в Мариинском театре, Эрмитажном зале и в 7 залах филармонии. В рамках фестиваля будут показаны 8 оперные премьеры. А главная премьера «Лоэнгрин» запланирована на 9 день фестиваля. Этот аккорд публика должна запомнить 0. Test pokračuje na ďalšej strane 58

59 II раздел КУЛЬТУРОЛОГИЯ, ГРАММАТИКА И ЛЕКСИКА (40 баллов) Táto časť testu sa skladá z troch textov. Prvý je zameraný na gramatiku a ďalšie dva na lexiku. Jej vypracovaniu by ste mali venovať cca 45 minút. Odpovede na otázky k. textu vyznačte v odpoveďovom hárku označenom piktogramom. Odpovede na otázky k. a. textu napíšte do odpoveďového hárka označeného piktogramom. часть Шахматы (0 баллов) V nasledujúcom texte sú na viacerých miestach 40 vynechané slová. Zo štyroch ponúknutých variantov (A), (B), (C) a (D) vyberte správny variant a doplňte ho na vynechané miesto v texte. Odpovede vyznačte v odpoveďovom hárku označenom piktogramom. Шахматы по это вид единоборства, который противники могут, находясь друг от друга на расстояниях, измеряемых подчас тысячами километров. Массовая игра по переписке возможна 4 установления регулярной внутригосударственной и международной почтовой связи, а сравнительно широкое 5 6 получила уже в конце 8-го 7. Шахматные правила в игре по переписке 8 не отличаются от обычных. Вот только на обдумывание каждого 9 играющему даётся три дня. Бывает так, что свой очередной ход шахматист 0 раньше срока, скажем, в тот же день, когда он письмо ходом соперника. В этом случае два 4 «сэкономленными» и могут быть использованы при обдумывании любого из последующих ходов этой 5. В различных шахматных состязаниях по переписке ежегодно участвуют десятки 6 человек. Например, только в 7 Одесской области их число 8 7 тысяч. Существует и Международная федерация шахматистов, играющих по переписке, созданная уже в Она объединяет в своих рядах представителей 6-х 40 мира. 59

60 (A) переписке (B) записке (C) списку (D) записи (A) ввести (B) везти (C) вести (D) увезти (A) устала (B) отстала (C) встала (D) стала 4 (A) в (B) после (C) по (D) об 5 (A) устранение (B) увлечение (C) распространение (D) терпение 6 (A) её (B) ею (C) ей (D) она 7 (A) века (B) веку (C) веке (D) веком 8 (A) ни о чём (B) ничем (C) ни с чем (D) ничего 9 (A) перехода (B) ухода (C) хода (D) подхода 0 (A) справляет (B) отходит (C) отводит (D) отправляет (A) разлучил (B) получил (C) отлучил (D) отличил (A) с (B) без (C) от (D) со (A) дни (B) дня (C) дней (D) днях 4 (A) рассчитаются (B) отчитаются (C) сосчитаются (D) считаются 5 (A) партии (B) страны (C) команды (D) компании 6 (A) тысячей (B) тысячах (C) тысяч (D) тысячам 7 (A) единой (B) одной (C) единственной (D) единичной 8 (A) возвышает (B) возвышается (C) навязывает (D) превышает 9 (A) году (B) годе (C) года (D) годом 40 (A) команд (B) партий (C) стран (D) компаний 60