Analýza úspešnosti, položiek a variantov testu z ruského jazyka JB 006 Externá časť maturitnej skúšky Ervin Šťava ŠPÚ Bratislava 006
ÚVOD.... Základné informácie o externej časti MS z ruského jazyka...4 METÓDY... 5. Metódy spracovania dát...5. Postup výpočtu úspešnosti a percentilu žiaka v teste EČ MS z cudzieho jazyka...6. Testovaní žiaci...8 VÝSLEDKY.... Výsledky testu z ruského jazyka EČ MS JB 68..... Všeobecné výsledky..... Analýza rozdielov vo výsledkoch...4.. ozdiely podľa typu škôl...4..4 ozdiely podľa krajov...6..5 ozdiely podľa zriaďovateľa...8..6 ozdiely podľa pohlavia...9..7 ozdiely podľa známky...0. Položková analýza..... Psychometrické charakteristiky testu..... Porovnanie variantov 68 a 84 z ruského jazyka..... Obťažnosť a úspešnosť...6..4 eliabilita a medzipoložková korelácia.....5 Kľúče a distraktory...5..6 Citlivosť...4..7 Distribúcia úspešnosti a citlivosť...4..8 Neriešenosť...54. Súhrnné charakteristiky položiek...58 4 ZÁVEY... 6 LITEATÚA... 64 PÍLOHA... 65 Slovník základných pojmov...65 Navzájom zodpovedajúce položky vo variantoch...67 TEST JB 006...Chyba! Záložka nie je definovaná. EČ MS 006 uský jazyk úroveň B
Úvod V dňoch 4. 7. apríla 006 sa konala externá časť maturitnej skúšky (ďalej EČ MS) v predmetoch matematika, anglický jazyk, francúzsky jazyk, nemecký jazyk, ruský jazyk, španielsky jazyk a taliansky jazyk. Cieľom externej časti maturitnej skúšky je priniesť porovnateľné výsledky pre žiakov z celého Slovenska. V úvodnej časti správy uvádzame východiská testovania základné informácie o priebehu EČ MS, testovacích nástrojoch a metódach spracovania dát. Túto časť správy uzatvárajú údaje o počte testovaných žiakov, zúčastnených škôl. Výsledky testu sú prezentované prostredníctvom základných štatistických charakteristík testu, distribúcie úspešnosti žiakov, pričom výsledky sú spracované podľa vybraných triediacich znakov. Zainteresovaných čitateľov (tvorcov testu, učiteľov, výskumných pedagogických pracovníkov) budú zaujímať bližšie charakteristiky testu, položková analýza. Táto ďalšia časť spracovaných výsledkov vypovedá o reliabilite (spoľahlivosti) testu, o homogénnosti položiek, o ich úspešnosti, citlivosti a neriešenosti. Súhrnné vyhodnotenie položiek testu poskytuje prehľad vlastností jednotlivých položiek. Informácie, ktoré správa prináša sú určené tvorcom testov a didaktikom jednotlivých predmetov. Závery a odporúčania vyplývajúce zo štatistických zistení sú smerované k skvalitneniu tvorby meracích nástrojov. Prinášajú možnosti ďalších postupov pri overovaní meracích nástrojov, návrhy na možné spracovanie výsledkov v nasledujúcich testovaniach. Veríme, že zistenia budú podnetné a pozitívne ovplyvnia tvorbu maturitných testov a vyhodnocovanie úspešnosti žiakov v budúcich rokoch. Boli by sme radi, keby externá maturitná skúška si získala dôveru a kredit nielen v rámci Slovenska ale aj Európskej únie. EČ MS 006 uský jazyk úroveň B
. Základné informácie o externej časti MS z ruského jazyka Pre EČ MS v predmete ruský jazyk boli pripravené testy dvoch úrovní. Žiaci si mohli vybrať, či budú písať test vyššej úrovne A (test JA), alebo základnej úrovne B (test JB). Žiaci, ktorí boli pripravovaní na maturitnú skúšku v predmete ruský jazyk s vyššou hodinovou dotáciou si mohli zvoliť úroveň A. Úroveň B bola určená žiakom pripravujúcim sa na maturitnú skúšku v prípade, že ich rozsah prípravy zodpovedal nižšej hodinovej dotácii, túto úroveň si však mohli vybrať aj žiaci, ktorí mali vyššiu hodinovú dotáciu. Maturitná skúška úrovne A je odporúčaná maturantom všetkých typov stredných škôl so študijnými odbormi, ktorí súčasne spĺňajú tieto tri podmienky:. pripravujú sa na maturitnú skúšku z cudzieho jazyka,. počas svojho štúdia dosiahli úroveň pokročilého (upper-intermediate, Mittelstufe,...).. v budúcnosti plánujú aktívne používať cudzí jazyk v ďalšom štúdiu a v povolaní. Obsahom a úrovňou náročnosti zodpovedá test úrovni B Spoločného európskeho referenčného rámca ady Európy. Maturitná skúška úrovne B je odporúčaná maturantom všetkých typov stredných škôl so študijnými odbormi, ktorí súčasne spĺňajú tieto tri podmienky:. pripravujú sa na maturitnú skúšku z cudzieho jazyka,. počas svojho štúdia dosiahli úroveň stredne pokročilého (intermediate, Grundstufe,...).. v budúcnosti neplánujú aktívne používať cudzí jazyk. Obsahom a úrovňou náročnosti zodpovedá test úrovni B Spoločného európskeho referenčného rámca ady Európy. Každá úloha testu musí korešpondovať s cieľovými požiadavkami na vedomosti a zručnosti maturantov z cudzieho jazyka pre príslušnú úroveň. Obsahová štruktúra testov EČ:. časť: Počúvanie s porozumením v tejto časti majú žiaci preukázať, ako porozumeli základným informáciám a riešiť úlohy, ako je určenie správnosti či nesprávnosti výpovede, výber z viacerých možností a doplňovanie chýbajúcich informácií.. časť: Gramatika a lexika testujú sa tu znalosti gramatických štruktúr a slovnej zásoby a ich správne použitie v kontexte. Žiaci majú do textových ukážok dopĺňať adekvátne gramatické tvary na základe výberu z viacerých možností.. časť: Čítanie s porozumením cieľom tejto časti je zistiť ako žiaci porozumeli obsahu textu, či pochopili jeho hlavné myšlienky, základné súvislosti a vyriešili úlohy doplňovacieho typu, výberu z viacerých možností, resp. určenie správnosti alebo nesprávnosti výpovede. V predmete ruský jazyk bol vypracovaný test základnej úrovne JB, ktorý obsahoval 80 úloh: 46 úloh s výberom odpovede, 4 úloh s krátkou odpoveďou. Za správnu odpoveď získal žiak bod, za nesprávnu (alebo ak neodpovedal) 0 bodov. Test bol vypracovaný s prihliadnutím na hodinovú dotáciu v predmete ruský jazyk. Boli vytvorené dva varianty testu (68, 84), ktoré sa líšili poradím úloh, resp. pri úlohách s výberom odpovede poradím alternatív odpovede. V tabuľke č. sme uviedli poradové čísla testových položiek podľa typu v jednotlivých častiach testu.. tabuľka ozdelenie položiek v teste cudzích jazykov EČ MS Časti testu Položky s výberom odpovede s krátkou odpoveďou Počúvanie - 4-0 Gramatika - 40 4-60 Čítanie 6-7 74-80 Na vypracovanie testu externej časti mali žiaci 0 minút. Odpovede testov EČ MS zapisovali žiaci do odpoveďových hárkov, ktoré boli následne skenované. Oprava otvorených úloh s krátkou odpoveďou v týchto testoch bola vykonávaná pod externým dozorom podľa centrálne vypracovaných pokynov. 4 EČ MS 006 uský jazyk úroveň B
Metódy. Metódy spracovania dát iešenia úloh testu EČ žiaci zapisovali do samoprepisovacích odpoveďových hárkov. Originál bol zaslaný na centrálne spracovanie, kópia zostala v škole. Hodnotenie úloh s krátkou odpoveďou, ktoré boli súčasťou testov EČ (okrem matematiky), sa uskutočnilo podľa centrálnych vypracovaných pokynov ihneď po skončení administrácie. Predsedovia PMK kontrolovali hodnotenie a zodpovedali za jeho správnosť. Po hodnotení testov EČ školy zaslali originály odpoveďových hárkov na centrálne spracovanie. Odpoveďové hárky boli zoskenované a takto získané dáta boli ďalej elektronicky spracované. Po spracovaní odpoveďových hárkov sme v rámci kontroly kvality dát vykonali procedúry súvisiace s jednotlivými premennými: kontrola úplnosti naskenovania dát, kontrola kódu školy, kontrola označenia variantov testu (kódov testov), kontrola kódu žiaka a jeho duplicitnosti v databáze, kontrola chýbajúceho označenia pohlavia žiaka, kontrola prepojenia kódu a pohlavia žiaka, kontrola chýbajúceho uvedenia známky žiaka, kontrola bodovania, kontrola správnosti kľúčov odpovedí. Cieľom uvedených kontrolných procedúr bolo vyčistiť dáta, zvýšiť ich validitu a prispieť k zvýšenej hodnovernosti a reliabilite spracovaných výsledkov. Výsledky prvej fázy spracovania dát sme sumarizovali vo forme kontrolných protokolov pre jednotlivé testy, ktoré umožňujú kedykoľvek verifikovať proces spracovania dát. Po kontrole dát z externej časti maturitnej skúšky 006 sme zistili chyby, ktoré sme následne odstránili: V cudzích jazykoch sme odhalili rozdiel medzi primárnym bodovaním spoločnosti, ktorá skenovala údaje do databázy a bodovaním realizovaným v rámci kontroly dát. ozdiely sme zistili v predmetoch taliansky jazyk úroveň A - 5 testových položiek, taliansky jazyk úroveň B - 6 testových položiek, španielsky jazyk úroveň B - testové položky, francúzsky jazyk úroveň A testová položka. Výsledky boli vyhodnotené v štatistickom systéme SPSS.00. Na spracovanie výsledkov maturitnej skúšky a položkovej analýzy testov boli použité metódy štatistickej deskripcie, inferencie a vecná signifikancia rozdielov. V deskriptívnych častiach boli použité absolútne a relatívne početnosti, priemer, štandardná odchýlka, štandardná chyba priemeru, intervaly spoľahlivosti, pedagogické ukazovatele - štandardná chyba merania. Ich opis uvádzame v prílohe. Štatistická inferencia spočívala v aplikácií t-testov a analýze rozptylu ANOVA. Vecná signifikancia rozdielov bola overovaná zodpovedajúcimi korelačnými mierami. Pre výpočet reliability testov bol použitý vzorec K-0, pretože všetky úlohy boli hodnotené binárne (0-). Kód žiaka obsahuje rodné číslo žiaka. Databáza však neobsahovala meno a priezvisko žiaka. Klasifikačný stupeň žiaka v. polroku 4. ročníka z predmetu, v rámci ktorého písal test externej časti maturitnej skúšky 006. V tejto fáze spracovania sme predišli reklamácii výsledkov u 76 žiakov. EČ MS 006 uský jazyk úroveň B 5
. Postup výpočtu úspešnosti a percentilu žiaka v teste EČ MS z cudzieho jazyka Postup výpočtu celkovej úspešnosti žiakov v testoch EČ MS z anglického, francúzskeho, nemeckého, ruského, španielskeho a talianskeho jazyka sa v školskom roku 005/006 mení. Celková úspešnosť žiaka v teste z cudzieho jazyka sa skladá z čiastkových výsledkov žiaka v troch častiach testu. Celkový výsledok žiaka v teste je vypočítaný zložením výsledkov jednotlivých častí testu tak, aby každá časť prispievala k výsledku žiaka rovnakou váhou. Hodnotenie výkonu žiakov v testoch EČ MS vyjadrujeme celkovou úspešnosťou žiaka v percentách a tiež percentilom poradím žiaka v testovanej populácii. Testy EČ MS z cudzích jazykov aktuálne obsahujú tri časti:. počúvanie s porozumením,. gramatiku a lexiku a. čítanie s porozumením. Každá z týchto častí meria inú charakteristiku (vedomosť, zručnosť) žiaka. Test, ktorý meria istú črtu žiaka založenú na teoretickom modeli, by mal byť podľa teórie merania konzistentným celkom (prípadne zložený z konzistentných celkov). Tým prispievame k zabezpečeniu validity meraného konštruktu. To, či meriame jednu alebo viac charakteristík žiaka (jeden alebo viac konštruktov), určuje spôsob ďalšieho spracovania a interpretácie výsledkov. Ak predpokladáme, že zručnosť žiakov počúvať s porozumením, správne používať gramatické javy a slovnú zásobu a čítať s porozumením v cudzom jazyku, sú tri rozdielne charakteristiky žiaka, potom tieto časti musíme chápať ako samostatné celky, pre ktoré je nutné zvlášť počítať výsledky a sledovať reliabilitu (spoľahlivosť merania) 4. Výsledné hodnotenie testu potom získame zložením výsledkov jednotlivých častí. Pri určovaní postupu výpočtu celkovej úspešnosti žiaka sme prihliadali na svetové trendy, ktoré kladú dôraz na schopnosť aktívne používať jazyk. Celkovú úspešnosť v teste preto počítame jednoduchým priemerom úspešností žiaka v troch častiach testu, aby sa jednotlivé časti podieľali na celkovej úspešnosti žiaka rovnakou váhou 5. Testy z cudzích jazykov sú zložené z troch častí: počúvanie s porozumením, gramatika a lexika a čítanie s porozumením. Počet testových položiek v jednotlivých častiach je 0 : 40 : 0. Výpočet celkovej úspešnosti žiaka v teste EČ MS z cudzích jazykov je nasledovný: Správna odpoveď žiaka v každej z položiek v každej časti testu je hodnotená bodom. Nesprávna alebo žiadna odpoveď je hodnotená 0 bodmi. K dosiahnutým bodovým hodnotám v každej časti testu sa vypočíta úspešnosť v percentách. Úspešnosť v jednotlivých častiach testu sa počíta podľa nasledujúcich vzorcov: počet správnych odpovedí Počúvanie s porozumením: Ú p = --------------------------------------- x 00 0 4 ovnaké postupy používajú testovacie inštitúcie v zahraničí. Uvádzame príklad spôsobu spracovania výsledkov testov v Č: Štatistické charakteristiky sa zisťujú z celkových výsledkov uchádzačov, pokiaľ sa však písomná časť skúšky skladala z viacerých častí (napr. testy z rôznych predmetov, testovanie rôznych zručností, testy v niekoľkých kolách), alebo mala niekoľko variantov, je nutné pracovať s výsledkami uchádzačov za každú časť zvlášť. http://www.scio.cz/tvorba_testu/hodnoceni_kvality/zakl_stat.htm. 5 Podobne je počítaný výsledok v skúške TOEFL (TEST OF ENGLISH AS A FOEIGN LANGUAGE): Pri papierovej forme TOEFL testu je možné dosiahnuť výsledok maximálne 677 bodov a minimálne 0. Výsledok pozostáva zo sčítania dosiahnutých bodov z častí počúvanie, jazyková skladba a čítanie a ich následného vynásobenia desiatimi a delením tromi (maximálny počet bodov získaných v jednej časti je 68 a minimálny ). (Jazykové skúšky a štandardizované testy. časť: In: Bulletin SAIA Slovenská akademická informačná agentúra, Informačný mesačník o štúdiu v zahraničí č. 9, ročník XIV, september 004.) 6 EČ MS 006 uský jazyk úroveň B
počet správnych odpovedí Gramatika a lexika: Ú g = --------------------------------------- x 00 40 počet správnych odpovedí Čítanie s porozumením: Ú č = --------------------------------------- x 00 0 Váha jednotlivých častí na celkovej úspešnosti žiaka je : :. 6 Pri výpočte jednoduchého aritmetického priemeru sa používa vzorec: Ú p + Ú g + Ú č Ú = ---------------------------------------- Celkovú úspešnosť žiaka zaokrúhľujeme na jedno desatinné miesto. Príklad: Ak žiak X správne odpovedal na 9 položiek v časti počúvanie s porozumením, na 8 položiek v časti gramatika a lexika a na 9 položiek v časti čítanie s porozumením, jeho úspešnosť počítame nasledovne:. tabuľka Príklad výpočtu celkovej úspešnosti žiaka v teste cudzích jazykov EČ MS Časti testu Počet správnych odpovedí žiaka X Úspešnosť žiaka X Počúvanie s porozumením 9 45, Gramatika a lexika 8 95, Celková úspešnosť žiaka X 78,% Čítanie s porozumením 9 95, Pre porovnanie, v minulom školskom roku (004/005) bola celková úspešnosť žiaka X 8,5 % (t. j. 66 správnych odpovedí z 80 testových položiek). Postup výpočtu úspešnosti v tomto školskom roku (005/006) reflektuje každú časť testu rovnakou váhou. Na výsledku žiaka X, potlačením váhy časti gramatika a lexika, sa vo väčšej miere prejavili jeho nedostatky v počúvaní s porozumením. Percentil poradie žiaka v testovanej populácii Neoddeliteľnou súčasťou hodnotenia výsledku žiaka v testoch EČ MS sa stal percentil. Ako vypočítame percentil poradie, kde sa žiak umiestnil v testovanej populácii? Účastníkov testovania usporiadame do poradia podľa dosiahnutej celkovej úspešnosti v teste a ich poradie vyjadríme hodnotou percentilu na stupnici 0-00. Hodnotu percentilu zaokrúhľujeme na jedno desatinné miesto. Ako interpretovať percentil? Percentil vyjadruje, koľko žiakov dosiahlo horší výsledok. Napríklad, ak sa žiak umiestnil v 7. percentile, 7 % žiakov dosiahlo horší výsledok v teste a 8 % žiakov dosiahlo lepší alebo rovnaký výsledok. 6 V školskom roku 004/05 bola váha jednotlivých častí na celkovej úspešnosti žiaka : :. EČ MS 006 uský jazyk úroveň B 7
Hodnotu úspešnosti žiaka je dôležité sledovať v súvislosti s percentilom. Ak bude žiak riešiť test s úspešnosťou napr. 9 % a umiestni sa v 75. percentile, jeho výsledok interpretujeme nasledovne: učivo obsiahnuté v teste žiak zvládol na 9 % a ¾ žiakov získalo horší výsledok v danom testovaní. Ďalší príklad v inom teste, kedy žiak riešil test s úspešnosťou 70 % a umiestnil sa v 85. percentile, interpretujeme nasledovne: testované učivo obsiahnuté v teste žiak zvládol na 70 % a 85 % žiakov riešilo test horšie ako porovnávaný žiak.. Testovaní žiaci Do testovania v predmete ruský jazyk sa zapojili hlavne maturanti všeobecnovzdelávacích škôl gymnázií, ale aj žiaci z ostatných škôl, ktorí si vybrali ruský jazyk ako maturitný predmet. V nasledujúcich tabuľkách uvádzame počty žiakov a škôl zapojených do testovania v predmete ruský jazyk, základná úroveň: test JB. Počty uvádzame triedené podľa krajov, zriaďovateľa školy, typu školy, pohlavia a variantov.. tabuľka Počet škôl a žiakov podľa krajov Počet škôl a žiakov podľa krajov: J06B Kraj BA TT TN N ZA BB PO KE Spolu Školy Žiaci počet % počet % 4 5.% 7 9.4%.9% 4.8% 8 0.4%.8% 5 6.5% 46 6.% 5.6% 67 8.8% 7 9.% 48 6.% 8.6% 06 40.% 6 0.8% 86 4.5% 77 00. 759 00. 4. tabuľka Počet škôl a žiakov podľa zriaďovateľa Počet škôl a žiakov podľa zriaďovateľa: J06B Zriaďovateľ Krajský, Okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenia Iný Spolu Školy Žiaci počet % počet % 5 6.5% 48 6.% 60 77.9% 59 7..6% 7.9%.6%.9% 6 7.8% 7.5%.6% 0.%........ 77 00. 759 00. 8 EČ MS 006 uský jazyk úroveň B
5. tabuľka Počet škôl a žiakov podľa typu školy Počet škôl a žiakov podľa typu školy: J06B Typ školy GYM SOŠ ZSŠ SOU Špe Spolu Školy Žiaci počet % počet % 4.9% 90 5.4% 6.8% 9.4% 4.% 7 9.6% 7 9.% 7 9.6%.... 77 00. 759 00. 6. tabuľka Počet žiakov podľa pohlavia Počet žiakov podľa pohlavia: J06B a Pohlavie chlapci dievčatá Spolu a. Test = J06B počet % 66 5. 49 65. 759 00. 7. tabuľka Počet žiakov podľa variantov Počet žiakov podľa variantov: J06B a Variant 68 84 Spolu a. Test = J06B počet % 77 49.7% 8 50.% 759 00. V ďalšej časti uvádzame výsledky, ktoré potvrdzujú rovnomerné rozloženie variantov v testovanej populácii. EČ MS 006 uský jazyk úroveň B 9
8. tabuľka podiel žiakov podľa variantov Podieľ žiakov podľa variantov: J06B a Kraj BA TT TN N ZA BB PO KE Zriaďovateľ Krajský, Okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenia Iný Typ školy GYM SOŠ ZSŠ SOU Špe Pohlavie chlapci dievčatá a. Test = J06B Variant 68 84 % % 50.7% 49.% 4.9% 57.% 47.6% 5.4% 47.8% 5.% 5.% 47.8% 50. 50. 49.7% 50.% 49.5% 50.5% 47.9% 5.% 49.7% 50.% 57.% 4.9% 54.5% 45.5% 48.9% 5.% 50. 50..... 49.5% 50.5% 49.8% 50.% 5.% 47.9% 47.9% 5.%.. 49.% 50.8% 49.9% 50.% Test JB písalo 759 žiakov zo 77 škôl. Najviac bolo žiakov gymnázií (5,4 %). Dievčatá tvorili takmer dve tretiny (65,0 %). Taktiež takmer dve tretiny tvorili žiaci z východného Slovenska: z prešovského kraja 40, % a z košického 4,5 %. 0 EČ MS 006 uský jazyk úroveň B
Výsledky. Výsledky testu z ruského jazyka EČ MS JB 68.. Všeobecné výsledky Cieľom testovania je zistiť úspešnosť žiakov v teste, ktorý je koncipovaný v súlade s obsahom cieľových požiadaviek na vedomosti a zručnosti maturantov z nemeckého jazyka úroveň B. Úspešnosť žiaka definujeme ako percentuálny podiel bodov za položky, na ktoré žiak správne odpovedal z celkového počtu bodov. Úspešnosť žiakov v teste môžeme opísať štatistickými charakteristikami prezentovanými v nasledujúcich tabuľkách. Vysvetlenie používaných charakteristík je uvedený v prílohe. Výsledné psychometrické charakteristiky percentuálnej úspešnosti testu predstavujú vlastnosti testu po úprave bodovania, kedy sme v položkách, ktoré vykazovali nevhodné štatistické vlastnosti, pridelili každému žiakovi bod. 9. tabuľka Výsledné psychometrické charakteristiky testu - percentuálna úspešnosť Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Interavlový odhad úspešnosti individuálneho žiaka Test J06B Časť Počúvanie Gramatika Čítanie Spolu Priemer Priemer Priemer Priemer 759 759 759 759 00.0 97.5 00.0 99. 5.0 5.0 0.0 7.5 70. 6.4 65. 66. 7.8 4.7 0. 5. 5.4 4.6 5.4 6.4 00,0 9. 00,0 96.0.6.5.7.6 68.9 6. 6.6 65. 7.5 64.4 66.5 67..775.807.80.904 8.4 6.5 8.8 4.7 6.5.7 7. 9.. graf Výsledný histogram úspešnosti Histogram J06B 70 60 50 Počet žiakov 40 0 0 0 0 4 5 6 7 8 9 0 Úspešnosť EČ MS 006 uský jazyk úroveň B
Test JB písalo 759 žiakov s priemernou spešnosťou 66, %. Histogram je vychýlený doprava vzhľadom na vyšší počet žiakov s vyššou úspešnosťou. Z histogramu a z. tabuľky vyplýva, že test rozlišoval lepšie slabších žiakov, ktorí sa umiestnili v rebríčku v druhej polovici, t. j. získali 50. alebo nižší percentil. Kritickú hodnotu % nedosiahlo 6 žiakov (4,7 %). 0. tabuľka ozdelenie žiakov s úspešnosťou menšou ako % Typ školy Pohlavie chlapci dievčatá Spolu GYM 5 8 SOŠ 4 7 ZSŠ 5 8 SOU 4 5 9 Spolu 6 0 6. tabuľka Prepojenie úspešnosti a percentilu Úspešnosť a percentil: J06B variant 68 a 84 Úspešnosť Percentil 7,5,0,7, 4,, 4 5,0,5 5 6,7,7 6 7,5,9 7 8,,4 8 9,,6 9 0,0, 0 0,8,,5,6,,0 4,, 4 5,0,4 5 5,8 4, 6 6,7 4, 7 7,5 4,6 8 8, 5,5 9 9, 5,9 0 40,0 6,5 40,8 6,9 4,7 7,4 4,5 7,6 4 4, 8,0 5 44, 9, 6 45,0 9,9 7 45,8 0,7 8 46,7,6 9 47,5,9 0 48,, 49, 4,4 EČ MS 006 uský jazyk úroveň B
50,0 5, 50,8 5,7 4 5,7 6,7 5 5,5 8, 6 5, 9,0 7 54, 0,0 8 55,0,5 9 55,8,5 40 56,7 4, 4 57,5 6,0 4 58, 7,7 4 59, 8,9 44 60,0,0 45 60,8, 46 6,7,9 47 6,5 5,4 48 6, 8, 49 64, 9, 50 65,0 4,5 5 65,8 4,7 5 66,7 45, 5 67,5 48, 54 68, 49,7 55 69, 5,0 56 70,0 5,5 57 70,8 54,9 58 7,7 57,7 59 7,5 59, 60 7, 6, 6 74, 64, 6 75,0 66,7 6 75,8 68,8 64 76,7 70,4 65 77,5 7,0 66 78, 75, 67 79, 77,9 68 80,0 80,0 69 80,8 8, 70 8,7 8,4 7 8,5 85,8 7 8, 87,6 7 84, 89, 74 85,0 9, 75 85,8 9,6 76 86,7 9,7 77 87,5 95, 78 88, 96, 79 89, 97,0 80 90,0 97, 8 90,8 97,4 8 9,7 97,8 8 9,5 98,4 84 9, 98,7 85 94, 99, 86 95,0 99, 87 95,8 99, 88 99, 99,9 EČ MS 006 uský jazyk úroveň B
.. Analýza rozdielov vo výsledkoch V ďalšej časti analýzy poukazujeme na rozdiely vo výsledkoch žiakov podľa typu školy, krajov, zriaďovateľa, pohlavia a známky, ktorú žiaci získali na polročnom vysvedčení v danom predmete. Výsledky, ktoré opisujú priemernú úroveň vedomostí žiakov sú doplnené o štatistické testy a najmä o zisťovanie vecnej (pedagogickej) významnosti rozdielu. Určenie vecnej významnosti rozdielu je dôležité pri veľkých súboroch žiakov, kedy testy štatistickej významnosti rozdielov sú signifikantné i pri malých vecných rozdieloch výsledkov... ozdiely podľa typu škôl. tabuľka Úspešnosť podľa typu školy. graf Úspešnosť podľa typu školy Úspešnosť - J06B 0 9 8 7 7 6 5 6 4 GYM Typ školy ostatné Úspešnosť Typ školy GYM ostatné Total Počet Štd. chyba žiakov Priemer priemeru 90 7,,7 69 60,9,8 759 66,,6 t (757)= 0,07; p= 0,000 Vecná signifikancia rozdielu r= - 0,4. tabuľka Úspešnosť podľa typu školy. graf Úspešnosť podľa typu školy Úspešnosť - J06B 0 9 8 7 6 5 4 7 GYM 6 SOŠ Typ školy 6 ZSŠ 5 SOU Úspešnosť Typ školy GYM SOŠ ZSŠ SOU Total Počet Štd. chyba žiakov Priemer priemeru 90 7,,7 6,,9 7 6,4,9 7 5,0,4 759 66,,6 4 EČ MS 006 uský jazyk úroveň B
Žiaci gymnázií dosiahli signifikantne lepšie výsledky ako žiaci ostatných typov škôl. V porovnaní s nimi dosiahli významne nižšie výsledky žiaci SOŠ a ZSŠ, pričom najnižšie výsledky boli v SOU (pozri. tabuľku). 4. tabuľka Porovnanie typov škôl s národným priemerom Národný priemer = 66. t df Štat. sig. Vec.sig. Typ školy GYM SOŠ ZSŠ SOU 7,08 89,000,40 -,65,00,0 -,0 7,046,0-9,847 7,000,760 Gymanzisti dosiahli priemerný výsledok signifikantne vyšší ako je národný priemer a žiaci SOU signifikantne nižší. Žiaci ostatných škôl dosiahli výsledky na úrovni národného priemeru. ovnako sa to prejavilo aj pri vecnom rozdiele, ktorý je veľmi významný v úspešnosti typov škôl v porovnaní s národným priemerom. Pre žiakov gymnázií je r=0,4 a pre SOU r=0,76 (. tabuľka). 4. graf Výsledky jednotlivých častí testu podľa typu školy ozdiel úspešností v jednotlivých častiach testu JB 0 9 8 Úspešnosť v počúvaní Úspešnosť v gramatike Úspešnosť v čítaní Úspešnosť 7 6 5 4 GYM Typ školy ostatné Gymnazisti zvládli lepšie všetky časti testu ako žiaci ostatných typov škôl, pričom najlepšie výsledky dosiahli žiaci v časti počúvanie. Žiaci ostatných typov škôl mali najnižšie výsledky v čítaní. EČ MS 006 uský jazyk úroveň B 5
..4 ozdiely podľa krajov 5. tabuľka Úspešnosť podľa krajov Kraj BA TT TN N ZA BB PO KE Počet Štd. chyba žiakov Priemer priemeru 7 57,,9 4 70,,4 70,,7 46 60,, 67 68,0,6 48 55,,6 06 7,0,7 86 6,0, 5. graf Úspešnosť podľa krajov Vzhľadom na malé počty žiakov trenčianskeho a trnavského kraja ich nezobrazujeme a neinterpretujeme. Úspešnosť - J06B 0 9 8 7 6 5 57 60 68 55 7 6 4 BA N ZA BB PO KE Kraj 6 EČ MS 006 uský jazyk úroveň B
6. tabuľka Vecný rozdiel medzi krajmi Vecná signifikancia rozdielu medzi krajmi BA-TT,5 BA-TN,48 BA-N,098 BA-ZA,5 BA-BB -,060 BA-PO,99 BA-KE,75 TT-TN,00 TT-N -,0 TT-ZA -,065 TT-BB -,64 TT-PO,09 TT-KE -,7 TN-N -,0 TN-ZA -,07 TN-BB -,9 TN-PO,04 TN-KE -,50 N-ZA,68 N-BB -,54 N-PO,9 N-KE,077 ZA-BB -,8 ZA-PO,8 ZA-KE -,5 BB-PO,9 BB-KE,04 PO-KE -,06 Vecná signifikancia rozdielu vyššej úspešnosti je u žiakov žilinského a prešovského kraja, menšiu úspešnosť dosiahli žiaci banskobystrického, bratislavského a nitrianskeho kraja. 7. tabuľka Porovnanie priemerov krajov s národným priemerom Národný priemer = 66, t df Štat.sig. Vec. sig. Kraj BA TT TN N ZA BB PO KE -4,876 70,000,500,694,4,40,499 0,50,0 -,774 45,008,80, 66,70,40-4,67 47,000,50 7,95 05,000,40 -,97 85,004,0 Významný vecný rozdiel v úspešnosti jednotlivých krajov v porovnaní s národným priemerom kladný - sa vyskytol v prešovskom kraji a záporný v neprospech žiakov z krajov BA a BB. EČ MS 006 uský jazyk úroveň B 7
..5 ozdiely podľa zriaďovateľa 8. tabuľka Úspešnosť podľa zriaďovateľa Úspešnosť Zriaďovateľ Štát Súkromník Cirkev Total Počet žiakov Štd. chyba Priemer priemeru 587 67,64,59 55 6,9,7 0 67,50 4,84 75 66,,55 6. graf Úspešnosť podľa zriaďovateľa Vzhľadom na malé počty žiakov cirkevných škôl ich nezobrazujeme a neinterpretujeme. Úspešnosť - J06B 0 9 8 7 6 5 4 68 6 Štát Súkromník Zriaďovateľ 9. tabuľka Vecný rozdiel medzi žiakmi podľa zriaďovateľa Štát-Súkromník Štát-Cirkev Súkromník-Cirkev Vecná signifikancia rozdielu podľa zriaďovateľa -,7 -,00,089 0. tabuľka Porovnanie priemerov podľa zriaďovateľa s národným priemerom Test Value = 66. t df Štat. sig. Vec. sig. Zriaďovateľ. Štát Súkromník Cirkev -,79 6,4,000,44 586,06,00 -,66 54,000,80,68 9,794,090 Pedagogický rozdiel medzi úspešnosťou žiakov sa ukázal významný podľa zriaďovateľa aj v porovnaní s národným priemerom v prospech štátnych škôl. 8 EČ MS 006 uský jazyk úroveň B
..6 ozdiely podľa pohlavia. tabuľka Úspešnosť podľa pohlavia Úspešnosť Pohlavie chlapci dievčatá Total Počet Štd.chyba žiakov Priemer priemeru 66 65,5,9 49 66,67,68 759 66,,55 7. graf Úspešnosť podľa pohlavia Úspešnosť - J06B 0 9 8 7 6 5 4 65 67 chlapci T (757)= -,44; p= 0,5 Vecná signifikancia rozdielu = 0,04 Pohlavie dievčatá. tabuľka Porovnanie priemerov dievčat a chlapcov s národným priemerom Národný priemer = 66, t df Štat. sig. Vec. sig. Pohlavie chlapci dievčatá -,9 65,6,060,689 49,49,00 Nepreukázal sa vecný rozdiel medzi úspešnosťou dievčat a chlapcov ani pri vzájomnom porovnaní, ani v porovnaní s národným priemerom. EČ MS 006 uský jazyk úroveň B 9
..7 ozdiely podľa známky. tabuľka Úspešnosť podľa známky N Priemer Štd. chyba priemeru Známka 4 5 neuvedená 76 75,8,9 44 66,,88 0 65,,97 90 56,,47 7 8, 4,50 4 56,4,86 8. graf Úspešnosť podľa známky Úspešnosť - J06B 0 9 8 7 76 6 66 65 5 56 4 8 4 5 Známka 4. tabuľka Vecný rozdiel medzi žiakmi podľa známky Vecná signifikancia - - -4-5 - -4-5 -4-5 4-5 rozdielu podľa známky -,4 -,75 -,59 -,57 -,04 -,08 -, -,9 -,7 -,5 Porovnanie žiakov v 8. grafe zobrazuje najväčšiu úspešnosť jednotkárov, nižšiu dvojkárov a trojkárov, ešte nižšiu štvorkárov a najnižšiu žiakov so známkou päť. Významný vecný 0 EČ MS 006 uský jazyk úroveň B
rozdiel je medzi jednotkármi a žiakmi s ostatnými známkami. Významné rozdiely sú aj medzi dvojkármi a trojkármi v porovnaní so štvorkármi. elevantnosť použitého testu potvrdzuje aj štatisticky významný korelačný koeficient r= -0,40 čo znamená nižšiu úspešnosť žiakov s horšími známkami. 5. tabuľka Porovnanie priemerov podľa známky s národným priemerom Národný priemer = 66, t df Štat. sig. Vec. sig. Známka 4 5 0,575 75,000,60,08 4,986,000 -,96 00,8,070-6,84 89,000,590-6,49 6,00,90 Významný vecný rozdiel v úspešnosti v porovnaní s národným priemerom sa vyskytol u jednotkárov, ktorí mali vyššiu úspešnosť a u štvorkárov s nižšou úspešnosťou ako je národný priemer. ozdiel žiakov s päťkami pre malý počet neinterpretujeme. EČ MS 006 uský jazyk úroveň B
. Položková analýza Na to, aby sme mohli výsledky testu považovať za spoľahlivé, musíme poznať vlastnosti testu. V tejto časti analýzy predkladáme okrem základných psychometrických charakteristík testu i vlastnosti jednotlivých položiek, ich úspešnosť, obťažnosť, citlivosť, neriešenosť, vynechanosť, nedosiahnutosť, koreláciu s testom, ktoré dokladujú charakter a kvalitu testu... Psychometrické charakteristiky testu S výslednými psychometrickými charakteristikami testu sme sa mohli oboznámiť v prvej časti výsledkov, v kapitole Všeobecné výsledky. Výsledné psychometrické charakteristiky percentuálnej úspešnosti testu predstavujú vlastnosti testu po úprave bodovania, kedy sa v položkách, ktoré nepreukázali dobré vlastnosti, pridelil každému žiakovi bod. V tejto časti správy uvádzame prvotné charakteristiky testu pred úpravou bodovania. V prípade, že sme neupravovali bodovanie prvotné a výsledné psychometrické charakteristiky testu sú rovnaké. 6. tabuľka Prvotné psychometrické charakteristiky testu - percentuálna úspešnosť Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Cronbachovo alfa Štandardná chyba merania pre úspešnosť Interavlový odhad úspešnosti individuálneho žiaka Test J06B Časť Počúvanie Gramatika Čítanie Spolu Priemer Priemer Priemer Priemer 759 759 759 759 00,0 97,5 00,0 98, 5,0,5,0 4, 70, 59,5 57,6 6,5 7,8 4,8 0,8 5, 5,4 0,6 6,8,4 00,0 88,5 98,4 9,5,6,5,8,6 68,9 58,5 56, 6,4 7,5 60,6 59, 6,5,775,799,799,900 8,4 6,6 9, 4,9 6,5,0 8, 9,5 Upravením skóre žiakov v štyroch otázkach sa priemerná úspešnosť žiakov zvýšila zo 6,5 % na 66, %. EČ MS 006 uský jazyk úroveň B
9. graf Prvotný histogram Histogram J06B 80 60 Počet žiakov 40 0 0 4 5 6 7 8 9 0 Mean = 6,459 Std. Dev. = 5,85 N = 759 Úspešnosť.. Porovnanie variantov 68 a 84 z ruského jazyka 7. tabuľka Úspešnosť testu v oboch variantoch Úspešnosť Variant 68 84 N Štd. chyba Priemer priemeru 77 6,4,75 8 6,5,8 t (757) = -.; p = 0,90 Vecná signifikancia rozdielu r = 0,00 Poradie položiek vo variante 84 je upravené tak, aby rovnaké položky si navzájom zodpovedali. Tabuľku navzájom zodpovedajúcich položiek uvádzame v prílohe na konci tejto správy. Vecná signifikancia rozdielu r=0,00, čo znamená, že rozdiel medzi dosiahnutou priemernou úspešnosťou v uvedených variantoch je vecne nevýznamný. EČ MS 006 uský jazyk úroveň B
8. tabuľka Percentuálna obťažnosť položiek v oboch variantoch 9. tabuľka Pedagogický význam rozdielu obťažnosti medzi variantmi Obťažnosť J06B - variant 68 a 84. časť 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 40 Obťažnosť Obťažnosť Štd. chyba Štd. chyba 68 84 68 84 0,6 0,5,6,6,0,0,7,7 9,4 8,6,0,0, 7,0,,9 4,,4,0,8 4, 9,8,5,5 4,5 5,5,, 8, 6,5,0,9 8,0,0,4,6 8,7,7,5,4 46, 5,0,6,6 4, 5,9,5,5 5, 6,0,, 5, 5,6,6,6 48,0 50,0,6,6 0,5 8,8,4, 5,5 50,8,6,6 50,9 49,7,6,6 8, 8,,0,0 5,9 5,,9,8,5 9,6,8,0 70, 6,8,4,5 7, 7,6,, 4, 48,7,5,6 87,5 89,,7,6,,9,9,9 67,9 6,6,4,5,0,0,, 46, 44,0,6,5 50,9 47,,6,6 7,9 68,,,4 5,8 58,6,6,5 8,4 4,6,, 4,9 49,,5,6 9,5,,5,7 4,7 46,,5,6 56,0 55,0,6,5 54,6 50,0,6,6 65,5 65,,5,4 4,7 4,9,, p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p40 Vecná signifikancia podľa variantov,00,04,00,05,05,0 -,0,04 -,05,06 -,049,054 -,05,004 -,00,09,007,0,000,00 -,08,079 -,08 -,076 -,07,009,056,000,0,08,05 -,048,04 -,07 -,044 -,5,00,046,004 -,00 4 EČ MS 006 uský jazyk úroveň B
. časť 4 4 4 44 45 46 47 48 49 50 5 5 5 54 55 56 57 58 59 60 6 6 6 64 65 66 67 68 69 70 7 7 7 74 75 76 77 78 79 80 Obťažnosť Obťažnosť Štd. chyba Štd. chyba 68 84 68 84 9,4,7,0, 9,5 9,,5,5,7 4,9,7,8 5,0 5,9,6,6 6, 66,0,5,4 40,8 4,4,5,5 74,8 74,6,, 5,5 5,9,6,6 0, 0,7,, 59,7 56,8,5,5 49, 5,,6,6,0 4,6,, 5, 46,,6,6 9,4 0,4,4,4 9,4 9,4,0,0,9 4,6,, 4,4 4,,5,5 5,6 6,5,,,7 9,9,7,5,7,7,8,0 54,9 44,,6,5,9 4,6,4,,0 9,9,,0 45,6 4,4,6,5 56, 5,6,6,6 56,0 45,,6,6 5, 6,8,6,5 9,4,8,0, 45,9 8,,6,5,6,4,4,4,8 5,7,, 6,8,7,,4 4,7 7,7,, 4,7 6,,, 4,4 45,0,5,5, 6,,, 4,4 9,,5,5 9,8 90,8,4,5 57, 66,8,6,4 78,5 79,6,, p4 p4 p4 p44 p45 p46 p47 p48 p49 p50 p5 p5 p5 p54 p55 p56 p57 p58 p59 p60 p6 p6 p6 p64 p65 p66 p67 p68 p69 p70 p7 p7 p7 p74 p75 p76 p77 p78 p79 p80 Vecná signifikancia podľa variantov -,09,00 -,048 -,09 -,00 -,06,00 -,04 -,006,09 -,00 -,0,070 -,00,000 -,009 -,008 -,00,08 -,09,07,09,06,0,06,07 -,8 -,054,078,0 -,0 -,065 -,05 -,07 -,06 -,045,0,07 -,097 -,0 Štatisticky signifikantný rozdiel medzi variantmi sa preukázal v položkách 6, 6, 66 a 67. Podľa tabuľky vecnej signifikancie pedagogicky nie je tento rozdiel významný. Mierne vecné signifikancie sú na úrovni okolo 0,. Obe formy testu JB 68 a 84 sú preto z hľadiska obťažnosti položiek porovnateľné a rovnocenné a preto vo výpočtoch nasledujúcich charakteristík sme používali formu 68. EČ MS 006 uský jazyk úroveň B 5
.. Obťažnosť a úspešnosť Úspešnosť položiek je percentuálny podiel žiakov, ktorí správne riešili danú položku. Čím je úspešnosť v riešení danej položky nižšia, tým je položka obťažnejšia. Vzťah medzi obťažnosťou a úspešnosťou položiek je nasledovný: obťažnosť= 00 % - úspešnosť. 0. graf Grafy jednotlivých častí testu usporiadané podľa obťažnosti Obťažnosť - úspešnosť položiek: J06B - variant 68 - počúvanie 0 9 Obťažnosť Úspešnosť 8 7 6 5 4 9 4 7 8 5 6 0 6 4 8 0 9 7 5 Položka Obťažnosť - úspešnosť položiek: J06B - variant 68 - gramatika I 0 9 Obťažnosť Úspešnosť 8 7 6 5 4 5 47 7 9 45 50 7 8 5 48 44 0 5 9 4 57 Položka 6 EČ MS 006 uský jazyk úroveň B
Obťažnosť - úspešnosť položiek: J06B - variant 68 - gramatika II 0 9 Obťažnosť Úspešnosť 8 7 6 5 4 4 46 4 6 54 40 56 8 5 49 4 55 4 59 5 58 6 60 Položka Obťažnosť - úspešnosť položiek: J06B - variant 68 - čítanie 0 9 Obťažnosť Úspešnosť 8 7 6 5 4 78 80 79 65 66 6 67 69 64 75 77 6 70 7 7 74 7 76 6 68 Položka V teste sa vyskytla v časti počúvanie jedna veľmi obťažná položka 9, v gramatike bola obťažná položka 5, v časti čítanie bola veľmi obťažnou položka 78. Veľmi ľahké položky (obťažnosť menej ako 5 %) boli v prvej časti otázky č. 7 a 5, v druhej 58, 6 a 60. EČ MS 006 uský jazyk úroveň B 7
0. tabuľka Percentuálna obťažnosť položiek podľa typu školy. tabuľka Pedagogický význam rozdielu obťažnosti podľa typu školy Obťažnosť - gymnáziá a ostatné školy: J06B - variant 68. časť Položka 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 40 Obťažnosť Štd. chyba Obťažnosť GYM ostatné Štd. chyba GYM ostatné 6, 5,,7,7 0,4 5,8,,7 0,9 8,,, 7, 5,5,7,,6 4,9,,6 4, 48,4,4,7 4, 4,9,4,6,4 5,5,, 7, 8,7,9, 9,5 48,4,,7 5,8 57,,5,7,7 48,9,4,7 5, 5,4,6,7 45, 6,4,6,6 7, 59,,5,6 0,7 40,8,9,6 4,5 60,9,6,6 9,9 6,5,5,6 77,7 87,0,0,5 8,,9,0, 9, 7,9,,8 7,0 69,6,,4 68,9 7,4,, 4,5 40,8,6,6 86,0 89,,5,, 4,,0,5 64, 7,7,5,,8,,0,0 4,7 58,,4,6 45, 57,,6,7 7,5 7,4,, 55,4 5,,6,7,,7,,5 4,5 4,4,6,7 8,8 0,,0, 6,8,6,5,5 47,7 64,7,6,5 5, 58,,6,6 66,8 64,,4,5, 8,,0, p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p40 Vecná signifikancia podľa typu školy -,46 -,080 -,0 -,0 -,0 -,44 -,08 -,8 -,07 -,9 -,4 -,55 -,006 -,64 -,9 -,8 -,84 -,6 -, -, -,6,06 -,049,007 -,047 -,065 -,080,09 -,5 -,0 -,009,0 -,5 -,00 -,06,044 -,7 -,069,08 -,08 8 EČ MS 006 uský jazyk úroveň B
Obťažnosť - gymnáziá a ostatné školy: J06B - variant 68. časť Položka 4 4 4 44 45 46 47 48 49 50 5 5 5 54 55 56 57 58 59 60 6 6 6 64 65 66 67 68 69 70 7 7 7 74 75 76 77 78 79 80 Obťažnosť Štd. chyba Obťažnosť GYM ostatné Štd. chyba GYM ostatné 4,5 4,5,5,, 48,4,,7 7, 6,,9,7 45,6 58,7,6,6 66, 59,8,4,6 0,6 5,6,,7 70,5 79,,,0 49, 56,0,6,7 9,,,8,0 54,9 64,7,6,5 40,9 57,6,5,7 7,6 6,6,7, 44,6 6,0,6,6 0,7 8,6,9,6,5 5,5,5, 0,7 7,,9, 4, 48,9,4,7 4, 7,,4,9 7,8 5,8,9,7,0 4,,7,5 44,6 65,8,6,5 5,9 40,,,6 8,7 5,5,8, 8, 5,,5,7 5, 60,,6,6 54,9 57,,6,7 5, 50,0,6,7 9,8 9,,,4 8, 5,8,5,7 6,4 9,,,6 5,0,0,6,4 0,7,,9,5, 8,,0, 6,6,,7,5 7, 47,8,5,7 4,0,0,5,4 0,6 5,7,,7 94, 89,,7, 46,6 68,5,6,4 74,6 8,6,,8 p4 p4 p4 p44 p45 p46 p47 p48 p49 p50 p5 p5 p5 p54 p55 p56 p57 p58 p59 p60 p6 p6 p6 p64 p65 p66 p67 p68 p69 p70 p7 p7 p7 p74 p75 p76 p77 p78 p79 p80 Vecná signifikancia podľa typu školy -,6 -,77 -,4 -,,068 -,4 -,0 -,068 -,05 -,099 -,67 -,09 -,74 -,96 -,5 -,076 -,49 -,064 -,4 -,0 -, -,5 -,08 -,50 -,08 -,0,0 -,47 -,55 -,5 -,90 -,40 -,08 -,9 -,06 -,04 -,5,094 -, -,097 Položky boli ťažšie pre žiakov ostatných škôl, najväčšie rozdiely medzi typmi škôl sú v časti počúvanie, 5 a 8, v časti gramatika 9 a v časti čítanie 68, 77 a 79. EČ MS 006 uský jazyk úroveň B 9
. tabuľka Percentuálna obťažnosť položiek podľa pohlavia. tabuľka Pedagogický význam rozdielu obťažnosti podľa pohlavia Obťažnosť - chlapci a dievčatá: J06B - variant 68. časť Položka 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 40 Obťažnosť Obťažnosť Štd. chyba Štd. chyba chlapci dievčatá chlapci dievčatá 0,7 0,6,7,0 7,6 0,6,,0 0,6 8,7,5,5,4,,6,6, 4,9,5,4 8,9 4, 4,, 4,6 4,5,8, 6,0 9,5,,5 9, 7,,5,7,6 4,5 4,, 4,7 48,0 4,,, 45,9 4,, 5, 5,,0,4 56,5 5, 4,, 57, 4, 4,, 5, 8,0 4,,9 56,5 48,8 4,, 56,5 48,0 4,, 80,9 8,9,4,4 4,5 6,7,,4, 4,,9, 67,9 7,5 4,,9 7,8 70,7,9,9 40,5 4,5 4,, 86, 88,,0, 6,9,,,7 7, 65,0,9,0,9,5,7,6 56,5 40,7 4,, 55,7 48,4 4,4, 7,5 7,,9,8 58,0 5,6 4,,,7 0,9,7,0 4,0 4,9 4,, 9, 9,8,5,9 6,6,7 4,,0 50,4 58,9 4,4, 59,5 5,0 4,, 6,4 66,7 4,,0 8,,8,9,7 p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p40 Vecná signifikancia podľa pohlavia,00,099,0,00 -,04 -,0,00 -,04,0 -,077 -,050 -,4,00,050,5,07,07,08 -,05 -,08 -,08 -,08,0 -,00 -,08,5,084,06,5,070 -,007,06 -,076,00 -,00,09 -,08,07 -,0,06 0 EČ MS 006 uský jazyk úroveň B
Obťažnosť - chlapci a dievčatá: J06B - variant 68. časť Položka 4 4 4 44 45 46 47 48 49 50 5 5 5 54 55 56 57 58 59 60 6 6 6 64 65 66 67 68 69 70 7 7 7 74 75 76 77 78 79 80 Obťažnosť Obťažnosť Štd. chyba Štd. chyba chlapci dievčatá chlapci dievčatá 6,7 5,4,9, 40,5 9,0 4,,,7 0,6,0,0 57, 49, 4,, 59,5 65,0 4,,0 4, 40,7 4,, 74,8 74,8,8,8 56,5 50,4 4,,, 9,,6,5 64, 57, 4,, 5,4 46,7 4,4,,,0,6,6 5,7 5, 4,4, 9,0 9,7 4,0,9,4 8,,6,5 6,7,4,9,7 4, 4,5 4,, 7,6 4,5,,,0,0,9,0,,8,, 60, 5,0 4,,,8,9 4,,0, 7, 4,,4 47, 44,7 4,4, 6,6 5,8 4,, 47, 60,6 4,4, 55,0 49, 4,4,, 7,9,6,4 50,4 4,5 4,4, 8, 5,0,9,0 4,4,0,8,6,8,6 4,,7 5, 4,4,8,7 6,6 8, 4,,5 48,9 9,0 4,4, 6,0 0,,8,6 55,0 4, 4,4,0 9,4 9,5,,8 66,4 5,4 4,, 8, 76,0,,7 p4 p4 p4 p44 p45 p46 p47 p48 p49 p50 p5 p5 p5 p54 p55 p56 p57 p58 p59 p60 p6 p6 p6 p64 p65 p66 p67 p68 p69 p70 p7 p7 p7 p74 p75 p76 p77 p78 p79 p80 Vecná signifikancia podľa pohlavia,6,04,047,077 -,054,006,000,058,06,066,064,00 -,006 -,007,07,049 -,00,066,00 -,06,079 -,00,6,05,094 -,7,055,05,066 -,068,08,099,009,0,095,064,0,06,5,08 Pre dievčatá boli niektoré položky ľahšie ako pre chlapcov pre nich bola obťažnejšia v časti počúvanie položka 9, v časti čítanie položky 6 a 77. EČ MS 006 uský jazyk úroveň B
..4 eliabilita a medzipoložková korelácia eliabilita testu je hodnota, ktorá vypovedá o presnosti merania. Hovorí o tom, do akej miery by sa výsledok testovania menil, ak by sme meranie opakovali. Jej hodnota sa nachádza v intervale od 0 po. Čím je reliabilita testu vyššia, tým je použitý merací nástroj test presnejší. eliabilita testu je tým vyššia, čím je vyšší počet položiek testu, vyšší počet testovaných žiakov, vyššia citlivosť položiek, väčšia korelácia položiek s testom, väčšia variabilita (SD ) na úrovni žiakov. eliabilita testu JB 68, ktorý obsahoval 80 položiek, bola 0,888. Táto celková reliabilita svedčí o vysokej presnosti merania testu JB. eliabilitu jednotlivých častí testu uvádzame v 4. tabuľke. 4. tabuľka eliabilita jednotlivých častí testu AJA Variant Počúvanie Gramatika Čítanie Spolu 68,779,77,767,888 84,77,80,86,909 Pod pojmom medzipoložková korelácia (point biserial) uvádzame koreláciu skóre vybranej položky a sumou skóre všetkých ostatných položiek. Záporná hodnota vypovedá o tom, že položka nerozlišuje dobrých a slabších žiakov. Dobrí žiaci na položku vo väčšine prípadov odpovedali nesprávne a naopak zlí žiaci, napríklad hádaním, uviedli správnu odpoveď. Ak je táto hodnota blízka 0, položka taktiež slabo rozlišuje dobrých a menej úspešných žiakov. Aby sme položku považovali za prijateľnú, hodnota medzipoložkovej korelácie musí dosahovať úroveň minimálne 0,0. Položka s hodnotou 0,5 a vyššou je v pedagogických meraniach považovaná za dobrú. EČ MS 006 uský jazyk úroveň B
. graf Korelácie jednotlivých položiek so zvyškom testu (Point Biserial) Medzipoložková korelácia (point biserial): J06B - variant 68 - počúvanie,0 0,9 0,8 0,7 0,6 0,5 0,4 0, 0, 0, 0,0-0, 4 6 5 4 8 7 7 9 9 5 0 8 0 6 Položka Medzipoložková korelácia (point biserial): J06B - variant 68 - gramatika I,0 0,9 0,8 0,7 0,6 0,5 0,4 0, 0, 0, 0,0-0, 46 50 45 48 54 47 7 56 4 4 0 9 5 44 55 5 4 Položka EČ MS 006 uský jazyk úroveň B
Medzipoložková korelácia (point biserial): J06B - variant 68 - gramatika II,0 0,9 0,8 0,7 0,6 0,5 0,4 0, 0, 0, 0,0-0, 7 8 40 60 58 49 57 5 59 5 5 8 6 6 4 4 9 Položka Medzipoložková korelácia (point biserial): J06B - variant 68 - čítanie,0 0,9 0,8 0,7 0,6 0,5 0,4 0, 0, 0, 0,0-0, 77 7 68 64 79 7 6 7 6 76 70 74 75 65 6 66 80 69 78 67 Položka Nízko korelujú so zvyškom testu v časti počúvanie položky 0 a 6. Najviac takýchto položiek je v časti gramatika:, 59, 5,, 5, 8, 6 a dokonca so zvyškom testu záporne korelujú položky 6, 4, 4 a 9. V časti čítanie nízko korelujú so zvyškom testu položky 78 a 67. 4 EČ MS 006 uský jazyk úroveň B
..5 Kľúče a distraktory V tejto časti sa budeme venovať položkám s výberom odpovede. V teste z ruského jazyka sú to položky -, - 40, 6-7. V hlavičke tabuľky sú uvedené možnosti odpovedí A, B, C, D (podľa počtu distraktorov, písmenom X sú označení žiaci, ktorí neodpovedali). V prvom riadku tabuľky sú uvedené hodnoty medzipoložkovej korelácie (point biseriál - P.Bis.). V druhom riadku tabuľky písmeno p znamená podiel žiakov, ktorí si vybrali danú možnosť. V treťom riadku tabuľky N znamená počet žiakov, ktorí si vybrali danú možnosť. Správna odpoveď (kľúč) je vyznačená žltou farbou. Kritériá hodnotenia položiek s výberom odpovede:. podiel žiakov, ktorí si vybrali správnu odpoveď (kľúč) by mal byť najväčší,. hodnota P.Bis. pri správnej odpovedi by mala byť väčšia ako 0,0 (optimálne väčšia ako 0,5).. hodnota P.Bis. pri nesprávnej odpovedi (distraktore) by mala byť hodnota záporná. Akékoľvek nedodržanie týchto kritérií zvýrazňujeme červenou alebo hnedou farbou. Červená farba identifikuje v správnej odpovedi hodnotu P.Bis. menšiu ako 0,. Hnedá farba identifikuje distraktory, ktoré majú kladnú hodnotu P.Bis.. 5. tabuľka Položky s výberom odpovede analýza distraktorov v0 Var va0 vb0 vc0 vd0 vx0 P. Bis. -, -,,4 -,. p,04,06,89,0,00 N 4,00,00 7,00 4,00,00 v0 Var va0 vb0 vc0 vd0 vx0 P. Bis. -, -,,4 -, -,0 p,04,0,87,05,00 N 6,00,00 8,00 0,00,00 v0 Var va0 vb0 vc0 vd0 vx0 P. Bis. -,,4 -, -, -, p,08,8,05,06,0 N,00 04,00 7,00,00,00 v04 Var va04 vb04 vc04 vd04 vx04 P. Bis. -,4 -,09 -,0,5 -,09 p,,0,06,79,0 N 48,00 6,00 4,00 97,00,00 v05 Var va05 vb05 vc05 vd05 vx05 P. Bis. -, -,0,0,04. p,0,0,96,00,00 N 9,00 6,00 6,00,00,00 EČ MS 006 uský jazyk úroveň B 5
v06 Var va06 vb06 vc06 vd06 vx06 P. Bis.,06, -,4 -,6 -,08 p,8,59,0,0,0 N 07,00,00 9,00 7,00,00 v07 Var va07 vb07 vc07 vd07 vx07 P. Bis., -,0 -, -,5 -,07 p,95,0,0,0,00 N 60,00,00 5,00 8,00,00 v08 Var va08 vb08 vc08 vx08 P. Bis. -,5,6 -,. p,09,8,09,00 N 5,00 08,00 4,00,00 v09 Var va09 vb09 vc09 vx09 P. Bis., -,5 -,9. p,9,06,0,00 N 47,00,00 7,00,00 v0 Var va0 vb0 vc0 vx0 P. Bis. -, -,,9. p,0,5,6,00 N,00,00,00,00 v Var va vb vc vx P. Bis. -,,7 -,07 -,08 p,4,54,,00 N 89,00 0,00 8,00,00 v Var va vb vc vx P. Bis. -,7,6,00,0 p,6,59,05,0 N 4,00,00 9,00,00 v Var va vb vc vx P. Bis., -,8 -,4. p,95,05,0,00 N 57,00 7,00,00,00 6 EČ MS 006 uský jazyk úroveň B
v Var va vb vc vd vx P. Bis. -, -,06,6 -,. p,0,0,86,07,00 N,00 0,00 6,00 8,00,00 v Var va vb vc vd vx P. Bis. -,0,8 -,, -,0 p,44,0,06,0,0 N 64,00,00,00 76,00 4,00 v Var va vb vc vd vx P. Bis.,0 -,, -,6,0 p,9,7,,,00 N 09,00 0,00 6,00 48,00,00 v4 Var va4 vb4 vc4 vd4 vx4 P. Bis. -,0,04,0 -,0 -,0 p,07,0,,59,0 N 8,00 9,00 8,00,00 5,00 v5 Var va5 vb5 vc5 vd5 vx5 P. Bis.,5,00 -,0 -,07. p,,50,0,5,00 N 47,00 90,00 7,00,00,00 v6 Var va6 vb6 vc6 vd6 vx6 P. Bis.,0 -,0 -,0.. p,0,97,0,00,00 N 9,00 65,00,00,00,00 v7 Var va7 vb7 vc7 vd7 vx7 P. Bis. -,04 -,9,6 -,09,0 p,,4,,0,00 N,00 9,00,00 4,00,00 v8 Var va8 vb8 vc8 vd8 vx8 P. Bis. -,05 -,0,08 -,06 -,09 p,06,,78,06,00 N,00 40,00 94,00,00,00 EČ MS 006 uský jazyk úroveň B 7
v9 Var va9 vb9 vc9 vd9 vx9 P. Bis. -,, -,05 -,04,0 p,,54,07,07,00 N 8,00 0,00 7,00 8,00,00 v0 Var va0 vb0 vc0 vd0 vx0 P. Bis. -, -, -,,4 -,0 p,0,5,4,49,0 N 74,00 57,00 5,00 85,00 0,00 v Var va vb vc vd vx P. Bis. -,6 -,7, -,0 -,0 p,4,4,7,,0 N 5,00 8,00 0,00 88,00 5,00 v Var va vb vc vd vx P. Bis. -,8,0,, -,05 p,6,0,5,46,00 N 99,00 9,00 94,00 74,00,00 v Var va vb vc vd vx P. Bis. -,, -,7 -, -,0 p,05,7,6,07,0 N 8,00 70,00 60,00 7,00,00 v4 Var va4 vb4 vc4 vd4 vx4 P. Bis. -,0,04,09 -, -,05 p,58,,,07,00 N 9,00 50,00 80,00 7,00,00 v5 Var va5 vb5 vc5 vd5 vx5 P. Bis.,0 -,,0,0 -,05 p,0,07,90,0,00 N 4,00 8,00 4,00,00,00 v6 Var va6 vb6 vc6 vd6 vx6 P. Bis.,05 -,0 -,0 -,0,0 p,65,6,06,0,00 N 46,00 97,00,00,00,00 8 EČ MS 006 uský jazyk úroveň B
v7 Var va7 vb7 vc7 vd7 vx7 P. Bis. -,08 -,6 -,,7 -,09 p,4,6,5,44,0 N 5,00 99,00 55,00 66,00 6,00 v8 Var va8 vb8 vc8 vd8 vx8 P. Bis. -, -,08 -,7,5,07 p,0,07,7,45,0 N 7,00 7,00 8,00 7,00 4,00 v9 Var va9 vb9 vc9 vd9 vx9 P. Bis. -,, -,4 -,0 -,0 p,4,46,5,0,0 N 0,00 75,00 57,00 0,00 5,00 v40 Var va40 vb40 vc40 vd40 vx40 P. Bis. -,06,5 -, -,5 -,08 p,4,75,06,05,0 N 5,00 84,00,00 7,00 4,00 v6 Var va6 vb6 vc6 vd6 ve6 vf6 vg6 vh6 vi6 vj6 vx6 P. Bis. -,4 -,5, -,05,00 -,0 -,07 -,0,0 -,08 -,0 p,07,,45,0,8,0,0,0,0,00,06 N 5,00 49,00 70,00 9,00 66,00 8,00,00 6,00 8,00,00,00 v6 Var va6 vb6 vc6 vd6 ve6 vf6 vg6 vh6 vi6 vj6 vx6 P. Bis. -,0 -,0 -,04 -,08,00 -,0,00,8 -, -,0 -,7 p,05,0,0,0,0,0,0,67,09,0,05 N 8,00,00 0,00,00 6,00 4,00,00 5,0 4,00,00 8,00 v6 Var va6 vb6 vc6 vd6 ve6 vf6 vg6 vh6 vi6 vj6 vx6 P. Bis. -,08,9 -,0 -,4 -,0 -,8 -,08,04,0,00 -,8 p,0,78,04,0,04,0,0,0,0,0,04 N 7,00 94,00 5,00 8,00 6,00 6,00,00,00 5,00,00 5,00 v64 Var va64 vb64 vc64 vd64 ve64 vf64 vg64 vh64 vi64 vj64 vx64 P. Bis.,4 -,04 -,0 -,04 -, -,04 -,08 -,04 -,08 -,9 -,0 p,54,00,0,0,0,09,0,0,0,04,05 N 05,00,00 8,00 7,00,00,00 7,00,00 6,00 6,00 9,00 EČ MS 006 uský jazyk úroveň B 9
v65 Var va65 vb65 vc65 vd65 ve65 vf65 vg65 vh65 vi65 vj65 vx65 P. Bis. -, -, -,, -,,04 -,0 -,08,0 -, -,9 p,04,0,04,44,0,0,4,0,04,0,0 N 4,00 5,00 5,00 65,00,00 6,00 9,00,00 6,00 4,00,00 v66 Var va66 vb66 vc66 vd66 ve66 vf66 vg66 vh66 vi66 vj66 vx66 P. Bis. -,05 -, -,05 -,09 -,0,6 -,04 -,,5 -,06 -,8 p,05,0,0,07,07,44,0,05,5,0,09 N 9,00 7,00 9,00 5,00 8,00 66,00 0,00 7,00 56,00 4,00 5,00 v67 Var va67 vb67 vc67 vd67 ve67 vf67 vg67 vh67 vi67 vj67 vx67 P. Bis. -,05. -,,07,0,0 -,09 -,0,,05 -,6 p,,00,0,06,0,,05,0,07,49,0 N 45,00,00 6,00,00 7,00 48,00 0,00,00 8,00 84,00 9,00 v68-v7 v68 v69 v70 v7 v7 v7 AA AB AC AD AE BA BB BC BD BE X Y Spolu 0,6%,8%,5%,8%, 80,6%,%,%,4%,,%,7% 0,%,6% 54,%,%,7%,6%,9% 4,4% 4,,%,9%,4% 0,6%,% 67,4%,%,5%,,8% 9,4%,8%,% 4,,9% 0,6% 6,9%,,,8%,9% 77,%,5%,9%,4%,9%,9% 0,%,%,9% 4,%,%,%,%,6% 7,% 5,8%,7%,4% 0,9%,9%,9%,6% 75,%,%,4%,%, 8,%,7%,9% 0 V časti počúvanie položka 6 má jeden z distraktorov (nesprávna odpoveď) kladnú hodnotu point biserialu. Najviac problematických položiek sa vyskytlo v časti gramatika. V položkách 6 a 4 majú distraktory taktiež kladnú hodnotu, v položkách 4 a 9 majú správne odpovede zápornú hodnotu (P.Bis,= -0,0 resp. -0,). V poslednej tabuľke s položkami v68-v7 uvedené percentá vyjadrujú percento správnych odpovedí, ktoré si zvolila väčšina žiakov. Všetky položky väčšina žiakov zodpovedala správnymi odpoveďami. 40 EČ MS 006 uský jazyk úroveň B
..6 Citlivosť Pod citlivosťou položky diskriminačnou silou položky rozumieme schopnosť položky rozlíšiť dobrých a zlých žiakov. Žiakov usporiadame do poradia podľa úspešnosti v teste. Zoradených žiakov rozdelíme do piatich skupín. V našom prípade predstavuje citlivosť položky rozdiel medzi najslabšou a najlepšou pätinou testovaných žiakov.. graf Citlivosť položiek podľa jednotlivých častí testu Citlivosť: J06B - variant 68 - počúvanie 0 9 8 7 6 5 4 p7 p8 p5 p4 p6 p04 p0 p p p0 p0 p0 p9 p06 p08 p0 p09 p05 p07 p Položka Citlivosť: J06B - variant 68 - gramatika I 0 9 8 7 6 5 4 p46 p54 p48 p45 p7 p50 p5 p8 p4 p47 p0 p9 p56 p44 p5 p p4 p55 p5 p Položka EČ MS 006 uský jazyk úroveň B 4
Citlivosť: J06B - variant 68 - gramatika II 0 9 8 7 6 5 4 - p57 p40 p8 p4 p p7 p49 p p p58 p5 p59 p p60 p5 p6 p6 p4 p4 p9 Položka Citlivosť: J06B - variant 68 - čítanie 0 9 8 7 6 5 4 p77 p64 p65 p79 p6 p6 p75 p6 p69 p7 p70 p7 p7 p68 p80 p74 p66 p76 p78 p67 Položka Medzi položky, ktoré najcitlivejšie (nad 59 %) rozlišovali slabých a dobrých žiakov patrili v počúvaní 7, 8, 5 a 4, v gramatike 46 a v čítaní položky 77, 64 a 65. Medzi najmenej citlivé položky s citlivosťou pod 0 % patria v počúvaní 5, 7 a, v gramatike,, 58, 5, 59,, 60, 5, 6 a 4, v čítaní položka 78. Zmätočne odpovedali žiaci na položky 4 a 9, ktoré vykazujú zápornú hodnotu. 4 EČ MS 006 uský jazyk úroveň B
6%,% 54,67% 56% 6% 4..7 Distribúcia úspešnosti a citlivosť. graf Grafy distribúcie úspešnosti Na x-ovej osi sú žiaci rozdelení podľa úspešnosti v teste do 0 skupín. V prvej skupine () sa nachádzajú žiaci s najvyššou percentuálnou úspešnosťou riešenia testu, poslednú skupinu (0) tvoria najmenej úspešní žiaci. Y-ová os vyjadruje priemernú úspešnosť jednotlivých skupín žiakov. Vľavo pri každom grafe je uvedená citlivosť položky. p0 p0 0 0 5 5 5% 5% 0 9 8 7 6 5 4 ozdelenie na 0 skupín 0 9 8 7 6 5 4 ozdelenie na 0 skupín p0 p04 0 0 5 5 5% 5% 0 9 8 7 6 5 4 ozdelenie na 0 skupín 0 9 8 7 6 5 4 ozdelenie na 0 skupín p05 p06 0 0 5 5 5% 5% 0 9 8 7 6 5 4 ozdelenie na 0 skupín 0 9 8 7 6 5 4 ozdelenie na 0 skupín EČ MS 006 uský jazyk úroveň B 4