Analýza úspešnosti, položiek a variantov testu z matematiky MAB 005 Externá časť maturitnej skúšky Oľga Zelmanová, Viera Ringlerová ŠPÚ Bratislava 005
ÚVOD...4. Základné informácie o externej časti MS z matematiky... 5 METÓDY...6. Testovaní žiaci... 6. tabuľka: Počet škôl a žiakov podľa krajov... 6. tabuľka: Počet škôl a žiakov podľa zriaďovateľa... 6. tabuľka: Počet škôl a žiakov podľa typu školy... 6 4. tabuľka: Počet žiakov podľa pohlavia... 7 5. tabuľka: Počet žiakov podľa variantov... 8 6. tabuľka: Podiel žiakov podľa variantov.časť... 8 7. tabuľka: Podiel žiakov podľa variantov.časť... 8. Metódy spracovania dát... 8 VÝSLEDKY...0.. Výsledky matematického testu EČ MS MAB 005... 0 Všeobecné výsledky... 0 8. tabuľka: Výsledné psychometrické charakteristiky testu... 0. graf: Histogram úspešnosti... 0 9. tabuľka: Prepojenie úspešnosti a percentilu... Analýza rozdielov vo výsledkoch... Rozdiely podľa typu škôl... 0. tabuľka: Úspešnosť podľa typu školy.... tabuľka: Úspešnosť podľa typu školy.... graf: Úspešnosť podľa typu školy.... tabuľka: Vecný rozdiel medzi typmi škôl.... tabuľka: Porovnanie typov škôl s národným priemerom... Rozdiely podľa krajov.... graf: Úspešnosť podľa krajov... 4. tabuľka: Úspešnosť podľa krajov... 4 5. tabuľka: Vecný rozdiel medzi krajmi... 5 6. tabuľka: Porovnanie krajov s národným priemerom... 5 Rozdiely podľa zriaďovateľa... 5 4. graf: Úspešnosť podľa zriaďovateľa... 5 7. tabuľka: Úspešnosť podľa zriaďovateľa... 6 8. tabuľka: Vecný rozdiel medzi zriaďovateľmi... 6 9. tabuľka: Porovnanie zriaďovateľov s národným priemerom... 6 Rozdiely podľa pohlavia... 7 5. graf: Úspešnosť podľa pohlavia... 7 0. tabuľka: Úspešnosť podľa pohlavia... 7 Rozdiely podľa známky... 7 6. graf: Úspešnosť podľa známky... 7. tabuľka: Úspešnosť podľa známky... 7.. Položková analýza... 9 Psychometrické charakteristiky testu MAB... 9. tabuľka: Výsledné psychometrické charakteristiky testu... 9 7. graf: Histogram úspešnosti... 9 Porovnanie variantov 5 a 6 matematického testu MAB 005... 0. tabuľka: Úspešnosť testu v oboch variantoch... 0 4. tabuľka: Percentuálna obťažnosť položiek v oboch variantoch... 0 5. tabuľka: Pedagogický význam obťažnosti medzi variantmi... 0 6. tabuľka: Rozdiel obťažnosti medzi variantmi... Obťažnosť... 8. graf: Grafy usporiadané podľa obťažnosti položiek... Úspešnosť... 7. tabuľka: Porovnanie úspešnosti položiek podľa typu školy... 8. tabuľka: Pedagogický význam rozdielu úspešnosti podľa typu školy... 9. tabuľka: Rozdiely úspešnosti medzi typmi škôl... 4 0. tabuľka: Porovnanie úspešnosti podľa pohlavia... 4. tabuľka: Pedagogický význam rozdielu úspešnosti medzi pohlaviami... 4
. tabuľka: Rozdiel úspešnosti medzi pohlaviami... 6 9. graf: Úspešnosť žiakov v jednotlivých položkách... 7 0. graf: Položky s krátkou odpoveďou usporiadané podľa úspešnosti... 7 Reliabilita a medzipoložková korelácia... 8. tabuľka: Reliabilita testu MAB... 8. graf: Korelácie jednotlivých položiek so zvyškom testu... 9. graf: Položky s krátkou odpoveďou usporiadané podľa medzipoložkových korelácií... 9. graf: Položky s výberom odpovede usporiadané podľa medzipoložkových korelácií... 0 Kľúče a distraktory... 0 4. tabuľka: Položky s výberom odpovede Analýza distraktorov... 0 Citlivosť... 4. graf: Citlivosť položiek... 5. graf: Položky s krátkou odpoveďou usporiadané podľa citlivosti... 6. graf: Položky s výberom odpovede usporiadané podľa citlivosti... Distribúcia úspešnosti a citlivosť... 4 7. graf: Grafy distribúcie úspešnosti a citlivosť jednotlivých položiek... 4 Neriešenosť... 9 5. tabuľka: Neriešenosť podľa typu položky... 9 8. graf: Neriešenosť položiek... 9 9. graf: Položky s krátkou odpoveďou usporiadané podľa neriešenosti... 40 0. graf: Položky s výberom odpovede usporiadané podľa neriešenosti... 40.. Súhrnné charakteristiky položiek... 4 6. tabuľka: Súhrnné charakteristiky položiek... 4. graf: Vzťah citlivosti a korelácie vzhľadom na položky s prihliadnutím na obťažnosť položiek... 4. graf: Charakteristiky položiek... 4 ZÁVERY TEST MAB...44 LITERATÚRA...45 PRÍLOHA...46 Slovník základných pojmov... 46 Navzájom zodpovedajúce položky vo variantoch... 48 7. tabuľka: Tabuľka navzájom zodpovedajúcich položiek vo variantoch... 48 Test z matematiky MAB variant 5... 49
Úvod Štátny pedagogický ústav (ŠPÚ) z poverenia Ministerstva školstva SR realizoval v dňoch. 6. apríla 005 Externú časť maturitnej skúšky (ďalej EČ MS). Externe zadávané testy hodnotili vedomosti žiakov v predmetoch matematika, anglický jazyk a nemecký jazyk. Dňa 5. apríla sa uskutočnila Generálna skúška (ďalej GS) z predmetov francúzsky jazyk, ruský jazyk a španielsky jazyk. Cieľom externej časti maturitnej skúšky 005 bolo priniesť porovnateľné výsledky pre žiakov z celého Slovenska. Úlohou ŠPÚ bolo priniesť informácie o výsledkoch žiakov a o testovacích nástrojoch. V úvodnej časti správy uvádzame východiská testovania základné informácie o priebehu externej časti maturitnej skúšky, testovacích nástrojoch a metódach spracovania dát. Túto časť správy uzatvárajú údaje o počte testovaných žiakov, zúčastnených škôl. Výsledky testu sú prezentované prostredníctvom základných štatistických charakteristík testu, distribúcie úspešnosti žiakov, pričom výsledky sú spracované podľa vybraných triediacich znakov. Zainteresovaných čitateľov (tvorcov testu, učiteľov, výskumných pedagogických pracovníkov) budú zaujímať bližšie charakteristiky testu, položková analýza. Táto ďalšia časť spracovaných výsledkov vypovedá o reliabilite (spoľahlivosti) testu, o homogénnosti položiek, o ich úspešnosti, citlivosti a neriešenosti. Súhrnné vyhodnotenie položiek testu poskytuje prehľad vlastností jednotlivých položiek. Informácie, ktoré správa prináša sú určené tvorcom testov, pedagogickým pracovníkom, decíznej sfére resp. širšej verejnosti. Závery a odporúčania vyplývajúce zo štatistických zistení sú smerované k skvalitneniu tvorby meracích nástrojov, prinášajú možnosti ďalších postupov pri overovaní meracích nástrojov, návrhy na možné spracovanie výsledkov v nasledujúcich testovaniach. Veríme, že zistenia budú podnetné a pozitívne ovplyvnia tvorbu maturitných testov a vyhodnocovanie úspešnosti žiakov v budúcich rokoch. Boli by sme radi, keby externá maturitná skúška si získala dôveru a kredit nielen v rámci Slovenska ale aj Európskej únie. Tento projekt je spolufinancovaný z prostriedkov Európskeho sociálneho fondu (ESF). 4
. Základné informácie o externej časti MS z matematiky Pre externú časť MS v predmete matematika boli pripravené testy dvoch úrovní. Žiaci si mohli vybrať, či budú písať test vyššej úrovne A (test MAA), alebo základnej úrovne B (test MAB). Žiaci, ktorí boli pripravovaní na maturitnú skúšku v predmete matematika s vyššou hodinovou dotáciou si mohli zvoliť úroveň A. Úroveň B bola určená žiakom pripravujúcim sa na maturitnú skúšku v prípade, že ich rozsah prípravy zodpovedal nižšej hodinovej dotácii. Túto úroveň si však mohli zvoliť aj žiaci, ktorí mali vyššiu hodinovú dotáciu (pozri Maturitný poriadok pre školský rok 004/005 bol schválený MŠ SR.5.00 pod číslom /00-09 a je zverejnený na www.education.gov.sk/sekcie/szs/metpok/matpor/matpor.htm alebo na stránkach ŠPÚ www.statpedu.sk/maturita/maturitny_poriadok.htm). V predmete matematika bol vypracovaný test základnej úrovne MAB, ktorý obsahuje 0 úloh: 0 úloh s výberom odpovede, 0 úloh s krátkou odpoveďou. Za správnu odpoveď získal žiak bod, za nesprávnu (alebo ak neodpovedal) 0 bodov. Test bol vypracovaný s prihliadnutím na hodinovú dotáciu v predmete matematika. Boli vytvorené dva varianty testu (5, 6), ktoré sa líšili poradím úloh a pri úlohách s výberom odpovede poradím aj distraktorov aj kľúčov. Na vypracovanie testov externej časti mali žiaci 0 minút. Odpovede testov externej časti maturitnej skúšky zapisovali žiaci do odpoveďových hárkov. Krátke odpovede aj úlohy s výberom odpovede boli skenované a následne centrálne počítačovo vyhodnotené podľa jednotného kľúča. 5
Metódy. Testovaní žiaci Do testovania v predmete matematika sa zapojili hlavne maturanti všeobecnovzdelávacích škôl gymnázií ale aj žiaci z ostatných stredných škôl, ktorí si vybrali matematiku ako maturitný predmet. V nasledujúcich tabuľkách uvádzame počty žiakov, tried a škôl zapojených do testovania v predmete matematika, štandardná úroveň: test MAB. Počty uvádzame triedené podľa typu školy, krajov, zriaďovateľa školy, pohlavia a variantov. V ďalšej časti uvádzame výsledky, ktoré potvrdzujú rovnomerné rozloženie variantov v testovanej populácii.. tabuľka: Počet škôl a žiakov podľa krajov Kraj BA TT TN NR ZA BB PO KE Spolu Školy Žiaci počet % počet % 56 4,7% 04 5,% 4 8,9% 684 8, 8,4% 984,5% 49,9% 84 9,9% 5,9% 64 4,8% 5,9% 94 0,9% 5,6% 96 6,4% 5,6% 9,% 8 00, 857 00,. tabuľka: Počet škôl a žiakov podľa zriaďovateľa Zriaďovateľ Krajský, okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenie Iný Spolu Školy Žiaci počet % počet % 5,8% 856 0, 98 78,% 6806 79,7%,5%,,5% 7,%,4%,5% 40 0,5% 69 7,4%,5% 4,%,5%,% 8 00, 857 00,. tabuľka: Počet škôl a žiakov podľa typu školy Typ školy GYM SOŠ ZSŠ SOU Špe Spolu Školy Žiaci počet % počet % 0 5,8% 670 78,6% 8,5% 074,6% 4 0,8% 9,7% 56 4,7% 48 5,,% 6,% 8 00, 857 00, 6
4. tabuľka: Počet žiakov podľa pohlavia Pohlavie chlapci dievčatá Spolu počet % 4595 5,8% 94 46,% 857 00, 7
V ďalšej časti uvádzame výsledky, ktoré potvrdzujú rovnomerné rozloženie variantov v testovanej populácii. 5. tabuľka: Počet žiakov podľa variantov Variant 5 6 Spolu počet % 485 50,% 45 49,8% 857 00, 6. tabuľka: Podiel žiakov podľa variantov.časť Kraj Zriaďovateľ Typ školy BA TT TN NR ZA BB PO KE Krajský, okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenie Iný GYM SOŠ ZSŠ SOU Špe Variant 5 6 % % 50, 50, 50,9% 49,% 49,9% 50,% 50,% 49,8% 50,% 49,8% 50, 50, 50,4% 49,6% 50,% 49,8% 50,% 49,8% 50,% 49,8%,% 66,7% 57,% 4,9% 49,8% 50,% 50,6% 49,4% 50, 50, 45,5% 54,5% 50, 50, 50,7% 49,% 5,7% 48,% 50,9% 49,% 50, 50, 7. tabuľka: Podiel žiakov podľa variantov.časť Pohlavie chlapci dievčatá Variant 5 6 % % 50,% 49,9% 50,% 49,7%. Metódy spracovania dát Po ukončení testovania boli odpoveďové hárky zaslané do ŠPÚ, ktorý zabezpečil ich ďalšie spracovanie. Odpoveďové hárky boli zoskenované a takto získané dáta boli ďalej elektronicky spracované. Výsledky boli vyhodnotené v štatistickom systéme SPSS.00. Na spracovanie výsledkov maturitnej skúšky a položkovej analýzy testov boli použité metódy štatistickej deskripcie, inferencie a vecná signifikancia rozdielov. V deskriptívnych častiach boli použité absolútne a relatívne početnosti, priemer, štandardná odchýlka, štandardná chyba priemeru, intervaly spoľahlivosti, pedagogické ukazovatele - štandardná chyba merania. Ich popis uvádzame v prílohe. 8
Štatistická inferencia spočívala v aplikácií t-testov a ANOVE. Vecná signifikancia rozdielov bola overovaná zodpovedajúcimi korelačnými mierami. Pre výpočet reliability testov bol použitý vzorec KR-0, pretože všetky otázky boli hodnotené binárne (0- ). 9
Výsledky.. Výsledky matematického testu EČ MS MAB 005 Cieľom testovania je zistiť úspešnosť žiakov s akou zvládli učivo daného predmetu. Úspešnosť žiaka v teste možno definovať ako percentuálny podiel bodov za položky, na ktoré žiak správne odpovedal z celkového počtu bodov. Úspešnosť žiakov v teste možno popísať nasledovnými štatistickými charakteristikami uvádzanými v nasledujúcich tabuľkách. Popis je uvedený v prílohe. Všeobecné výsledky 8. tabuľka: Výsledné psychometrické charakteristiky testu test MAB Priemer Počet testovaných žiakov 857 Maximum 00,0 Minimum,0 Priemer 7,7 Štandardná odchýlka 8,5 Intervalový odhad úspešnosti populácie - dolná hranica 6,5 Intervalový odhad úspešnosti populácie - horná hranica 00,0 Štandardná chyba priemernej úspešnosti, Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica 7, Interval spoľahlivosti pre priemernú úspešnosť - horná hranica 7, Štandardná chyba merania pre úspešnosť 7, Intervalový odhad úspešnosti individuálneho žiaka 4,0. graf: Histogram úspešnosti 0
test: MAB 700 600 500 Frekvencia 400 00 00 00 0 5 7 9 0 Úspešnosť Mean = 7,7 Std. Dev. = 8,4906 N = 8 55 Test MAB písalo 857 žiakov s priemernou úspešnosťou 7,7%. Test sa svojimi charakteristikami blíži ku CR kriteriálnemu (výstupnému testu). Z histogramu ako aj 9. tabuľky môžeme vidieť, že test rozlišoval lepšie slabších žiakov, ktorí získali získali 50-ty percentil alebo nižší, (77% percentnú úspešnosť a nižšiu). Úspešnosť nad kritickou hranicou % dosiahlo 96% žiakov.
9. tabuľka: Prepojenie úspešnosti a percentilu 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 Úspešnosť Percentil,0,0,, 6,7, 0,0,,, 6,7, 0,0,5,,8 6,7, 0,0,8,,5 6,7,7 40,0 5, 4, 7,0 46,7 9, 50,0,7 5, 4,6 56,7 7,9 60,0,8 6, 6,5 66,7,6 70,0 6,4 7, 4,8 76,7 48,0 80,0 54,9 8, 6,9 86,7 69, 90,0 76,9 9, 84,6 96,7 9,4 00,0 96,9 Analýza rozdielov vo výsledkoch V ďalšej časti analýzy poukazujeme na rozdiely vo výsledkoch žiakov podľa typu školy, krajov, zriaďovateľa, pohlavia a známky, ktorú žiaci získali na polročnom vysvedčení v danom predmete. Výsledky, ktoré popisujú priemernú úroveň vedomostí žiakov sú doplnené o štatistické testy a najmä o zisťovanie vecnej (pedagogickej) významnosti rozdielu. Určenie vecnej významnosti rozdielu je dôležité pri veľkých súboroch žiakov, kedy testy štatistickej významnosti rozdielov sú signifikantné i pri malých vecných rozdieloch výsledkov. Rozdiely podľa typu škôl 0. tabuľka: Úspešnosť podľa typu školy. Úspešnosť Typ školy GYM ostatné Spolu N Priemer Štd. chyba 670 76,8, 87 57,5,4 857 7,7, t (855) = 4,70; p=0,000 Vecná signifikancia rozdielu r= 0,48. Výsledky t testu poukazujú na signifikantne lepší priemerný výkon žiakov gymnázií.
Žiaci gymnázií dosiahli pedagogicky významne lepší priemer ako žiaci ostatných škôl.. tabuľka: Úspešnosť podľa typu školy.. graf: Úspešnosť podľa typu školy 0 9 77 7 64 Úspešnosť 5 5 46 Úspešnosť GYM SOŠ ZSŠ SOU Typ školy Typ školy GYM SOŠ ZSŠ SOU Špe Spolu Štd.chyba N Priemer priemeru 670 76,8, 074 6,8,5 9 5,0, 48 45,8,8 6 6,,8 857 7,7,. tabuľka: Vecný rozdiel medzi typmi škôl GYM-SOŠ GYM-ZSŠ GYM-SOU SOŠ-ZSŠ SOŠ-SOU ZSŠ-SOU Vecná signifikancia rozdielu medzi typmi škôl -,66 -,05 -,49 -,67 -,44 -,70 Po podrobnejšej analýze jednotlivých typov škôl sa znovu potvrdil pedagogicky významný rozdiel medzi výsledkami žiakov gymnázií a ostatných typov škôl. Žiaci stredných odborných škôl (SOŠ) dosiahli vecne lepší priemer ako žiaci združených škôl (ZSŠ) a učilíšť (SOU). Vecne najmenej významný rozdiel bol medzi výsledkami žiakov ZSŠ a SOU.. tabuľka: Porovnanie typov škôl s národným priemerom Národný priemer 7,7% 4 5 Typ školy t df Štat. sig. Vec. sig. GYM,40 6709,000,5 SOŠ -6,675 07,000,45 ZSŠ -8,57 8,000,7 SOU -5,58 47,000,86 Špe -,746 5,04,78 Väčšinu žiakov, ktorí písali test MAB tvorili gymnazisti (79%). Žiaci ostatných typov škôl dosiahli výsledky signifikantne pod národným priemerom. Rozdiely podľa krajov. graf: Úspešnosť podľa krajov
0 9 7 69 7 7 69 7 7 77 76 Úspešnosť 5 BA TT TN NR ZA BB PO KE Kraj 4. tabuľka: Úspešnosť podľa krajov Úspešnosť Kraj BA TT TN NR ZA BB PO KE Spolu Štd. chyba N Priemer priemeru 04 69,,5 684 7,,7 984 7,,6 84 69,4,6 64 7,5,5 94 7,0,6 96 77,,4 9 76,,5 857 7,7, 4
5. tabuľka: Vecný rozdiel medzi krajmi BA-TT BA-TN BA-NR BA-ZA BA-BB BA-PO BA-KE TT-TN TT-NR TT-ZA TT-BB TT-PO TT-KE TN-NR TN-ZA TN-BB TN-PO TN-KE NR-ZA NR-BB NR-PO NR-KE ZA-BB ZA-PO ZA-KE BB-PO BB-KE PO-KE Vecná signifikancia rozdielov medzi krajmi,097,047,00,080,04,8,75 -,059 -,0 -,0 -,06,07,07 -,047,06 -,004,78,7,078,04,7,76 -,09,,095,80,9 -,05 6. tabuľka: Porovnanie krajov s národným priemerom Národný priemer 7,7% 4 5 6 7 8 Kraj t df Štat. sig. Vecná sig. BA -6,58 0,000,7 TT,84 68,400,0 TN -,87 98,005,090 NR -5,40 84,000,75 ZA -,46 6,66,0 BB -,948 9,00,096 PO 0,57 95,000,7 KE 6,00 8,000,8 Prešovský a košický kraj sú významne nad národným priemerom. Žilinský, trnavský a trenčiansky a banskobystrický kraj sú na úrovni slovenského priemeru. Nitriansky a bratislavský kraj sú pod úrovňou priemeru. Rozdiely podľa zriaďovateľa 4. graf: Úspešnosť podľa zriaďovateľa 5
Úspešnosť 0 9 7 5 7 60 7 Štát Súkromník Cirkev Zriaďovateľ 7. tabuľka: Úspešnosť podľa zriaďovateľa Úspešnosť Zriaďovateľ Štát Súkromník Cirkev Spolu Štd. chyba N Priemer priemeru 766 7,, 59,9,6 69 7,0,7 85 7,7, 8. tabuľka: Vecný rozdiel medzi zriaďovateľmi Štát-Súkromník Štát-Cirkev Súkromník-Cirkev Vecná signifikancia rozdielu medzi zriaďovateľmi -,9 -,00,9 9. tabuľka: Porovnanie zriaďovateľov s národným priemerom Národný priemer 7,7% Zriaďovateľ t df Štat. sig. Vec. sig. Štát,89 766,066,0 Súkromník -7,88,000,46 Cirkev,490 68,64,0 Štátne a cirkevné školy dosiahli navzájom porovnateľné výsledky na úrovni celoslovenského priemeru. Súkromné školy dosiahli výsledky signifikantne horšie ako národný priemer. 6
Rozdiely podľa pohlavia 5. graf: Úspešnosť podľa pohlavia 0. tabuľka: Úspešnosť podľa pohlavia 0 9 7 7 74 5 chlapci dievčatá Pohlavie Úspešnosť Pohlavie chlapci dievčatá Spolu Štd. chyba N Priemer priemeru 4595 7,, 94 74,4, 857 7,7, t(855) = -7,99; p = 0,000. Vecná signifikancia je 0,086. Medzi chlapcami a dievčatami nie sú pedagogicky významné rozdiely. Rozdiely podľa známky 6. graf: Úspešnosť podľa známky. tabuľka: Úspešnosť podľa známky 0 Úspešnosť 9 7 5 8 74 67 6 54 Úspešnosť 4 5 Známka Známka 4 Spolu Štd. chyba prieme N Priemer ru 08 80,9, 85 74,0, 56 67,0,4 68 60,8,8 840 7,0, 7
- - -4 - -4-4 Vecná signifikancia medzi známkami -,0 -,85 -,455 -,9 -,7 -,4 Národný priemer 7,7% 4 Známka t df Štat. sig. Vecná sig. 5,587 07,000,47 4,75 84,000,07-5,8 55,000,0 4-5,769 680,000,5 Žiaci, ktorí mali na polročnom vysvedčení jednotku jednotkári dosiali výsledky významne nadpriemerné. Dvojkári dosiahli výsledok na úrovni slovenského priemeru. Trojkári, štvorkári a päťkári dosiahli výsledky signifikantne nižšie ako národný priemer. 8
.. Položková analýza Psychometrické charakteristiky testu MAB Vzhľadom na to, že sa v teste MAB nevyskytovali položky, ktoré by narúšali vnútornú homogenitu testu a hodnotenie žiadnej položky nebolo upravované, uvádzané psychometrické charakteristiky aj histogram sú identické s predchádzajúcou časťou všeobecné výsledky.. tabuľka: Výsledné psychometrické charakteristiky testu test MAB Priemer Počet testovaných žiakov 857 Maximum 00,0 Minimum,0 Priemer 7,7 Štandardná odchýlka 8,5 Intervalový odhad úspešnosti populácie - dolná hranica 6,5 Intervalový odhad úspešnosti populácie - horná hranica 00,0 Štandardná chyba priemernej úspešnosti, Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica 7, Interval spoľahlivosti pre priemernú úspešnosť - horná hranica 7, Štandardná chyba merania pre úspešnosť 7, Intervalový odhad úspešnosti individuálneho žiaka 4,0 7. graf: Histogram úspešnosti 700 test: MAB 600 500 Frekvencia 400 00 00 00 0 5 7 9 0 Úspešnosť Mean = 7,7 Std. Dev. = 8,4906 N = 8 55 Histogram je zošikmený doprava, najviac žiakov dosiahlo úspešnosť medzi 7 až 9%, čo naznačuje, že pre žiakov, ktorí si vybrali matematiku bol test MAB relatívne ľahký. 9
Porovnanie variantov 5 a 6 matematického testu MAB 005. tabuľka: Úspešnosť testu v oboch variantoch Porovnanie foriem - MAB Úspešnosť N Priemer Štd. chyba priemeru forma forma forma 5 6 5 6 5 6 484 45 7,6 7,8,, Poradie položiek pri forme 6 je upravené tak, aby rovnaké položky navzájom korešpondovali. 4. tabuľka: Percentuálna obťažnosť položiek v oboch variantoch 5. tabuľka: Pedagogický význam obťažnosti medzi variantmi Obťažnosť - MAB Položka Obťažnosť testu 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 Obťažnosť 5 Obťažnosť 6 Štd. chyba 5 Štd. chyba 6 7,4 7,,,,7 4,9,5,5 9,8 8,0,5,4 7, 6,4,4,4,7,5,5,5 4,9 5,6,,4,9,0,5,5 4,6,9,7,7 4,6 4,,, 8,8 8,7,7,7 8,5 8,,6,6 7,5 7,8,4,4 45, 44,5,8,8,,8,7,7 9,0 8,,7,7 4,0 5,,7,7 6,6 5,5,7,7,0,8,5,5 5,0 5,7,8,8 4,7 4,7,7,7 6,8 6,4,7,7 9,0 8,9,4,4 49, 49,5,8,8 4, 9,0,8,7 46, 48,,8,8 4,,,5,5 4, 6,0,7,7 4,5 4,8,8,8 5,,8,7,7 6, 5,5,7,7 47,5 47,,8,8 Vecná signifikancia Pearson Correlation forma Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0,007 -,08,0,04,00 -,06,04,007,0,00,00 -,005,007,004,009 -,04,0,00,00,00,004,00 -,00,0 -,00,07 -,07 -,00,08,009,00 0
6. tabuľka: Rozdiel obťažnosti medzi variantmi T-Test rovnosť priemerov v oboch formách 5 a 6 t-test for Equality of Means Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 Equal variances assumed Equal variances not assumed Equal variances not assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances not assumed Equal variances not assumed Equal variances assumed Equal variances assumed Equal variances assumed Equal variances not assumed Equal variances assumed Equal variances assumed Std. Error Sig. Mean Differenc t df (-tailed) Difference e -,68 85,56 -,,4,66 856,097,,8 -,007 8470,00 -,9,6 -,80 85,0 -,7,5 -,06 85,87 -,,7,448 85,48,7,5 -,5 85,8 -,9,7 -,677 85,498 -,7,0 -,975 85,9 -,4,4 -,07 85,94 -,, -,77 85,78 -,,8,470 85,69,,6 -,657 85,5 -,7, -,7 85,7 -,4,0 -,876 85,8 -,9,0,6 85,07,,0 -,0 85,6 -,,0 -,50 85,80 -,,7 -,6 85,8 -,, -,047 85,96,0,9 -,40 85,68 -,4,0 -,9 85,849 -,,6,66 85,790,, -,094 85,06 -,,,8 85,070,0, -,56 85,8 -,,7,578 85,5,6,0,5 85,75,, -,6 85,0 -,5,9 -,876 85,8 -,8,9 -, 85,755 -,, V položkách a sa ukazuje štatisticky signifikantný rozdiel medzi formami spôsobený asi polohou položiek. Tabuľka vecnej signifikancie však poukazuje na to, že pedagogicky nie je tento rozdiel natoľko významný, aby sme sa ním museli zaoberať. Záver: Obe formy testu MAB 5 a 6 sú z hľadiska obťažnosti rovnocenné. Preto pri výpočte úspešnosti a percentilu môžeme žiakov, ktorí písali akúkoľvek formu testu MAB medzi sebou porovnávať. Dôsledok pre položkovú analýzu: Pri výpočte dalších charakteristík budeme používať zástupnú formu 5. Obťažnosť Úspešnosť položky je percentuálny podiel žiakov, ktorí správne riešili danú položku. Obťažnosť položky je definovaná ako rozdiel: 0 - Úspešnosť položky. Platí, čím je úspešnosť v riešení danej položky nižšia, tým je položka obťažnejšia. Vzťah medzi obťažnosťou a úspešnosťou položky vyjadrených v percentách, je nasledovný: Obťažnosť= 0 - Úspešnosť. 8. graf: Grafy usporiadané podľa obťažnosti položiek
7 Obťažnosť 5 5 0 9 7 4 0 8 7 6 6 Obťažnosť testu 4 5 Položka 7 Obťažnosť 5 5 9 8 9 0 5 4 7 6 5 8 Položka V teste sa nevyskytujú položky s veľkou obťažnosťou nad. Položky s najväčšou obťažnosťou sú 0, 8,, 0.
Položky s veľmi nízkou obťažnosťou pod sú nasledovné: 0, 5,, 4, 7, 6. Položky s extrémne nízkou obťažnosťou pod sú tieto:,,,, 5, 8. Môžeme konštatovať, že položiek v teste bolo ľahkých. Úspešnosť Vzťah medzi obťažnosťou a úspešnosťou položiek je nasledovný: Úspešnosť = 0 - Obťažnosť. 7. tabuľka: Porovnanie úspešnosti položiek podľa typu školy 8. tabuľka: Pedagogický význam rozdielu úspešnosti podľa typu školy Porovnanie úspešnosti podľa typu škôl Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 Priemer v % Štd. chyba Typ školy Typ školy GYM ostatné GYM ostatné 76,8 57,,,6 88,8 77,,5,4 9,7 84,8,5, 94,8 85,8,4, 88,7 77,8,5,4 96,5 90,,,0 90,0 8,,5, 68,9 5,7,8,6 96,7 90,4,,0 68,4 5,,8,6 85,0 68,9,6,5 9,0 90,6,4,0 6,0 5,,8,4 7, 46,9,8,6 80, 7,7,7,6 7,4 46,6,8,6 78,0 57,,7,6 88, 8,7,6, 55,,0,9,4 79,0 6,,7,6 4, 9,5,9, 9,6 85,,5, 54, 8,4,9,6 64, 9,,8,6 60,6 9,,8,5 9, 6,0,5,6 76,0 8,4,7,5 58,9 47,8,8,6 79,0 59,4,7,6 77,9 58,6,7,6 57, 5,,9,6 Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 Vecná signifikancia Typ školy -,4 -,8 -,095 -,44 -, -,4 -, -,40 -, -,80 -,7 -,07 -, -, -,86 -,6 -,95 -,068 -,75 -,6 -,9 -,07 -,0 -,09 -,59 -,44 -,4 -,09 -,85 -,8 -,8
9. tabuľka: Rozdiely úspešnosti medzi typmi škôl Rozdiely medzi typmi škôl Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 t-test for Equality of Means Std. Error Sig. Mean Differen t df (-tailed) Difference ce 8, 0,000 9,5,7 7,8 0,000,5,5 5,4 49,000 6,8, 7,5 4,000 9,0, 7,4 4,000 0,9,5 6, 7,000 6,4,0 6, 47,000 8,7,4 8,9 400,000 6,,8 6,,000 6,,0 8,8 450,000,,8 9,8 50,000 6,,6, 45,0,4,,9 60,000 7,8,7 4,0 68,000 5,4,8 4,5 96,000 4,5,7,7 77,000 4,8,8,8 09,000 0,9,8 4,,000 5,6,4 0,7 740,000,,6 9,7,000 6,8,7 4,5 805,000,6,6 5,9 0,000 7,4, 8,7 50,000 5,7,8,8 460,000 4,9,8 8, 57,000,4,7 7,6 09,000 9,,7 8,8 4,000 47,6,7 6,0 464,000,,8, 0,000 9,5,8 0,9 4,000 9,4,8,4 54,000,,8 Rozdiely aj v celkovej úspešnosti aj vo všetkých položkách sú signifikantné v prospech študentov gymnázií. Pedagogicky významné rozdiely (rozdiel od 5%) sú v položkách 9,, 4, 5, 8,, 4, 5, 6. 0. tabuľka: Porovnanie úspešnosti podľa pohlavia. tabuľka: Pedagogický význam rozdielu úspešnosti medzi pohlaviami 4
Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 priemer v % Štd. chyba merania pohlavie pohlavie Chlapci Dievčatá Chlapci Dievčatá 7,0 74,5,4,4 85,8 86,9,7,8 90,9 89,,6,7 9,8 9,9,5,6 84,4 88,7,8,7 94, 96,,5,4 87,5 88,8,7,7 64, 66,9,0, 95,0 95,8,5,5 57,6 65,5,0, 8,0 79,8,8,9 94,7 90,0,5,7 49,5 60,9,0, 6,7 7,7,0,0 64,5 78,5,0,9 6, 69,,0,0 7,7 74,,9,0 89, 84,5,6,8 44, 5,5,0, 74, 76,5,9,0 7,7 6,6,0, 9,0 90,9,6,6 5,8 48,4,0, 56,7 6,,0, 49,4 58,8,0, 8,5 88,4,8,7 58,5 74,0,0,0 54, 59,0,0, 7,9 78,0,9,9 7,7 7,8,9,0 50,5 54,8,0, Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 Vecná signifikancia podľa pohlavia,094,07 -,07,00,06,05,00,09,08,08 -,04 -,088,4,7,5,06,09 -,07,08,06 -,0 -,00 -,04,047,094,070,6,047,070,00,04 5
. tabuľka: Rozdiel úspešnosti medzi pohlaviami Rozdiel medzi dievčatami a chlapcami Úspešnosť p0 p0 p0 p04 p05 p06 p07 p08 p09 p0 p p p p4 p5 p6 p7 p8 p9 p0 p p p p4 p5 p6 p7 p8 p9 p0 t-test for Equality of Means Sig. t df (-tailed) Rozdiel -6, 47,000 -,5 -, 48,7 -,,8 408,080,6 -, 40,845 -, -4, 48,000-4, -,4 460,00 -, -, 48,96 -, -,9 4,06 -,7 -, 46,5 -,8-5, 40,000-7,9,7 4094,008, 5,7 64,000 4,6-7,5 47,000 -,4-7,7 466,000 -,0-0, 48,000-4,0-4, 45,000-6,0 -, 4,7 -,7 4,6 97,000 4,8-5,4 48,000-8, -,7 4,09 -,,8 496,450,, 478,84,,8 488,005 4, -, 409,00-4,7-6, 407,000-9,4-4,6 48,000-4,9-0,9 477,000-5,5 -, 404,00-4,7-4,6 46,000-6, -, 49,9 -, -,8 494,005-4, Celkovo nie je pedagogicky významný rozdiel medzi úspešnosťou chlapcov a dievčat. Pri položkách,,4,6 sú pedagogicky zaujímavé rozdiely v prospech dievčat, ktoré si vyžadujú pozornosť od tvorcov testov. 6
9. graf: Úspešnosť žiakov v jednotlivých položkách 0. graf: Položky s krátkou odpoveďou usporiadané podľa úspešnosti 7
Položky s výberom odpovede usporiadané podľa úspešnosti Reliabilita a medzipoložková korelácia Reliabilita testu je hodnota, ktorá vypovedá o presnosti merania. Hovorí tom, do akej miery by sa výsledok testovania menil, ak by sme meranie opakovali. Jej hodnota sa nachádza v intervale <0,>. Čím je reliabilita testu vyššia, tým je použitý merací nástroj test presnejší. Reliabilitu testu je tým vyššia, čím je vyšší počet položiek testu, vyšší počet testovaných žiakov, vyššia citlivosť položiek, väčšia korelácia položiek s testom, väčšia variabilita (SD ) na úrovni žiakov.. tabuľka: Reliabilita testu MAB Počet Kronbachovo alfa položiek,85 0 8
. graf: Korelácie jednotlivých položiek so zvyškom testu. graf: Položky s krátkou odpoveďou usporiadané podľa medzipoložkových korelácií 9
. graf: Položky s výberom odpovede usporiadané podľa medzipoložkových korelácií Položky s najväčšou medzipoložkovou koreláciou (Point Biserial - PB) 4,, 8, 9. Celkovo polovica položiek má PB nad. Najnižšiu koreláciu medzi až 5% majú položky 5, 7,, daná PB je však pre test prijateľná. Zvyšných 7 položiek má optimálnu PB nad 5%. Kľúče a distraktory V tejto časti sa budeme venovať položkám s výberom odpovede. V teste z matematiky sú to položky až 0. Popis tabuľky: V hlavičke tabuľky sú uvedené možnosti odpovedí A, B, C, D, E. V. riadku sú uvedené hodnoty Point biseriálneho koeficientu (P.B.). Pri správnej odpovedi by mala byť hodnota P.B. väčšia ako 0,0 (optimálne väčšia ako 0,5). Pri nesprávnej odpovedi (distraktore) by mala byť hodnota záporná. V druhom riadku p znamená podiel žiakov, ktorí si vybrali danú možnosť. V treťom riadku N znamená počet žiakov, ktorí si vybrali danú možnosť. Správna odpoveď na otázku kľúč je vyznačený žltou farbou. Akékoľvek nedodržanie týchto podmienok zvýrazňujeme ružovou farbou. 4. tabuľka: Položky s výberom odpovede Analýza distraktorov - Analýza distraktorov A B C D E P. Bis. -,08 -,,6 -,5 -,0 p,0,04,9,0,0 N 4 6 897 47 0
- Analýza distraktorov A B C D E P. Bis. -,4 -,,7 -,0 -, p,0,0,5,,0 N 49 6 74 45 5 - Analýza distraktorov A B C D E P. Bis. -,4 -,4 -,6 -,,7 p,5,0,0,0,59 N 484 99 65 99 50 4 - Analýza distraktorov A B C D E P. Bis. -,0,46 -,0 -, -,6 p,0,54,,06,05 N 7 0 44 48 09 5 - Analýza distraktorov A B C D E P. Bis.,5 -,4 -,9 -, -,7 p,86,04,04,0,0 N 675 80 5 7 08 6 - Analýza distraktorov A B C D E P. Bis. -, -,0 -,,47 -,7 p,5,0,05,66,04 N 655 4 08 8 80 7 - Analýza distraktorov A B C D E P. Bis. -,7 -,,04 -,, p,,,4,05,56 N 50 490 584 0 40 8 - Analýza distraktorov A B C D E P. Bis. -,4 -,7 -,4,4 -,7 p,0,04,07,75, N 78 88 4 0 455
9 - Analýza distraktorov A B C D E P. Bis.,48 -, -,6 -,7 -,8 p,74,,09,0,0 N 58 500 85 70 5 0 - Analýza distraktorov A B C D E P. Bis. -,,5 -,9 -, -,9 p,07,5,,04, N 89 48 95 90 460 V položke 7 kladná hodnota point biserialu 0,04 v distraktore C naznačuje jeho problematickosť. Citlivosť Pod citlivosťou položky diskriminačnou silou položky rozumieme schopnosť položky rozlíšiť dobrých a zlých žiakov. Žiakov usporiadame do poradia podľa ich úspešnosti v teste. Zoradených žiakov rozdelíme do piatich skupín. V našom prípade predstavuje citlivosť položky rozdiel priemernej úspešnosti medzi najslabšou a najlepšou pätinou testovaných žiakov. 4. graf: Citlivosť položiek
5. graf: Položky s krátkou odpoveďou usporiadané podľa citlivosti 6. graf: Položky s výberom odpovede usporiadané podľa citlivosti Takmer polovica (4) položiek má vynikajúcu citlivosť nad 58 % - 8,, 9, 4, 7,, 5, 0, 4,6, 6, 9, 9. Test pomerne dobre rozlišuje slabých a dobrých žiakov. Medzi najmenej citlivé položky s citlivosťou pod 0 % patria položky,, 8, 5.
Distribúcia úspešnosti a citlivosť Na skúmanie citlivosti položiek sme vytvorili špeciálne grafy distribúcie úspešnosti. Rozdelili sme žiakov podľa úspešnosti v teste do 0 skupín - decilov. V každej skupine je žiakov. V prvej skupine je TOP najúspešnejších žiakov, v druhej ďalších menej úspešných a v desiatej LOW najslabších žiakov v danom teste. Grafy ukazujú distribúciu skúmanej populácie, ktorá umožňuje podrobne sledovať obťažnosť a citlivosť jednotlivých položiek 7. graf: Grafy distribúcie úspešnosti a citlivosť jednotlivých položiek Na x-ovej osi sú žiaci rozdelení do 0 skupín. V prvej () skupine sa nachádzajú žiaci s najvyššou percentuálnou úspešnosťou riešenia testu a postupne až v desiatej (0) skupine je.najslabších žiakov. Na y-ovej osi je znázornená priemerná úspešnosť danej skupiny. Na ľavej strane grafu je uvedená priemerná citlivosť danej položky. 0 0,9% 4,6% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 0 0,6% 0.7% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4
5 6 0 0.4%.7% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 7 8 0 0 7.% 4.% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 9 0 0 0 80. 44.% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 0 0 9.4% 84.5% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 5 4 5 6 7 8 9 0 Rozdelenie na 0 skupín
4 0 0 7.% 76.% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 5 6 0 0 69.9% 65.% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 7 8 0 0 8.% 86.7% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 9 0 0 0 58.7% 68.9% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 6
0 0 9.% 5.5% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 0 0 5.8% 66.8% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 5 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 6 0 0 46.6% 64.% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 7 8 0 0 47.7% 50.5% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 7
9 0 0 0 58.% 7.4% 4 5 6 7 8 9 0 Rozdelenie na 0 skupín 4 5 6 7 8 9 0 Rozdelenie na 0 skupín Na grafoch môžeme pozorovať, že položky s vynikajúcou citlivosťou (nad 58 %) aj opticky výborne rozlišujú žiakov medzi skupinami. Takmer polovica (4) položiek má vynikajúcu citlivosť - 7, 9,,, 4, 5, 6, 8, 9, 0, 4, 6, 9. Test pomerne dobre rozlišuje slabých a dobrých žiakov. Medzi najmenej citlivé položky s citlivosťou pod 0 % patria položky 5, 8,, čo možno opticky pozorovať aj na grafoch. 8
Neriešenosť Neriešené položky predstavujú percentuálny súčet nedosiahnutých a vynechaných položiek. Vynechané položky sú položky, ktoré žiak vynechal neriešil, ale niektorú z nasledujúcich ešte riešil. Nedosiahnuté položky sú tie, ktoré žiak pre nedostatok času neriešil. Za nedosiahnutú považujeme každú položku, po ktorej žiak žiadnu z položiek neriešil. Poslednú položku v teste posudzujeme podľa poslednej položky v teste. Predpokladáme, že nedosiahnuteľnosť poslednej položky v teste je rovnaká ako nedosiahnuteľnosť predposlednej položky. Je zaujímavé si všimnúť, že položky s výberom odpovede majú nižšiu neriešenosť, čo môžeme pripísať na vrub tipovania. Pri položkách s tvorbou krátkej odpovede percento neriešenosti je vyšššie. 5. tabuľka: Neriešenosť podľa typu položky Neriešenosť 5 Typ položky Priemer N krátka odpoved 8,4 0 výber odpovede,0 0 Spolu 6,0 0 8. graf: Neriešenosť položiek 9
9. graf: Položky s krátkou odpoveďou usporiadané podľa neriešenosti 0. graf: Položky s výberom odpovede usporiadané podľa neriešenosti Neriešenosť položiek je veľmi nízka. Najvyššiu neriešenosť mali položky 8, 0 a a to bolo medzi a. Nedosiahnuteľnosť všetkých položiek je menšia ako %. Z toho vyplýva, že žiaci mali dostatok času na riešenie matematického testu. 40
.. Súhrnné charakteristiky položiek V tejto časti prezentujeme prehľad vlastností položiek testu. Zamerali sme sa predovšetkým na obťažnosť, citlivosť, homogénnosť položiek (koreláciu medzi položkou a zvyškom testu) a neriešenosť položiek. V nasledujúcej tabuľke uvádzame súhrnné charakteristiky jednotlivých položiek v teste. Ružovou farbou sú zvýraznené položky, ktoré sa javia ako problematické z hľadiska niektorých štatistických charakteristík, t.j. majú obťažnosť nad 9, citlivosť nižšiu ako, neriešenosť väčšiu ako, nedosiahnuteľnosť väčšiu ako a Point Biserial - koreláciu so zvyškom testu nižšiu ako. 6. tabuľka: Súhrnné charakteristiky položiek MAB 005 Charakteristiky položiek 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Point Biserial,7,9,,8,9 9,7 9,8 4,6,,6,7 8, 7,,6,,0,, 4,7 0,7,,5,6 0,4 5 4,9,4,,4,4,5 6,9,7,,4,4, 7 4,6 7,, 6,7 6,8 48,8 8 4,6 4,,,5,6 6,0 9 8,8 80,0, 4,6 4,7 54, 0 8,5 44,, 6,9 7,0 7,9 7,5 9,4,,, 5,6 45, 84,5,,0, 55,6, 7,, 8, 8,4 49,9 4 9,0 76,, 4,5 4,6 57, 5 4,0 69,9, 8,4 8,5 47,9 6 6,6 65,, 8,4 8,5 49, 7,0 8,,,8,9 7,4 8 5,0 86,7, 9,4 9,5 55, 9 4,7 58,7, 6, 6,4 44,4 0 6,8 68,9, 8,5 8,6 4,6 9,0 9,,,, 0,6 49, 5,5,,, 8,5 4, 5,8,,,4 9,0 4 46, 66,8,,, 8, 5 4, 46,6,,9,0 45,7 6 4, 64,,,, 9,9 7 4,5 47,7,,,4,8 8 5, 50,5,,9, 5,4 9 6, 58,,6,,8 4,0 0 47,5 7,4,6,8, 4,4 4
Citlivosť 5 80,0 60,0 40,0 B 7 B A B A A A 0 7 B 0 5 B4 6 6 B A 9 9 B 8 B A 5 0 A A A 9 A 8 4 Typ položky A krátka odpoveď B výber odpovede Obťažnosť 5 A A A 4,6,7 6,8 0,0 B A A A A 4 7 A A A A A 5 8 6 0,00 0,00 40,00 50,00 Point Biserial Výborné sú položky 8,, 9, 4, ktoré majú vynikajúcu citlivosť a zároveň medzipoložkovú koreláciu. Slabšie sú položky, 7, 5,, 8, ktoré majú najnižšiu citlivosť a zároveň medzipoložkovú koreláciu.. graf: Vzťah citlivosti a korelácie vzhľadom na položky s prihliadnutím na obťažnosť položiek 4
Obťažnosť 5 Citlivosť 5 Neriešenosť 5 Point Biserial 0 9 7 5 4 8 7 5 0 9 4 8 7 7 Položka. graf: Charakteristiky položiek Žiadna z položiek nemá také charakteristiky, pre ktoré by sme ju mali vylúčiť z testu. Testové položky oproti roku 004 majú nízku neriešenosť, dobré charakteristiky citlivosti a medzipoložkovej korelácie aj prijateľnú úspešnosť. Z tohto pohľadu sa podarilo tvorcom testu zostaviť síce ľahší test, avšak s homogénnymi položkami, ktoré majú dobrú meraciu schopnosť. 4
ZÁVERY test MAB Maturitný test základnej úrovne z matematiky MAB písalo 857 žiakov z 8 škôl. Predstavuje to celkovo % zo všetkých maturantov v roku 005, ktorých bolo 694. Testovaní žiaci boli predovšetkým z gymnázií (79%). Test MAB si zvolilo viac chlapcov (54%) ako dievčat (46%). Žiaci písali dva varianty testu, ktoré sa líšili hlavne poradím otázok. Každý variant testu písalo cca 5 žiakov a žiaci v oboch variantoch dosiahli rovnakú úspešnosť Žiaci dosiahli priemernú úspešnosť 7%. Gymnazisti dosiahli signifikantne lepšie výsledky (77%), ako žiaci z ostatných škôl (56%). Štátne a cirkevné školy dosiahli navzájom porovnateľné výsledky na úrovni celoslovenského priemeru. Súkromné školy dosiahli signifikantne slabšie výsledky. Reliabilita testu MAB bola veľmi dobrá (0,84). Test MAB bol ľahký, čo vyplýva z viacerých faktorov histogram zošikmený doprava, vysoká priemerná úspešnosť, veľa položiek () s nízkou obťažnosťou (pod ). Celkovo bol test MAB veľmi dobrý. Oproti proti minulému roku 004 sa v roku 005 vylepšilo viacero aspektov: Celková priemerná úspešnosť žiakov v teste MAB sa zvýšila z 4% na 7%. Čo sa týka položiek znížila sa problémová vysoká priemerná neriešenosť položiek s krátkou odpoveďou zo 4% na cca 8%. Pozitívny vplyv mala aj výmena poradia typov položiek v teste najprv boli položky s krátkou odpoveďou a na záver položky s výberom odpovede. Nízka neriešenosť položiek vypovedá o tom, že žiaci mali dostatok času na vypracovanie jednotlivých častí testu. Oproti minulému roku (kde boli dve položky problémové) mali všetky položky dobrú medzipoložkovú koreláciu (Point Biserial nad ). Zlepšila vnútorná homogenita testu test dobre, konzistentne meral matematické schopnosti. Grafy distribúcie úspešnosti a citlivosti položiek aj graficky zobrazujú výbornú rozlišovaciu schopnosť položiek. Odporúčania tvorcom testu: Oblasti ktoré boli zastúpené veľmi málo obťažnými položkami by bolo treba primerane zťažiť, vymeniť niekoľko položiek (cca 0-5%), za ťažké, ktoré by rozlíšili najlepších žiakov. Výrazné zvýšenie priemernej úspešnosti voči roku 004 (48%) môžeme pripísať viacerým faktorom: Novelizácia vyhlášky o maturitnej skúške. Matematika sa nachádza v bloku prírodovedných predmetov povinne voliteľných len pre žiakov gymnázií. Žiaci z ostatných typov škôl si matematiku vyberali len ako nepovinný maturitný predmet, čo znamená, že žiadny žiak z SOŠ, ZSŠ a SOU nemusel maturovať z matematiky. Teda z negymnaziálnych škôl si matematiku vybrali len najlepší žiaci. Pre tých študentov, ktorí si zvolili matematiku (cca % z populácie maturantov) bol test relatívne ľahký. (96% študentov malo úspešnosť nad %). Nezanedbateľný vplyv na úspešnosť mohol mať aj zodpovedný prístup študentov k ostrej maturite. Po prvýkrát v histórii Slovenska sa výsledky z externej časti uvádzajú na maturitnom vysvedčení. Tvorcovia testu reagovali na štatistické vyhodnotenia a analýzy testov z generálnej skúšky v roku 004 a taktiež na pripomienky pedagogickej verejnosti a zámerne sa snažili vytvoriť test adekvátny danej populácii. Žiaci mohli využiť testy z predchádzajúcich rokov na lepšie oboznámenie sa s formou testu a rozvinúť si zručnosti a schopnosti pri riešení testov. 44
Literatúra Burjan, V.: Tvorba a využívanie školských testov vo vzdelávacom procese. Exam Bratislava 999. Hendl, J.: Přehled statistických metod zpracování dát. Portál, Praha 004. Lapitka,M.: Tvorba a použitie didaktických testov. Bratislava, ŠPÚ 996 Ritomský, A.; Zelmanová, O.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní položková a multivariačná analýza s využitím systému SPSS, ŠPÚ Bratislava 00. Ritomský, A.; Zelmanová, O.; Zelman, J.: Štatistické spracovanie a analýza dát rozdiahlych monitorovaní s využitím systému SPSS, ŠPÚ Bratislava 00. Sklenárová, I.; Zelmanová, O.: Metodika spracovania dát z maturity 005 v systéme SPSS, ŠPÚ Bratislava 005. Spousta, J.: Používání syntaxe v programu SPSS, SC&C, Centrum výuky, SPSS 000 SPSS Base 0.0 User`s Guide, by SPSS Inc., Chicago 999. SPSS Base 7.0 Syntax Reference Guide, by SPSS Inc., Chicago 996. Turek,I.: Učiteľ a pedagogický výskum. Metodické centrum, 998 Wimmer, G.: Štatistické metódy v pedagogickom výskume, Gaudeamus, Hradec Králové 99 www.scio.cz/tvorba_testu/teorie_testu/z_teorie.htm Zelmanová, O., Sklenárová I.: Analýza úspešnosti, položiek a variantov testu z matematiky MAA004, http://www.statpedu.sk/maturita/gs004/gs_nkms_004_vysledky.htm 45
PRÍLOHA Slovník základných pojmov Úlohou merania je zistiť úspešnosť žiakov s akou zvládli daný test. Úspešnosť žiaka možno definovať ako percentuálny podiel bodov za položky, na ktoré žiak správne odpovedal z celkového počtu bodov. Úspešnosť žiakov v teste možno popísať nasledovnými štatistickými charakteristikami: Maximum najvyššia dosiahnutá úspešnosť maximálny počet percent, ktoré dosiahol nejaký z testovaných žiakov. Minimum najnižšia dosiahnutá úspešnosť minimálny počet percent, ktoré dosiahol nejaký z testovaných žiakov. Priemerná úspešnosť x definujeme ju podľa štandardného vzorca pre aritmetický priemer. x i... úspešnosť i-teho žiaka n... počet žiakov x n i= = n x i Štandardná odchýlka SD vyjadruje mieru rozptýlenia úspešnosti žiakov od aritmetického priemeru. Čím je táto odchýlka väčšia, tým je úspešnosť rozptýlenejšia a teda existujú veľké rozdiely vo výkonoch žiakov. S počtom testovaných žiakov štandardná odchýlka spravidla klesá. SD = n i= ( x x) i n Intervalový odhad úspešnosti populácie počítame zo štandardnej odchýlky. Pri použití pravidla približne štandardných odchýlok určuje interval, v rozmedzí ktorého sa umiestnilo 95% testovaných žiakov. -,96 SD,,96 SD Štandardná chyba priemeru SE dokumentuje s akou presnosťou je vypočítaná hodnota priemernej úspešnosti. S počtom testovaných žiakov štandardná odchýlka spravidla klesá. Čím je menšia štandardná chyba priemeru, tým presnejšie charakterizuje priemer testovanú populáciu. SD SE = n Interval spoľahlivosti pre populačný priemer počítame zo štandardnej chyby priemeru. V našej práci reprezentuje interval (pravidlo SE), v ktorom sa s 95%-nou pravdepodobnosťou nachádza populačný priemer. -,96 SE,,96 SE 46
Štandardná chyba merania SEM je ukazovateľom presnosti merania, do ktorého vstupujú faktory štandardná odchýlka a reliabilita testu. Tento ukazovateľ má význam pri určovaní intervalového odhadu skutočnej úspešnosti individuálneho žiaka. Čím je štandardná chyba merania menšia (čím je nižšia štandardná odchýlka a vyššia reliabilita), tým presnejšie je určený bodový odhad výsledku individuálneho žiaka. SEM ( SD ( α )) = Intervalový odhad úspešnosti individuálneho žiaka je interval, v ktorom sa s 95%-nou pravdepodobnosťou nachádza skutočná úspešnosť individuálneho žiaka. Tento interval dostaneme, ak k nameranej úspešnosti žiaka pripočítame a odpočítame,96-násobok štandardnej chyby merania. x i -,96 SEM, x +,96 SEM i Reliabilita testu Reliabilita testu je hodnota, ktorá vypovedá o presnosti merania. Hovorí tom, do akej miery by sa výsledok testovania menil, ak by sme meranie opakovali. Jej hodnota sa nachádza v intervale <0,>. Čím je reliabilita testu vyššia, tým je použitý merací nástroj test presnejší. Reliabilitu testu je tým vyššia, čím je vyšší počet položiek testu, vyšší počet testovaných žiakov, vyššia citlivosť položiek, väčšia korelácia položiek s testom, väčšia variabilita (SD ) na úrovni žiakov. Pri binárnom hodnotení položiek používame Kuder-Richardsonov vzorec KR-0, pri zložitejšom viacbodovom hodnotení položiek počítame Cronbachovo alfa. KR 0 = SD k k k i= p SD i ( p ) i Cronbachovoα = SD SD k k k i= SD i SD... celková variabilita i SD... variabilita i-tej položky Test je reliabilný, ak sú jeho položky homogénne vnútorne konzistentné. Vnútorná homogenita - konzistencia spočíva v tom, že jednotlivé položky medzi sebou korelujú, pretože merajú spravidla tú istú vlastnosť. Koreláciou medzi položkou a zvyškom testu (item-total correlation, point biserial) nazývame koeficienty korelácie medzi úspešnosťou vybranej položky a sumou úspešností všetkých ostatných položiek. Obťažnosť položiek - úspešnosť položiek Úspešnosť položky je percentuálny podiel žiakov, ktorí správne riešili danú položku. Obťažnosť položky je definovaná ako rozdiel: 0 - Úspešnosť položky. Platí, čím je úspešnosť v riešení danej položky nižšia, tým je položka obťažnejšia. Vzťah medzi obťažnosťou a úspešnosťou položky vyjadrených v percentách, je nasledovný: Obťažnosť= 0 - Úspešnosť Neriešenosť položiek Neriešené položky predstavujú percentuálny súčet nedosiahnutých a vynechaných položiek. Vynechané položky sú položky, ktoré žiak vynechal neriešil, ale niektorú z nasledujúcich ešte riešil. 47
Nedosiahnuté položky sú tie, ktoré žiak pre nedostatok času neriešil. Za nedosiahnutú považujeme každú položku, po ktorej žiak žiadnu z položiek neriešil. Poslednú položku v teste posudzujeme podľa poslednej položky v teste. Predpokladáme, že nedosiahnuteľnosť poslednej položky v teste je rovnaká ako nedosiahnuteľnosť predposlednej položky. Citlivosť položiek Pod citlivosťou položky diskriminačnou silou položky rozumieme schopnosť položky rozlíšiť dobrých a zlých žiakov. Žiakov usporiadame do poradia podľa ich úspešnosti v teste. Zoradených žiakov rozdelíme do piatich skupín. V našom prípade predstavuje citlivosť položky rozdiel priemernej úspešnosti medzi najslabšou a najlepšou pätinou testovaných žiakov. Navzájom zodpovedajúce položky vo variantoch 7. tabuľka: Tabuľka navzájom zodpovedajúcich položiek vo variantoch a5 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 Total N a6 5 4 0 9 6 7 8 5 4 6 8 9 7 0 5 4 8 6 7 0 9 0 a6 4 5 6 7 8 9 0 4 5 6 7 8 9 0 4 5 6 7 8 9 0 Total N a5 6 4 8 9 0 7 5 6 4 5 9 7 8 0 4 5 7 8 6 0 9 0 48
Test z matematiky MAB variant 5 Test obsahuje 0 úloh. MATURITA 005 EXTERNÁ ČASŤ M A T E M A T I K A úroveň B kód testu: 5 NEOTVÁRAJTE, POČKAJTE NA POKYN! PREČÍTAJTE SI NAJPRV POKYNY K TESTU! V teste sa stretnete s dvoma typmi úloh: - Pri úlohách s krátkou odpoveďou napíšte jednotlivé číslice výsledku do príslušných políčok odpoveďového hárka. Rešpektujte pritom predtlačenú polohu desatinnej čiarky. - Pri úlohách s výberom odpovede vyberte správnu odpoveď spomedzi niekoľkých ponúkaných možností, z ktorých je vždy správna iba jedna. Správnu odpoveď zaznačte krížikom do príslušného políčka odpoveďového hárka. Z hľadiska hodnotenia sú všetky úlohy rovnocenné. Na vypracovanie testu budete mať 0 minút. Pri práci smiete používať iba písacie potreby, kalkulačku a prehľad vzorcov, ktorý je súčasťou tohto testu. Nesmiete používať zošity, učebnice ani inú literatúru. Poznámky si robte na pomocný papier. Na obsah pomocného papiera sa pri hodnotení neprihliada. Podrobnejšie pokyny na vyplňovanie odpoveďového hárka sú na poslednej strane testu. Prečítajte si ich. Pracujte rýchlo, ale sústreďte sa. Želáme Vám veľa úspechov! Začnite pracovať, až keď dostanete pokyn! ŠPÚ BRATISLAVA 005 49
Časť I Vyriešte úlohy 0 0 a do odpoveďového hárka zapíšte vždy iba výsledok nemusíte ho zdôvodňovať ani uvádzať postup, ako ste k nemu dospeli. Výsledok zapisujte do odpoveďového hárka pomocou desatinných čísel. Pri zápise rešpektujte predtlačenú polohu desatinnej čiarky. Znamienko (mínus) napíšte do samostatného políčka pred prvú číslicu. Označenie jednotiek (stupne, metre, minúty, ) nezapisujte do odpoveďového hárka. Ak je Váš výsledok celé číslo, nevypĺňajte políčka za desatinnou čiarkou. Napríklad výsledok, zapíšte, výsledok 5 cm zapíšte 5, výsledok 47,9º zapíšte 4 7, 9 0 V chladničke sú rôzne ovocné jogurty. Koľkými spôsobmi možno z nej postupne vybrať jogurty, ak záleží na poradí v akom jogurty vyberáme? 0 Graf znázorňuje, ako dopadla písomka z matematiky v 4. D. Aký je priemer známok z tejto písomky? 0 Dĺžky strán trojuholníka sú v pomere 7 : 6 : 4. Najkratšia strana má 6 cm. Aký obvod (v centimetroch) má tento trojuholník? 04 Riešte nerovnicu 9 + 4x 5( x ) > 0. Do odpoveďového hárka napíšte, koľko riešení tejto nerovnice patrí do množiny celých kladných čísel. x + y = 9 05 Riešte sústavu. Do odpoveďového hárka zapíšte len hodnotu neznámej x. x y = x 06 Ktoré záporné číslo je koreňom rovnice = 9? 07 Nájdite riešenie (v stupňoch) rovnice cos = x v intervale ( ; 60 ) 80. 50
08 V pravouhlom trojuholníku ABC sa AB =, BC =, 8. Akú dĺžku má strana AC? Poznámka: Medzivýsledky ani vypočítanú dĺžku strany nezaokrúhľujte. 09 Pre ktoré číslo a sú priamky p : x y = 0 a q : 6x + ay 8 = 0 rovnobežné? 0 V kvádri ABCDEFGH poznáme súradnice bodov D [ 0 ; 0 ; 0], A [ ; 0 ; 0] a [ 0 ; ; 5] Bod S [ a b ; c] G. ; je stred hrany CG. Vypočítajte súradnice a, b, c bodu S a do odpoveďového hárka napíšte hodnotu súčtu a + b + c. Kruhový diagram zobrazuje výsledky hodov hracou kockou. Koľkokrát sa hádzalo kockou, ak viete, že štvorka padla štyrikrát? x práve jedno riešenie? Pre ktoré číslo m má rovnica + ( m ) x + m = 0 Ktoré reálne číslo x je jediným riešením rovnice 8 + log ( x ) = log ( 0 x) log 0 0 0? 4 Akú dĺžku má polomer kružnice určenej rovnicou x + y 6x + 8y 4 = 0? 5
5 Pravidelný šesťuholník ABCDEF je vpísaný do kruhu s polomerom 6 cm. Vypočítajte s presnosťou na dve desatinné miesta dĺžku jeho uhlopriečky AC (v cm). Poznámka: Zaokrúhlite len vypočítanú dĺžku uhlopriečky, nezaokrúhľujte čísla, ktoré používate pri medzivýpočtoch. 6 Dané sú body A [ ; 8] a B [ 7 ; 6] súradnicovej sústavy?. Aká je vzdialenosť stredu úsečky AB od začiatku 7 V parlamente z prítomných poslancov hlasovalo 80 %, z toho polovica bola za prijatie návrhu A. Koľko poslancov bolo prítomných na tomto hlasovaní, ak za prijatie návrhu A hlasovalo 6 poslancov? 8 V geometrickej postupnosti je prvý člen nenulový. Súčet prvého a tretieho člena je dvojnásobok súčtu prvých troch členov tejto postupnosti. Akú hodnotu má kvocient q tejto postupnosti? 9 Objem V zrezaného rotačného kužeľa počítame pomocou vzorca V = πv ( R + Rr + r ), kde v je vzdialenosť hornej a dolnej podstavy zrezaného kužeľa, R je polomer dolnej podstavy a r polomer hornej podstavy. Otáčaním lichobežníka znázorneného na obrázku okolo osi y vznikne zrezaný rotačný kužeľ. Vypočítajte jeho objem. Pri výpočte použite namiesto π hodnotu 7. 0 V trojuholníku ABC sú body K, L, v tomto poradí, stredmi strán AB a BC. Bod M leží na strane AC. Vypočítajte (v cm ) obsah trojuholníka KLM, ak poznáte obsahy P = 0 cm, P = 7 cm a P = cm. KBL AKM MLC 5