Microsoft Word - MA2005.doc

Prepis

1 Analýza úspešnosti, položiek a variantov testu z matematiky MAA 005 Externá časť maturitnej skúšky Viera Ringlerová, Oľga Zelmanová ŠPÚ Bratislava 005

2 ÚVOD...4. Základné informácie o externej časti MS z matematiky... 5 METÓDY...6. Testovaní žiaci tabuľka: Počet škôl a žiakov podľa krajov tabuľka: Počet škôl a žiakov podľa zriaďovateľa tabuľka: Počet škôl a žiakov podľa typu školy tabuľka: Počet žiakov podľa pohlavia tabuľka: Počet žiakov podľa variantov tabuľka: Podiel žiakov podľa variantov Metódy spracovania dát... 8 VÝSLEDKY Výsledky testu EČ MS MAA Všeobecné výsledky tabuľka: Výsledné psychometrické charakteristiky testu percentuálna úspešnosť graf: Výsledný histogram úspešnosti tabuľka: Prepojenie úspešnosti a percentilu... Analýza rozdielov vo výsledkoch... Rozdiely podľa typu škôl tabuľka: Úspešnosť podľa typu školy.... graf: Úspešnosť podľa typu školy tabuľka: Úspešnosť podľa typu školy graf: Úspešnosť podľa typu školy.... tabuľka: Porovnanie typov škôl s národným priemerom graf: Histogramy úspešnosti podľa typu škôl... 3 Rozdiely podľa krajov tabuľka: Úspešnosť podľa krajov graf: Úspešnosť podľa krajov tabuľka: Vecný rozdiel medzi krajmi tabuľka: Porovnanie priemerov krajov s národným priemerom... 5 Rozdiely podľa zriaďovateľa tabuľka: Úspešnosť podľa zriaďovateľa graf: Úspešnosť podľa zriaďovateľa tabuľka: Vecný rozdiel medzi žiakmi podľa zriaďovateľa tabuľka: Porovnanie priemerov podľa zriaďovateľa s národným priemerom... 6 Rozdiely podľa pohlavia tabuľka: Úspešnosť podľa pohlavia graf: Úspešnosť podľa pohlavia tabuľka: Porovnanie dievčat a chlapcov s národným priemerom... 7 Rozdiely podľa známky tabuľka: Úspešnosť podľa známky graf: Úspešnosť podľa známky tabuľka: Vecný rozdiel medzi žiakmi podľa známky tabuľka: Porovnanie priemerov podľa známky s národným priemerom Položková analýza... 9 Psychometrické charakteristiky testu MAA tabuľka: Psychometrické charakteristiky testu percentuálna úspešnosť graf: Histogram úspešnosti... 9 Porovnanie variantov 337 a 345 matematického testu MAA tabuľka: Úspešnosť testu v oboch variantoch tabuľka: Percentuálna obťažnosť položiek v oboch formách tabuľka: Pedagogický význam rozdielu úspešnosti medzi formami tabuľka: Rozdiel obťažnosti medzi formami... Obťažnosť graf: Grafy testu a jednotlivých častí testu usporiadané podľa obťažnosti položiek... Úspešnosť graf: Úspešnosť žiakov v jednotlivých položkách... 4

3 . graf: Položky s krátkou odpoveďou usporiadané podľa úspešnosti graf: Položky s výberom odpovede usporiadané podľa úspešnosti tabuľka: Porovnanie úspešnosti položiek podľa typu školy tabuľka: Rozdiely úspešnosti medzi typmi škôl tabuľka: Pedagogický význam rozdielu úspešnosti položiek podľa typu školy tabuľka: Úspešnosť podľa pohlavia tabuľka: Rozdiel úspešnosti podľa pohlavia tabuľka: Pedagogický význam rozdielu úspešnosti podľa pohlavia... 9 Reliabilita a medzipoložková korelácia tabuľka: Reliabilita testu MAA tabuľka: Reliabilita testu MAA podľa variantov tabuľka: Reliabilita testu MAA podľa typu školy graf: Korelácie jednotlivých položiek so zvyškom testu graf: Položky s krátkou odpoveďou usporiadané podľa medzipoložkových korelácií graf: Položky s výberom odpovede usporiadané podľa medzipoložkových korelácií... 3 Kľúče a distraktory tabuľka: Položky s výberom odpovede Analýza distraktorov... 3 Citlivosť graf: Citlivosť položiek graf: Položky s krátkou odpoveďou usporiadané podľa cilivosti graf: Položky s výberom odpovede usporiadané podľa citlivosti Distribúcia úspešnosti a citlivosť graf: Grafy distribúcie úspešnosti Neriešenosť tabuľka: Neriešenosť podľa typu položky graf: Neriešenosť položiek graf: Položky s krátkou odpoveďou usporiadané podľa neriešenosti graf: Položky s výberom odpovede usporiadané podľa neriešenosti Súhrnné charakteristiky položiek tabuľka: Súhrnné charakteristiky položiek graf: Vzťah citlivosti a korelácie vzhľadom na položky s prihliadnutím na obťažnosť položiek graf: Charakteristiky položiek ZÁVERY PRÍLOHA...48 Slovník základných pojmov Navzájom zodpovedajúce položky vo variantoch tabuľka: Tabuľka navzájom zodpovedajúcich položiek vo variantoch Test z matematiky MAA variant

4 Úvod Štátny pedagogický ústav (ŠPÚ) z poverenia Ministerstva školstva SR realizoval v dňoch. 6. apríla 005 Externú časť maturitnej skúšky (ďalej EČ MS). Externe zadávané testy overovali vedomosti žiakov v predmetoch matematika, anglický jazyk a nemecký jazyk. Dňa 5. apríla sa uskutočnila Generálna skúška (ďalej GS) z predmetov francúzsky jazyk, ruský jazyk a španielsky jazyk. Cieľom externej časti maturitnej skúšky 005 bolo priniesť porovnateľné výsledky pre žiakov z celého Slovenska. Úlohou ŠPÚ bolo priniesť informácie o výsledkoch žiakov, škôl a v neposlednom rade o testovacích nástrojoch. V úvodnej časti správy uvádzame východiská testovania základné informácie o priebehu externej časti maturitnej skúšky, testovacích nástrojoch a metódach spracovania dát. Túto časť správy uzatvárajú údaje o počte testovaných žiakov, zúčastnených škôl. Výsledky testu sú prezentované prostredníctvom základných štatistických charakteristík testu, distribúcie úspešnosti žiakov, pričom výsledky sú spracované podľa vybraných triediacich znakov. Zainteresovaných čitateľov (tvorcov testu, učiteľov, výskumných pedagogických pracovníkov) budú zaujímať bližšie charakteristiky testu, položková analýza. Táto ďalšia časť spracovaných výsledkov vypovedá o reliabilite (spoľahlivosti) testu, o homogénnosti položiek, o ich úspešnosti, citlivosti a neriešenosti. Súhrnné vyhodnotenie položiek testu poskytuje prehľad vlastností jednotlivých položiek. Informácie, ktoré správa prináša sú určené tvorcom testov, decíznej sfére, zúčastneným školám, žiakom a ich rodičom, resp. širšej verejnosti. Závery a odporúčania vyplývajúce zo štatistických zistení sú smerované k skvalitneniu tvorby meracích nástrojov, prinášajú možnosti ďalších postupov pri overovaní meracích nástrojov, návrhy na možné spracovanie výsledkov v nasledujúcich testovaniach. Veríme, že zistenia budú podnetné a pozitívne ovplyvnia tvorbu maturitných testov a vyhodnocovanie úspešnosti žiakov v budúcich rokoch. Boli by sme radi, keby externá maturitná skúška si získala dôveru a kredit nielen v rámci Slovenska ale aj Európskej únie. Tento projekt je spolufinancovaný z prostriedkov Európskeho sociálneho fondu (ESF). 4

5 . Základné informácie o externej časti MS z matematiky Pre externú časť MS v predmete matematika boli pripravené testy dvoch úrovní. Žiaci si mohli vybrať, či budú písať test vyššej úrovne A (test MAA), alebo základnej úrovne B (test MAB). Žiaci, ktorí boli pripravovaní na maturitnú skúšku v predmete matematika s vyššou hodinovou dotáciou, si mohli zvoliť úroveň A. Úroveň B bola určená žiakom pripravujúcim sa na maturitnú skúšku v prípade, že ich rozsah prípravy zodpovedal nižšej hodinovej dotácii. Túto úroveň si však mohli zvoliť aj žiaci, ktorí mali vyššiu hodinovú dotáciu (pozri Maturitný poriadok pre školský rok 004/005 schválený MŠ SR pod číslom /003-09, zverejnený na alebo na stránkach ŠPÚ V predmete matematika bol vypracovaný test vyššej úrovne MAA, ktorý obsahuje 30 úloh: 0 úloh s výberom odpovede, 0 úloh s krátkou odpoveďou. Za správnu odpoveď získal žiak bod, za nesprávnu (alebo ak neodpovedal) 0 bodov. Test bol vypracovaný s prihliadnutím na hodinovú dotáciu v predmete matematika. Boli vytvorené dva varianty testu (337, 345), ktoré sa líšili poradím úloh a pri úlohách s výberom odpovede poradím aj distraktorov aj kľúčov. Na vypracovanie testov externej časti mali žiaci 0 minút. Odpovede testov externej časti maturitnej skúšky zapisovali žiaci do odpoveďových hárkov. Údaje z odpoveďových hárkov boli naskenované a dodané na ďalšie spracovanie. Správne odpovede boli vyhodnocované počítačom podľa zadaného kľúča správnych odpovedí, ktorý dodali tvorcovia testov. 5

6 Metódy. Testovaní žiaci Do testovania v predmete matematika sa zapojili hlavne maturanti všeobecno-vzdelávacích škôl gymnázií, v menšej miere aj žiaci z ostatných stredných škôl, ktorí si vybrali matematiku ako maturitný predmet. V nasledujúcich tabuľkách uvádzame počty žiakov, tried a škôl zapojených do testovania v predmete matematika, vyššia úroveň, test MAA. Počty uvádzame triedené podľa typu školy, krajov, zriaďovateľa školy, pohlavia a variantov. V ďalšej časti uvádzame výsledky, ktoré potvrdzujú rovnomerné rozloženie variantov v testovanej populácii.. tabuľka: Počet škôl a žiakov podľa krajov Kraj BA TT TN NR ZA BB PO KE Spolu Školy Žiaci počet % počet % 7 5,% 500 9, 7 9,5% 58 9,8%,3% 78 0,5%,7% 353 3,4% 4 3,4% 369 4,,7% 58 9,8%,3% 8 8,6% 5 4, 393 4,9% 79 00, ,. tabuľka: Počet škôl a žiakov podľa zriaďovateľa Zriaďovateľ Krajský, okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenie Iný Spolu a. Test = MAA Školy Žiaci počet % počet % 9 0,6% 509 9,3% 5 69,8% ,5%.,.,.,.,,%,5% 9 6,% 43 9,%,6% 3,5% 3,7% 6, 79 00, , 3. tabuľka: Počet škôl a žiakov podľa typu školy Typ školy GYM SOŠ ZSŠ SOU Špe Spolu a. Test = MAA Školy Žiaci počet % počet % 60 89,4% ,9% 6,7% 93 3,5% 3,7% 6,% 4,% 8,3%.,., 79 00, , 6

7 4. tabuľka: Počet žiakov podľa pohlavia Pohlavie chlapci dievčatá Spolu a. Test = MAA počet % ,4% 07 40,6% , 5. tabuľka: Počet žiakov podľa variantov Variant Spolu a. Test = MAA počet % 34 50,% 33 49,8% , 6. tabuľka: Podiel žiakov podľa variantov Kraj BA TT TN NR ZA BB PO KE Zriaďovateľ Krajský, okresný úrad Obec Podnik Družstvo Súkromník Cirkev Občianske združenie Iný Typ školy GYM SOŠ ZSŠ SOU Špe Pohlavie chlapci dievčatá a. Test = MAA Variant % % 49,4% 50,6% 50,4% 49,6% 5,8% 48,% 49,9% 50,% 49,9% 50,% 50, 50, 50,4% 49,6% 50,6% 49,4% 49,9% 50,% 50,% 49,8%,,,, 4,7% 58,3% 5,4% 48,6% 46,% 53,8% 50, 50, 50,% 49,9% 5,6% 48,4% 66,7% 33,3% 50, 50,,, 5,% 48,9% 48,9% 5,% 7

8 3. Metódy spracovania dát Po ukončení testovania boli odpoveďové hárky zaslané do ŠPÚ, ktorý zabezpečil ich ďalšie spracovanie. Odpoveďové hárky boli zoskenované a takto získané dáta boli ďalej elektronicky spracované. Výsledky boli vyhodnotené v štatistickom systéme SPSS.5 a.00. Na spracovanie výsledkov maturitnej skúšky a položkovej analýzy testov boli použité metódy štatistickej deskripcie, inferencie a vecná signifikancia rozdielov. V deskriptívnych častiach boli použité absolútne a relatívne početnosti, priemer, štandardná odchýlka, štandardná chyba priemeru, intervaly spoľahlivosti, pedagogické ukazovatele - štandardná chyba merania. Ich popis uvádzame v prílohe. Štatistická inferencia spočívala v aplikácií t-testov a ANOVE. Vecná signifikancia rozdielov bola overovaná zodpovedajúcimi korelačnými mierami. Pre výpočet reliability testov bol použitý vzorec KR-0, pretože všetky otázky boli hodnotené binárne (0- ). 8

9 Výsledky.. Výsledky testu EČ MS MAA 005 Cieľom testovania je zistiť úspešnosť žiakov s akou zvládli učivo daného predmetu. Úspešnosť žiaka v teste možno definovať ako percentuálny podiel bodov za položky, na ktoré žiak správne odpovedal z celkového počtu bodov. Úspešnosť žiakov v teste možno popísať štatistickými charakteristikami uvádzanými v nasledujúcich tabuľkách. Popis používaných charakteristík je uvedený v prílohe. Všeobecné výsledky 7. tabuľka: Výsledné psychometrické charakteristiky testu percentuálna úspešnosť Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka Cronbachovo alfa Test MAA Priemer ,0 6,7 83,6 4,7 54,9 00,0,3 83, 84, 6,,9,83 9

10 . graf: Výsledný histogram úspešnosti Počet žiakov Úspešnosť Test MAA písalo 637 žiakov s priemernou úspešnosťou 83,6%. Vzhľadom na to, že išlo o rozlišovací test (NR), dosiahnutá priemerná úspešnosť je vysoká. Dosiahnutie takej vysokej úspešnosti sa predpokladá pri overujúcich (CR) testoch. Z posunutia histogramu vidieť, že vyššie úspešnosti dosahovalo veľké množstvo žiakov, dokonca -tnú úspešnosť dosiahlo v tomto teste najviac žiakov. To znamená, že pre žiakov, ktorí si vybrali test MAA, bol tento ľahký 0

11 8. tabuľka: Prepojenie úspešnosti a percentilu Úspešnosť 6,7 0,0 0,0 3,3 6,7 30,0 33,3 36,7 40,0 43,3 46,7 50,0 53,3 56,7 60,0 63,3 66,7 70,0 73,3 76,7 80,0 83,3 86,7 90,0 93,3 96,7 00,0 Percentil,0,0,,,,3,5,6,0,5,,9 4, 5,3 6,9 9,,5 5,0 9,3 3,4 8,7 35,5 43,8 53,5 63, 75, 87, Analýza rozdielov vo výsledkoch V ďalšej časti analýzy poukazujeme na rozdiely vo výsledkoch žiakov podľa typu školy, krajov, zriaďovateľa, pohlavia a známky, ktorú žiaci získali na polročnom vysvedčení v danom predmete. Výsledky, ktoré popisujú priemernú úroveň vedomostí žiakov, sú doplnené o štatistické testy a najmä o zisťovanie vecnej (pedagogickej) významnosti rozdielu. Určenie vecnej významnosti rozdielu je dôležité pri veľkých súboroch žiakov, kedy testy štatistickej významnosti rozdielov sú signifikantné i pri malých vecných rozdieloch výsledkov.

12 Rozdiely podľa typu škôl 9. tabuľka: Úspešnosť podľa typu školy. graf: Úspešnosť podľa typu školy Úspešnosť 5 3 GYM Typ školy ostatné Typ školy GYM ostatné Spolu Počet Štd. chyba žiakov Priemer priemeru ,4, ,, ,6,3 t(635)=,95; p=0,000 Vecná signifikancia rozdielu r=0,45. Výsledky t-testu poukazujú na signifikantne lepší priemerný výkon žiakov gymnázií. Žiaci gymnázií dosiahli pedagogicky lepší priemerný výkon ako žiaci ostatných stredných škôl. 0. tabuľka: Úspešnosť podľa typu školy 3. graf: Úspešnosť podľa typu školy Úspešnosť GYM Typ školy SOŠ Typ školy GYM SOŠ ZSŠ SOU Spolu Počet Štd. chyba žiakov Priemer priemeru ,4, ,9,6 6 66, 5,7 8 34,6 7, ,6,3 Pedagogický rozdiel sa ukázal medzi žiakmi gymnázií a SOŠ (r=0,0) v prospech gymnazistov. Žiakov ZSŠ a SOU bol veľmi malý počet, preto štatistické výsledky žiakov z týchto typov škôl neinterpretujeme. Pedagogicky dosiahli žiaci ZSŠ porovnateľné výsledky so žiakmi SOŠ, pedagogicky významne horšie výsledky ako žiaci gymnázií, ale významne lepšie ako žiaci SOU.

13 Výsledky žiakov SOU sú pedagogicky významne horšie v porovnaní s výsledkami žiakov z ostatných typov škôl.. tabuľka: Porovnanie typov škôl s národným priemerom Národný priemer 83,6% 3 4 Typ školy t df Štat. sig. Vecná sig. GYM 4,87 59,000,0 SOŠ -9,0 9,000,68 ZSŠ -,98 5,03,80 SOU -6,80 7,000,93 Takmer 9 žiakov, ktorí písali test MAA, tvorili gymnazisti. Žiaci ostatných typov škôl dosiahli výsledky signifikantne horšie ako národný priemer. 4. graf: Histogramy úspešnosti podľa typu škôl 3

14 Ako vidieť z histogramov test MAA lepšie rozlíšil žiakov z ostatných stredných škôl než žiakov z gymnázií. Rozdiely podľa krajov. tabuľka: Úspešnosť podľa krajov 5. graf: Úspešnosť podľa krajov Úspešnosť BA TT TN NR ZA BB PO KE Kraj Kraj BA TT TN NR ZA BB PO KE Spolu Počet Štd. chyba žiakov Priemer priemeru ,6, ,,9 78 8,, ,7, ,5, ,7,0 8 86,0, ,8, ,6,3 4

15 3. tabuľka: Vecný rozdiel medzi krajmi BA-TT BA-TN BA-NR BA-ZA BA-BB BA-PO BA-KE TT-TN TT-NR TT-ZA TT-BB TT-PO TT-KE TN-NR TN-ZA TN-BB TN-PO TN-KE NR-ZA NR-BB NR-PO NR-KE ZA-BB ZA-PO ZA-KE BB-PO BB-KE PO-KE Vecná signifikancia rozdielu medzi krajmi -,07 -,048,070 -,004 -,09,080,006 -,03,087,04 -,078,07,03,8,045 -,049,39,05 -,074 -,57,0 -,06 -,090,088,00,77,095 -,07 Pri porovnávaní vecnej signifikancie rozdielov medzi krajmi navzájom najvyššiu vecnú významnosť rozdielov dosiahol prešovský a nitriansky kraj voči banskobystrickému kraju. 4. tabuľka: Porovnanie priemerov krajov s národným priemerom Národný priemer 83,6% Kraj BA TT TN NR ZA BB PO KE t df Štat. sig. Vecná sig., ,330,04,5 57,909,0 -,940 77,348,06 3,408 35,00,8, ,5,03 -,55 57,05,4 3,570 7,000,3,08 39,309,05 Mierne významný pedagogický rozdiel v úspešnosti jednotlivých krajov v porovnaní s národným priemerom sa vyskytol v prešovskom kraji (r=0,3) a v nitrianskom kraji (r=0,8), v ktorých bola priemerná úspešnosť vyššia než je národný priemer a v banskobystrickom kraji (r=0,4), v ktorom bola priemerná úspešnosť nižšia ako je národný priemer. 5

16 Rozdiely podľa zriaďovateľa 5. tabuľka: Úspešnosť podľa zriaďovateľa 6. graf: Úspešnosť podľa zriaďovateľa Úspešnosť Štát Súkromník Cirkev Zriaďovateľ Zriaďovateľ Štát Súkromník Cirkev Spolu Počet Štd. chyba žiakov Priemer priemeru ,9,3 5 69,3 4,7 43 8,7,0 6 83,7,3 6. tabuľka: Vecný rozdiel medzi žiakmi podľa zriaďovateľa Štát-Súkromník Štát-Cirkev Súkromník-Cirkev Vecná signifikancia rozdielu podľa zriaďovateľa -,0 -,05,36 7. tabuľka: Porovnanie priemerov podľa zriaďovateľa s národným priemerom Národný priemer 83,6% Zriaďovateľ Štát Súkromník Cirkev t df Štat. sig. Vecná sig. 3,08 34,00,06 -,890 4,008,5 -,336 4,737,0 Štátne a cirkevné školy dosiahli navzájom porovnateľné výsledky na úrovni národného priemeru. Súkromné školy dosiahli výsledky signifikantne horšie ako celoslovenský priemer. 6

17 Rozdiely podľa pohlavia 8. tabuľka: Úspešnosť podľa pohlavia 7. graf: Úspešnosť podľa pohlavia Úspešnosť chlapci dievčatá Pohlavie Pohlavie chlapci dievčatá Spolu Počet Štd. chyba žiakov Priemer priemeru ,, ,0, ,6,9 t(635) =,883; p = 0,06 Vecná signifikancia rozdielu = 0, tabuľka: Porovnanie dievčat a chlapcov s národným priemerom Národný priemer 83,6% Pohlavie t df Štat. sig. Vecná sig. chlapci, ,004,07 dievčatá -,06 070,95,00 Významný pedagogický rozdiel medzi úspešnosťou dievčat a chlapcov sa nepreukázal. 7

18 Rozdiely podľa známky 0. tabuľka: Úspešnosť podľa známky 8. graf: Úspešnosť podľa známky Úspešnosť Známka Známka 3 4 Spolu Počet Štd. chyba žiakov Priemer priemeru ,4, ,9, ,, ,7, ,7,3. tabuľka: Vecný rozdiel medzi žiakmi podľa známky Vecná signifikancia rozdielu podľa známky -,73 -,380 -,35 -,69 -,38 -,84 Keď porovnávame dosiahnuté úspešnosti žiakov podľa známky na polročnom vysvedčení, významný vecný rozdiel v priemernej úspešnosti v teste sa ukázal medzi jednotkármi v porovnaní s dvojkármi a veľmi významný vecný rozdiel medzi jednotkármi v porovnaní s trojkármi a štvorkármi v prospech jednotkárov. Mierny vecný rozdiel sa vyskytol medzi dvojkármi v porovnaní s trojkármi a štvorkármi a medzi trojkármi a štvorkármi vždy v prospech žiakov s lepšími známkami.. tabuľka: Porovnanie priemerov podľa známky s národným priemerom Národný priemer 83,6% Známka 3 4 t df Štat. sig. Vecná sig. 6,7 344,000,4-4,36 885,000,4-8,74 33,000,43-7,089 65,000,66 Veľmi významný vecný rozdiel v úspešnosti v porovnaní s národným priemerom dosiahli jednotkári. Ich výsledky boli signifikantne lepšie ako národný priemer. Úspešnosť dvojkárov bola veľmi mierne pod úrovňou celoslovenského priemeru a trojkári a štvorkári dosiahli výsledky signifikantne nižšie ako národný priemer. 8

19 .. Položková analýza Na to, aby sme mohli výsledky testu považovať za spoľahlivé, musíme poznať vlastnosti testu. V tejto časti analýzy predkladáme okrem základných psychometrických charakteristík testu i vlastnosti jednotlivých položiek, ich úspešnosť, obťažnosť, citlivosť, neriešenosť, vynechanosť, nedosiahnutosť, koreláciu s testom, ktoré dokladajú charakter a kvalitu testu. Psychometrické charakteristiky testu MAA Vzhľadom na to, že sa v teste MAA nevyskytli položky, ktoré by narúšali vnútornú homogenitu testu a hodnotenie žiadnej položky nebolo upravované, uvádzané psychometrické charakteristiky aj histogram sú identické s predchádzajúcou časťou všeobecné výsledky. 3. tabuľka: Psychometrické charakteristiky testu percentuálna úspešnosť Počet testovaných žiakov Maximum Minimum Priemer Štandardná odchýlka Intervalový odhad úspešnosti populácie - dolná hranica Intervalový odhad úspešnosti populácie - horná hranica Štandardná chyba priemernej úspešnosti Interval spoľahlivosti pre priemernú úspešnosť - dolná hranica Interval spoľahlivosti pre priemernú úspešnosť - horná hranica Štandardná chyba merania pre úspešnosť Intervalový odhad úspešnosti individuálneho žiaka Cronbachovo alfa Test MAA Priemer ,0 6,7 83,6 4,7 54,9 00,0,3 83, 84, 6,,9,83 9. graf: Histogram úspešnosti Počet žiakov Úspešnosť 9

20 Porovnanie variantov 337 a 345 matematického testu MAA tabuľka: Úspešnosť testu v oboch variantoch Úspešnosť Variant Počet Štd. chyba žiakov Priemer priemeru 34 83,7, ,6,4 Poradie položiek pri forme 345 je upravené tak, aby rovnaké položky navzájom korešpondovali. 5. tabuľka: Percentuálna obťažnosť položiek v oboch formách 6. tabuľka: Pedagogický význam rozdielu úspešnosti medzi formami Obťažnosť MAA Položka Obťažnosť Obťažnosť Štd. chyba Štd. chyba ,9 3,6,5,5 9,4 8,5,8,8 9, 3,,, 5,6 4,6,6,6 6,8 5,8,7,6 4,3 3,4,0,9 8,8 8,7,8,8,,,9,9 6,7 5,9,7,7 7,5 6,5,0,0, 7,,,0 4,4 4,5,0,0 9,7 0,5,, 0,4 0,4,8,8,5 3,6,9,9 35,5 34,5,3,3 5,6 5,,0,0 5,5 53,6,4,4 5, 4,3,0,0 7,9 7,,, 9,4 9,7,8,8 5,8 5,7,0,0 3,6 4,,5,6 7,3,0,7,9 9,3 7,4,,0 46,5 48,,4,4 5,7 6,3,6,7 30, 30,0,3,3 9,4,,8,9 6,7 6,0,0,0 p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Vecná signifikancia podľa variantu -,08,06 -,049,0,0,03,00 -,06,06,03,050 -,00 -,00,000 -,03,00,007 -,0,0,008 -,007,00 -,05 -,063,03 -,06 -,0,00 -,09,009 0

21 7. tabuľka: Rozdiel obťažnosti medzi formami T- test rovnosti priemerov v oboch formách 337 a 345 t-test for Equality of Means p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Std. Error Sig. Mean Differenc t df (-tailed) Difference e,96 635,360,6,7 -,88 635,44 -,9,, ,0 4,0,6 -, ,7 -,9,9 -, ,86 -,0,9 -, ,58 -,9,3 -,07 635,943 -,,, ,40,0, -,84 635,40 -,8,9 -, ,497 -,0,5 -, ,00-3,9,5, ,930,,4, ,60,8,6, ,993,0,, ,095,,3 -, ,59 -,0,9 -,34 635,733 -,5,4, ,563,,9 -,57 635,568 -,8,4 -, ,664 -,8,7, ,738,4, -, ,946 -,,4, ,455,6,8 3,49 635,00 3,6, -,06 635,8 -,8,5,87 635,409,6,9,67 635,53,6,9 -,4 635,909 -,,8, ,38,8, -, ,68 -,7,4 V položkách 3, a 4 sa ukazuje štatisticky signifikantný rozdiel medzi formami. Tabuľka vecnej signifikancie poukazuje na to, že pedagogicky nie je tento rozdiel natoľko významný, aby sme sa ním museli zaoberať. Záver: Obe formy testu MAA 337 a 345 sú z hľadiska obťažnosti rovnocenné. Preto pri výpočte úspešnosti a percentilu môžeme žiakov, ktorí písali akúkoľvek formu testu MAA medzi sebou porovnávať. Dôsledok pre položkovú analýzu: Pri výpočte ďalších charakteristík budeme používať zástupnú formu 337.

22 Obťažnosť Úspešnosť položky je percentuálny podiel žiakov, ktorí správne riešili danú položku. Obťažnosť položky je definovaná ako rozdiel: - úspešnosť položky. Platí, čím je úspešnosť v riešení danej položky nižšia, tým je položka obťažnejšia. Vzťah medzi obťažnosťou a úspešnosťou položky vyjadrených v percentách, je nasledovný: Obťažnosť= - úspešnosť 0. graf: Grafy testu a jednotlivých častí testu usporiadané podľa obťažnosti položiek 9 Obťažnosť Položka

23 Krátka odpoveď 9 7 Obťažnosť Položka Výber odpovede 9 7 Obťažnosť Položka Položky s najväčšou obťažnosťou sú 8 a 6. Ich obťažnosť je však len mierna. Až 3 položiek má veľmi nízku obťažnosť pod Položky s extrémne nízkou obťažnosťou pod sú,, 9, 7, 4, 5, 9, 7, 4, 3,. V prípade rozlišujúceho testu by mal byť počet položiek s veľmi až extrémne nízkou obťažnosťou minimálny. 3

24 Úspešnosť Vzťah medzi obťažnosťou a úspešnosťou položiek je nasledovný: úspešnosť = - obťažnosť.. graf: Úspešnosť žiakov v jednotlivých položkách 9 7 Úspešnosť Položka. graf: Položky s krátkou odpoveďou usporiadané podľa úspešnosti 9 97, 94,4 93,3 93, 9, 90,6 89,6 Typ položky: krátka odpoveď 88,9 88,5 85,7 85,6 84,9 84,4 8,5 Úspešnosť ,8 80,3 78,9 7, 64,5 47, Položka 4

25 3. graf: Položky s výberom odpovede usporiadané podľa úspešnosti Úspešnosť ,4 94,3 Typ položky: výber odpovede 9,7 90,6 90,6 84, 83,3 80,7 69,8 53, Položka Položky s úspešnosťou nad považujeme za veľmi ľahké. V teste MAA ich je 4, z nich má úspešnosť nad 9. Veľmi ťažké položky s úspešnosťou pod sa v teste MAA nevyskytujú. 5

26 8. tabuľka: Porovnanie úspešnosti položiek podľa typu školy p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Priemer v % Štd. chyba priemeru Typ školy Typ školy GYM ostatné GYM ostatné 97, 96,4,5,5 9,3 73,,8 6,0 8,4 67,9, 6,3 94,8 85,7,6 4,7 93,4 89,3,7 4, 86, 76,8,0 5,7 9,3 89,3,8 4, 89,9 66,,8 6,4 93,5 87,5,7 4,5 84, 4,9,0 6,7 80,0 55,4, 6,7 86, 73,,0 6,0 8,8 46,4, 6,7 90,3 73,,8 6,0 88,8 8,,9 5, 65,7 37,5,3 6,5 85, 69,6,0 6, 49, 0,7,4 4, 85,7 66,,0 6,4 73,7 35,7, 6,5 9, 76,8,8 5,7 84,8 7,4,0 6, 96,8 85,7,5 4,7 93, 8,,7 5, 8,0 75,0, 5,8 54,8 5,0,4 5,8 94,9 80,4,6 5,4 7,3 35,7,3 6,5 90,6 9,,8 3,8 84,3 60,7,0 6,6 6

27 9. tabuľka: Rozdiely úspešnosti medzi typmi škôl 30. tabuľka: Pedagogický význam rozdielu úspešnosti položiek podľa typu školy t-test for Equality of Means p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Sig. Mean Std. Error t df (-tailed) Difference Difference,57 59,798,7,5 3,007 57,004 8, 6,0,7 58,039 3,5 6,4,908 57,06 9, 4,8,967 58,337 4, 4,,66 58, 9,3 5,8,480 59,633,0 4, 3,70 57,000 3,8 6,4,337 58,86 6,0 4,5 6,8 58,000 4,4 6,8 3,6 58,00 4,6 6,8,33 58,037,9 6,0 5,90 58,000 35,4 6,8,834 57,006 7,4,3,7 58,09,7,5 4,3 60,000 8, 6,0,460 58,07 3,5 6,4 8,730 68,000 9, 4,8 3,043 58,004 4, 4, 5,780 59,000 9,3 5,8,56 57,05,0 4,,6 58,035 3,8 6,4,346 56,03 6,0 4,5,09 57,039 4,4 6,8,009 59,37 4,6 6,8 4,965 6,000,9 6,0,69 56,009 35,4 6,8 5,403 59,000 7, 6,0 -,6 60,908 6,7 5, 3,540 58,00 8, 6,7 p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Vecná signifikancia podľa typu školy -,008 -,5 -,069 -,080 -,033 -,054 -,05 -,53 -,048 -,9 -, -,074 -,79 -,3 -,04 -,9 -,086 -,55 -,0 -,7 -,00 -,074 -,0 -,085 -,03 -,0 -,6 -,56,003 -,7 Položky s najväčším rozdielom medzi typmi škôl, aj keď len s veľmi miernou vecnou signifikanciou, sú nasledovné:, 8,, 3, 6, 8, 0, 3, 6, 7, 8, 30 a s miernou vecnou signifikanciou položka 0. Pedagogicky významné rozdiely (rozdiel od 5%) úspešnosti položiek podľa typu školy sa nevyskytujú. 7

28 3. tabuľka: Úspešnosť podľa pohlavia Priemer v % Pohlavie Štd. chyba priemeru Pohlavie p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 chlapci dievčatá chlapci dievčatá 98, 95,4,5,9 9,5 89,,0,4 83,8 76,3,3,9 95,0 93,5,8, 93,8 9,4,9, 85,0 86,8,3,5 9,0 90,,0,3 88,0 90,3,,3 93,3 93,3,9, 8,3 84,4,4,6 78,4 79,8,5,8 86,3 84,5,,6 80,4 80,,4,7 88,5 9,,, 88,3 88,9,,4 60,6 70,4,7,0 86,0 8,,,7 48,6 45,8,8, 85,9 83,4,,6 7,0 7,3,6,0 9,0 90,,0,3 85,0 83,0,3,6 95,9 97,,7,7 9,0 93,7,0, 8,4 79,8,4,8 53,4 53,8,8, 9,9 96,4,9,8 70,9 68,,6,0 9,4 89,5,0,3 83,8 8,6,3,7 8

29 3. tabuľka: Rozdiel úspešnosti podľa pohlavia 33. tabuľka: Pedagogický význam rozdielu úspešnosti podľa pohlavia t-test for Equality of Means p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Sig. Mean Std. Error df (-tailed) Difference Difference 8,009,7,0 030,58,4,7 006,00 7,4,3 0,6,5,3 044,338,4,4 60,346 -,8,9 04,36,9,6 88,9 -,3,7,960 -,,4 73,4-3,, 37,54 -,4,3 080,39,7,0 5,9,, 08,04 -,7,7 39,70 -,7,8 7,000-9,8,6 038,058 3,9,,35,8,8 065,5,5,0,896 -,3,5 083,577,9,7 078,338,0, 44,3 -,3,0 0,35 -,7,4 093,473,6, 9,875 -,4,8 308,004-3,5, 098,90,7,6 048,6,9,7 097,597,, p0 p0 p03 p04 p05 p06 p07 p08 p09 p0 p p p3 p4 p5 p6 p7 p8 p9 p0 p p p3 p4 p5 p6 p7 p8 p9 p30 Vecná signifikancia podľa pohlavia -,078 -,040 -,09 -,03 -,07,06 -,033,035,00,040,07 -,04 -,003,044,00,00 -,053 -,08 -,034,004 -,06 -,07,033,03 -,00,004,074 -,09 -,03 -,05 Rozdiel v úspešnosi položiek medzi dievčatami a chlapcami s veľmi miernou vecnou signifikanciou sa vyskytuje iba v položke 6 a je v prospech dievčat. Test je celkovo z hľadiska náročnosti položiek pre obe pohlavia dobre vyvážený 9

30 Reliabilita a medzipoložková korelácia Reliabilita testu je hodnota, ktorá vypovedá o presnosti merania. Hovorí o tom, do akej miery by sa výsledok testovania menil, ak by sme meranie opakovali. Jej hodnota sa nachádza v intervale <0,>. Čím je reliabilita testu vyššia, tým je použitý merací nástroj test presnejší. Reliabilita testu je tým vyššia, čím je vyšší počet položiek testu, vyšší počet testovaných žiakov, vyššia citlivosť položiek, väčšia korelácia položiek s testom, väčšia variabilita (SD ) na úrovni žiakov. 34. tabuľka: Reliabilita testu MAA Kronbachovo Počet alfa položiek, tabuľka: Reliabilita testu MAA podľa variantov Variant Kronbachovo Počet alfa položiek,834 30, tabuľka: Reliabilita testu MAA podľa typu školy Typ školy GYM ostatné Kronbachovo Počet alfa položiek,87 30, Reliabilita testu MAA celkovo, podľa variantov i podľa typu školy bola veľmi dobrá. Pod pojmom medzipoložková korelácia (point biserial) uvádzame koreláciu skóre vybranej položky a sumou skóre všetkých ostatných položiek. Záporná hodnota vypovedá o tom, že položka nerozlišuje dobrých a slabších žiakov. Dobrí žiaci na položku vo väčšine prípadov odpovedali nesprávne a naopak slabí žiaci, napríklad hádaním, uviedli správnu odpoveď. Ak je táto hodnota blízka 0, položka taktiež slabo rozlišuje dobrých a menej úspešných žiakov. Aby sme položku považovali za dobrú, hodnota medzipoložkovej korelácie musí dosahovať úroveň minimálne 0,0. Položka s hodnotou 0,5 a vyššou je v pedagogických meraniach považovaná za dobrú. 30

31 4. graf: Korelácie jednotlivých položiek so zvyškom testu,0 0,9 0,8 Point Biserial MAA 0,7 0,6 0,5 0,4 0,3 0, 0, 0, Položka 5. graf: Položky s krátkou odpoveďou usporiadané podľa medzipoložkových korelácií,0 Typ položky: Krátka odpoveď 0,9 0,8 Point Biserial MAA 0,7 0,6 0,5 0,4 0,3 0, 0, 0, Položka 6. graf: Položky s výberom odpovede usporiadané podľa medzipoložkových korelácií 3

32 Typ položky: Výber odpovede,0 0,9 0,8 Point Biserial MAA 0,7 0,6 0,5 0,4 0,3 0, 0, 0, Položka Hodnota korelácie položky so zvyškom testu (Point Biserial-PB) súvisí s hodnotou citlivosti položky, vypovedá o schopnosti položky rozlíšiť úspešných a neúspešných žiakov. Položku, ktorá má správnu hodnotu PB, by mali žiaci s výbornými študijnými výsledkami vyriešiť úspešne a žiaci so zlými študijnými výsledkami neúspešne. Medzná hodnota PB je 0,. Hodnota PB do 0,4 je dobrá a nad 0,4 veľmi dobrá. To znamená, že položka má rozlišovaciu schopnosť a viac. V teste MAA hodnotu PB väčšiu ako 0,4 dosiahlo osem položiek. Najväčšiu medzipoložkovú koreláciu dosiahla položka 0. Len jedna položka v teste dosiahla hodnotu pod 0, a veľmi nízko koreluje so zvyškom testu. Je to položka 4. Kľúče a distraktory V tejto časti sa budeme venovať položkám s výberom odpovede. V teste z matematiky sú to položky až 30. Popis tabuľky: V hlavičke tabuľky sú uvedené možnosti odpovedí A, B, C, D, E. V. riadku sú uvedené hodnoty Point biseriálneho koeficientu (P.B.). Pri správnej odpovedi by mala byť hodnota P.B. väčšia ako 0,0 (optimálne väčšia ako 0,5). Pri nesprávnej odpovedi (distraktore) by mala byť hodnota záporná. V druhom riadku p znamená podiel žiakov, ktotí si vybrali danú možnosť. V treťom riadku N znamená počet žiakov, ktorí si vybrali danú možnosť. Správna odpoveď na otázku kľúč je vyznačený žltou farbou. Akékoľvek nedodržanie týchto podmienok zvýrazňujeme ružovou farbou. 37. tabuľka: Položky s výberom odpovede Analýza distraktorov - Analýza distraktorov 3 A B C D E P. Bis. -,6 -,3,45 -,5 -,04 p,04,04,9,0,00 N

33 - Analýza distraktorov 3 A B C D E P. Bis. -,7,4 -,5 -,3 -,9 p,0,84,0,0, N Analýza distraktorov 3 A B C D E P. Bis.,38 -,0 -,6 -, -,8 p,96,0,0,0,0 N Analýza distraktorov 3 A B C D E P. Bis. -,6,30 -,07 -,06 -,3 p,04,93,00,0,0 N Analýza distraktorov 3 A B C D E P. Bis. -,3 -, -,5 -,9,38 p,0,04,0,,8 N Analýza distraktorov 3 A B C D E P. Bis. -,0 -,08 -,5,49 -,6 p,08,8,09,54, N Analýza distraktorov 3 A B C D E P. Bis. -,7 -,8 -,09 -,9,34 p,0,0,0,0,94 N Analýza distraktorov 3 A B C D E P. Bis. -,9 -,09,4 -,9 -,08 p,0,0,70,8,00 N

34 9 - Analýza distraktorov 3 A B C D E P. Bis.,35 -,5 -,6 -, -,8 p,9,0,0,04,0 N Analýza distraktorov 3 A B C D E P. Bis. -,3,46 -,4 -,6 -,30 p,05,83,0,0,0 N Položky s výberom odpovede neboli z hľadiska analýzy distraktorov problematické. 34

35 Citlivosť Pod citlivosťou položky diskriminačnou silou položky rozumieme schopnosť položky rozlíšiť dobrých a zlých žiakov. Žiakov usporiadame do poradia podľa ich úspešnosti v teste. Zoradených žiakov rozdelíme do piatich skupín. V našom prípade predstavuje citlivosť položky rozdiel priemernej úspešnosti medzi najlepšou a najslabšou pätinou testovaných žiakov. 7. graf: Citlivosť položiek 9 7 Citlivosť Položka 8. graf: Položky s krátkou odpoveďou usporiadané podľa cilivosti Typ položky: Krátka odpoveď ,5 74,0 Citlivosť ,5 55,5 55, 53,6 5, 43,8 37,0 36,6 35,8 34,7 33, 3 7,9 7,5 3,0 3,0 8, 4,3 0, Položka 35

36 9. graf: Položky s výberom odpovede usporiadané podľa citlivosti Typ položky: Výber odpovede 80 75,4 70 Citlivosť , 44,5 4,9 40,4 30 3,3 4,9 0 0,4 9,6 5, Položka Medzi položky, ktoré najcitlivejšie, t.j. veľmi dobre (nad 58 %) rozlišovali slabých a dobrých žiakov patria: 8, 6, 0, 6. Medzi najmenej citlivé položky s citlivosťou pod 0 % patria:, 4, 3, 9 a 7. Tieto položky nerozlišovali dobrých a slabých žiakov. Distribúcia úspešnosti a citlivosť Na skúmanie citlivosti položiek sme vytvorili špeciálne grafy distribúcie úspešnosti. Rozdelili sme žiakov podľa úspešnosti v teste do 0 skupín - decilov. V každej skupine je žiakov. V prvej skupine je TOP najúspešnejších žiakov, v druhej ďalších menej úspešných a v desiatej LOW najslabších žiakov v danom teste. Grafy ukazujú distribúciu skúmanej populácie, ktorá umožňuje podrobne sledovať obťažnosť a citlivosť jednotlivých položiek 0. graf: Grafy distribúcie úspešnosti Na x-ovej osi sú žiaci rozdelení do 0 skupín. V prvej () skupine sa nachádzajú žiaci s najvyššou percentuálnou úspešnosťou riešenia testu a postupne až v desiatej (0) skupine je.najslabších žiakov. Na y-ovej osi je znázornená priemerná úspešnosť danej skupiny. Na ľavej strane grafu je uvedená priemerná citlivosť danej položky 36

37 0,6% 7,5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín ,6% 4,3% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 5 6 3, 35,8% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 7 8 3, 37, Rozdelenie na 0 skupín Rozdelenie na 0 skupín

38 9 0 8,% 5,% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 55,5% 43,8% Rozdelenie na 0 skupín Rozdelenie na 0 skupín ,% 7,9% Rozdelenie na 0 skupín Rozdelenie na 0 skupín ,% 58,5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín

39 7 8 36,6% 84,5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín ,7% 74, Rozdelenie na 0 skupín Rozdelenie na 0 skupín 3,3% 40,4% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 3 4 5,8% 0,4% Rozdelenie na 0 skupín Rozdelenie na 0 skupín

40 5 6 4,9% 75,4% Rozdelenie na 0 skupín Rozdelenie na 0 skupín 7 8 9,6% 53,% Rozdelenie na 0 skupín Rozdelenie na 0 skupín ,9% 44,5% Rozdelenie na 0 skupín Rozdelenie na 0 skupín Na grafoch môžeme pozorovať, že položky s vynikajúcou citlivosťou (nad 58 %) aj opticky výborne rozlišujú žiakov medzi skupinami. Takisto môžeme na grafoch pozorovať najmenej citlivé položky s citlivosťou pod 0 %, ktoré vôbec alebo veľmi slabo rozlišujú žiakov medzi skupinami. Napr. položky a 3 majú vysokú úspešnosť a nízku citlivosť, nerozlišujú úspešných a menej úspešných žiakov. 40

41 Neriešenosť Neriešené položky predstavujú percentuálny súčet nedosiahnutých a vynechaných položiek. Vynechané položky sú položky, ktoré žiak vynechal neriešil, ale niektorú z nasledujúcich ešte riešil. Nedosiahnuté položky sú tie, ktoré žiak pre nedostatok času neriešil. Za nedosiahnutú považujeme každú položku, po ktorej žiak žiadnu z položiek neriešil. Poslednú položku v teste posudzujeme podľa predposlednej položky v teste. Predpokladáme, že nedosiahnuteľnosť poslednej položky v teste je rovnaká ako nedosiahnuteľnosť predposlednej položky. Je zaujímavé si všimnúť, že položky s výberom odpovede majú nižšiu neriešenosť, čo môžeme pripísať na vrub tipovania. Pri položkách s tvorbou krátkej odpovede percento neriešenosti je vyššie. 38. tabuľka: Neriešenosť podľa typu položky Typ položky Krátka odpoveď Výber odpovede Neriešenosť 337 N Priemer 0 3,8 0,30. graf: Neriešenosť položiek 9 Neriešenosť Položka 4

42 . graf: Položky s krátkou odpoveďou usporiadané podľa neriešenosti Typ položky: krátka odpoveď 9 Neriešenosť ,8 0,05 5,59 4,9 4,76 4,3 4,5 3,55 3,7,95,79,36,8,8,3 0,6 0,3 0,3 0,5 0, Položka 3. graf: Položky s výberom odpovede usporiadané podľa neriešenosti Typ položky: výber odpovede 9 Neriešenosť ,755 0,68 0,59 0,30 0,30 0,5 0,5 0,076 0, Položka Neriešenosť položiek je veľmi nízka. Najvyššiu neriešenosť mali položky 0 a 8, tesne nad. Žiaci mali dostatok času na riešenie matematického testu, nedosiahnuteľnosť položiek je nulová. 4

43 .3. Súhrnné charakteristiky položiek V tejto časti prezentujeme prehľad vlastností položiek testu. Zamerali sme sa predovšetkým na obťažnosť, citlivosť, homogénnosť položiek (koreláciu medzi položkou a zvyškom testu) a neriešenosť položiek. V nasledujúcej tabuľke uvádzame súhrnné charakteristiky jednotlivých položiek v teste. Ružovou farbou sú zvýraznené položky, ktoré sa javia ako problematické z hľadiska niektorých štatistických charakteristík, t.j. majú obťažnosť nad 9, citlivosť nižšiu ako, neriešenosť väčšiu ako 3, nedosiahnuteľnosť väčšiu ako a Point Biserial - koreláciu so zvyškom testu nižšiu ako. 39. tabuľka: Súhrnné charakteristiky položiek MAA 004 Charakteristiky položiek Položka Obťažnosť Citlivosť Nedosiahnutosť Vynechanosť Neriešenosť Point Biserial,9 0,6,0,3,3 9,4 7,5,0,, 3 9, 53,6,0 3, 3, 43 5,6 4,3,0,, 9 6,8 3,0,0,3,3 3 4,3 35,8,0,4,4 3 8,8 3,0,0,6,6 9, 37,0,0,9,9 4 6,7 8,,0,3,3 6 7,5 5,,0 4,3 4,3 47, 55,5,0 4,9 4,9 44 4,4 43,8,0 4,8 4,8 40 9,7 55,,0 3,5 3,5 47 0,4 7,9,0,, 9,5 33,,0 5,6 5,6 3 35,5 58,5,0,8,8 3 5,6 36,6,0,3,3 3 5,5 84,5,0 0,0 0,0 46 5, 34,7,0 4, 4, 9 7,9 74,0,0 0,8 0,8 54 9,4 3,3,0,, 39 5,8 40,4,0,5,5 34 3,6 5,8,0,0,0 34 7,3 0,4,0,, 4 9,3 4,9,0,3, ,5 75,4,0,7,7 39 5,7 9,6,0,8, , 53,,0,, 3 9,4 4,9,0,, 9 6,7 44,5,0,3,3 38 Test EČ MS je rozlišovací test, ktorý udáva poradie žiaka v skupine testovaných žiakov. Žiaci v takomto teste dosahujú približne 5 úspešnosť. Test MAA z tohto hľadiska vyhovuje skôr overujúcemu testu, v ktorom žiaci dosahujú približne úspešnosť. Čo sa týka obťažnosti, z 30-tich položiek dosiahlo obťažnosť menšiu ako. Päť položiek s takouto nízkou obťažnosťou má aj nízku citlivosť pod. Len jedna z týchto položiek mala hodnotu Point Biserialu menšiu ako. 43

44 4. graf: Vzťah citlivosti a korelácie vzhľadom na položky s prihliadnutím na obťažnosť položiek 80,0 B 6 A 8 A 0 Typ položky A vyber odpovede B kratka odpoved Citlivosť MAA 60,0 40,0 0,0 A 4 A A B B A B 30 5B AA A A 7 A B A 4 A B A 9 A B 7 5 A4 B 9 7 B 3 6 A A A A 0 Obťažnosť 337 A A A,9 7,7 5, Point Biserial Výborné sú položky 8 a 0, ktoré majú vynikajúcu citlivosť a zároveň aj medzipoložkovú koreláciu. Slabšie sú položky, 4, 9,4, 3 a 7, ktoré majú najnižšiu citlivosť a zároveň aj nízku medzipoložkovú koreláciu. Táto nízka citlivosť súvisí s tým, že položky boli ľahké (mali nízku obťažnosť), to znamená, že ich vedeli riešiť dobrí aj slabí žiaci a z tohto dôvodu uvedené položky slabo rozlišovali medzi žiakmi. S nízkou citlivosťou súvisí aj nízka hodnota Point Biserial. 44

45 5. graf: Charakteristiky položiek Úspešnosť 337 Citlivosť 337 Neriešenosť 337 Point Biserial Položka Žiadna z položiek nemá také charakteristiky, pre ktoré by sme ju mali vylúčiť z testu. Testové položky majú nízku neriešenosť, dobré charakteristiky citlivosti a medzipoložkovej korelácie, ale vysokú úspešnosť. Z tohto pohľadu sa podarilo tvorcom testu zostaviť ľahký test, avšak s homogénnymi položkami. Tento test by žiakov málo diferencoval z hľadiska prijímania na vysoké školy. 4 45

46 .4. ZÁVERY Test vyššej úrovne z matematiky MAA písalo 637 žiakov zo 79 škôl. Tento test si zvolili predovšetkým žiaci z gymnázií (96%), viac chlapcov (59%) ako dievčat (4%). Žiaci písali dva varianty testu, ktoré sa líšili hlavne poradím otázok. Každý variant písalo cca 5 žiakov. V oboch variantoch žiaci dosiahli rovnakú úspešnosť. Žiaci dosiahli priemernú úspešnosť 84%. Gymnazisti dosiahli signifikantne lepšie výsledky (84%), ako žiaci z ostatných škôl (66%). Štátne a cirkevné školy dosiahli navzájom porovnateľné výsledky na úrovni celoslovenského priemeru. Súkromné školy dosiahli signifikantne horšie výsledky. Reliabilita testu MAA bola veľmi dobrá (0,83). Test MAA bol veľmi ľahký, čo vyplýva z viacerých faktorov vysoká priemerná úspešnosť, histogram zošikmený doprava, veľa položiek () s nízkou obťažnosťou (pod ). Oproti minulému roku stúpla celková priemerná úspešnosť zo 4% na takmer 84%. V r. 004 bolo v teste MAA 7 položiek s obťažnosťou nad, tohto roku sa v teste takáto položka nevyskytovala. Minulý rok bola v teste len jedna položka s obťažnosťou pod, tohto roku bolo takých položiek 4. Klesla vysoká neriešenosť najmä položiek s krátkou odpoveďou približne o 3, na súčasné 3%. Pozitívny vplyv na túto skutočnosť mala aj výmena poradia riešenia najskôr boli v teste položky s krátkou odpoveďou a na záver testu položky s výberom odpovede. Znamená to aj, že žiaci mali dostatok času na vyriešenie testu. Podobne ako minulý rok, aj v tomto rolu len jedna položka mala medzipoložkovú koreláciu menšiu ako. Na základe položkovej analýzy môžeme povedať, že jednotlivé položky majú v teste celkovo dobré štatistické charakteristiky. Odporúčania tvorcom testov: znížiť počet veľmi ľahkých položiek a pridať položky ťažké, ktoré rozlíšia najlepších žiakov. Výrazné zvýšenie priemernej úspešnosti voči roku 004 môžeme pripísať viacerým faktorom: Novelizácia vyhlášky o maturitnej skúške. Matematika sa nachádza v bloku prírodovedných predmetov povinne voliteľných len pre žiakov gymnázií. Žiaci z ostatných typov škôl si matematiku vyberali len ako nepovinný maturitný predmet, čo znamená, že žiadny žiak z SOŠ, ZSŠ a SOU nemusel maturovať z matematiky. Teda z negymnaziálnych škôl si matematiku vybrali len najlepší žiaci. Pre tých študentov, ktorí si zvolili matematiku vyššej úrovne, bol test veľmi ľahký (99,5% z nich dosiahlo úspešnosť nad 33%). Nezanedbateľný vplyv na úspešnosť mal aj zodpovedný prístup študentov k ostrej maturite. Po prvýkrát v histórii Slovenska sa výsledky z externej časti uvádzajú na maturitnom vysvedčení. Tvorcovia testu reagovali na štatistické vyhodnotenia a analýzy testov z generálnej skúšky v roku 004 a taktiež na pripomienky pedagogickej verejnosti a zámerne sa snažili vytvoriť test adekvátny danej populácii. Žiaci mohli využiť testy z predchádzajúcich rokov na lepšie oboznámenie sa s formou testu a rozvinúť si zručnosti a schopnosti pri riešení testov. Nezanedbateľnú úlohu zohral aj fakt, že žiaci test MAA opakovali. Takto boli oboznámení s typmi a náročnosťou úloh, čo tiež prispelo k výraznej úspešnosti. Predpokladáme, že v teste, ktorý žiaci písali v pôvodnom termíne, by boli dosiahli o niečo nižšiu úspešnosť. 46

47 Literatúra Burjan, V.: Tvorba a využívanie školských testov vo vzdelávacom procese. Exam Bratislava 999. Hendl, J.: Přehled statistických metod zpracování dát. Portál, Praha 004. Lapitka,M.: Tvorba a použitie didaktických testov. Bratislava, ŠPÚ 996 Ritomský, A.; Zelmanová, O.; Zelman, J.: Štatistické spracovanie a analýza dát rozdiahlych monitorovaní s využitím systému SPSS, ŠPÚ Bratislava 00. Ritomský, A.; Zelmanová, O.: Štatistické spracovanie a analýza dát rozsiahlych monitorovaní položková a multivariačná analýza s využitím systému SPSS, ŠPÚ Bratislava 003. Sklenárová, I.; Zelmanová, O.: Metodika spracovania dát z maturity 005 v systéme SPSS, ŠPÚ Bratislava 005. Spousta, J.: Používání syntaxe v programu SPSS, SC&C, Centrum výuky, SPSS 000 SPSS Base 0.0 User`s Guide, by SPSS Inc., Chicago 999. SPSS Base 7.0 Syntax Reference Guide, by SPSS Inc., Chicago 996. Turek,I.: Učiteľ a pedagogický výskum. Metodické centrum, 998 Wimmer, G.: Štatistické metódy v pedagogickom výskume, Gaudeamus, Hradec Králové Zelmanová, O., Sklenárová I.: Analýza úspešnosti, položiek a variantov testu z matematiky MAA 004 GS NKMS 47

48 PRÍLOHA Slovník základných pojmov Úlohou merania je zistiť úspešnosť žiakov s akou zvládli daný test. Úspešnosť žiaka možno definovať ako percentuálny podiel bodov za položky, na ktoré žiak správne odpovedal z celkového počtu bodov. Úspešnosť žiakov v teste možno popísať nasledovnými štatistickými charakteristikami: Maximum najvyššia dosiahnutá úspešnosť maximálny počet percent, ktoré dosiahol nejaký z testovaných žiakov. Minimum najnižšia dosiahnutá úspešnosť minimálny počet percent, ktoré dosiahol nejaký z testovaných žiakov. Priemerná úspešnosť x definujeme ju podľa štandardného vzorca pre aritmetický priemer. x i... úspešnosť i-teho žiaka n... počet žiakov x n i= = n x i Štandardná odchýlka SD vyjadruje mieru rozptýlenia úspešnosti žiakov od aritmetického priemeru. Čím je táto odchýlka väčšia, tým je úspešnosť rozptýlenejšia a teda existujú veľké rozdiely vo výkonoch žiakov. S počtom testovaných žiakov štandardná odchýlka spravidla klesá. SD = n i= ( x x) i n Intervalový odhad úspešnosti populácie počítame zo štandardnej odchýlky. Pri použití pravidla približne štandardných odchýlok určuje interval, v rozmedzí ktorého sa umiestnilo 95% testovaných žiakov. -,96 SD,,96 SD Štandardná chyba priemeru SE dokumentuje s akou presnosťou je vypočítaná hodnota priemernej úspešnosti. S počtom testovaných žiakov štandardná odchýlka spravidla klesá. Čím je menšia štandardná chyba priemeru, tým presnejšie charakterizuje priemer testovanú populáciu. SD SE = n Interval spoľahlivosti pre populačný priemer počítame zo štandardnej chyby priemeru. V našej práci reprezentuje interval (pravidlo SE), v ktorom sa s 95%-nou pravdepodobnosťou nachádza populačný priemer. -,96 SE,,96 SE Štandardná chyba merania SEM je ukazovateľom presnosti merania, do ktorého vstupujú faktory štandardná odchýlka a reliabilita testu. Tento ukazovateľ má význam pri určovaní 48

49 intervalového odhadu skutočnej úspešnosti individuálneho žiaka. Čím je štandardná chyba merania menšia (čím je nižšia štandardná odchýlka a vyššia reliabilita), tým presnejšie je určený bodový odhad výsledku individuálneho žiaka. SEM ( SD ( α )) = Intervalový odhad úspešnosti individuálneho žiaka je interval, v ktorom sa s 95%-nou pravdepodobnosťou nachádza skutočná úspešnosť individuálneho žiaka. Tento interval dostaneme, ak k nameranej úspešnosti žiaka pripočítame a odpočítame,96-násobok štandardnej chyby merania. x -,96 SEM, x +,96 SEM i i Reliabilita testu Reliabilita testu je hodnota, ktorá vypovedá o presnosti merania. Hovorí tom, do akej miery by sa výsledok testovania menil, ak by sme meranie opakovali. Jej hodnota sa nachádza v intervale <0,>. Čím je reliabilita testu vyššia, tým je použitý merací nástroj test presnejší. Reliabilitu testu je tým vyššia, čím je vyšší počet položiek testu, vyšší počet testovaných žiakov, vyššia citlivosť položiek, väčšia korelácia položiek s testom, väčšia variabilita (SD ) na úrovni žiakov. Pri binárnom hodnotení položiek používame Kuder-Richardsonov vzorec KR-0, pri zložitejšom viacbodovom hodnotení položiek počítame Cronbachovo alfa. KR 0 = SD k k k i= p SD i ( p ) i Cronbachovoα = SD SD k k k i= SD i SD... celková variabilita i SD... variabilita i-tej položky Test je reliabilný, ak sú jeho položky homogénne vnútorne konzistentné. Vnútorná homogenita - konzistencia spočíva v tom, že jednotlivé položky medzi sebou korelujú, pretože merajú spravidla tú istú vlastnosť. Koreláciou medzi položkou a zvyškom testu (item-total correlation, point biserial) nazývame koeficienty korelácie medzi úspešnosťou vybranej položky a sumou úspešností všetkých ostatných položiek. Obťažnosť položiek - úspešnosť položiek Úspešnosť položiek je percentuálny podiel žiakov, ktorí správne riešili danú položku. Ak je hodnotenie zložitejšie úspešnosť počítame ako percentuálny podiel počtu bodov, ktoré žiaci získali z počtu bodov, ktoré mohli získať. Čím je úspešnosť v riešení danej položky nižšia, tým je položka obťažnejšia. Neriešenosť položiek Neriešené položky predstavujú percentuálny súčet nedosiahnutých a vynechaných položiek. Vynechané položky sú položky, ktoré žiak vynechal neriešil, ale niektorú z nasledujúcich ešte riešil. Nedosiahnuté položky sú tie, ktoré žiak pre nedostatok času neriešil. Za nedosiahnutú považujeme každú položku, po ktorej žiak žiadnu z položiek neriešil. Poslednú položku v teste posudzujeme podľa 49

50 poslednej položky v teste. Predpokladáme, že nedosiahnuteľnosť poslednej položky v teste je rovnaká ako nedosiahnuteľnosť predposlednej položky. Citlivosť položiek Pod citlivosťou položky diskriminačnou silou položky rozumieme schopnosť položky rozlíšiť dobrých a zlých žiakov. Žiakov usporiadame do poradia podľa ich úspešnosti v teste. Zoradených žiakov rozdelíme do piatich skupín. V našom prípade predstavuje citlivosť položky rozdiel priemernej úspešnosti medzi najslabšou a najlepšou pätinou testovaných žiakov. Navzájom zodpovedajúce položky vo variantoch 40. tabuľka: Tabuľka navzájom zodpovedajúcich položiek vo variantoch

51 337 Test z matematiky MAA variant 337 MATURITA 005 EXTERNÁ ČASŤ M A T E M A T I K A úroveň A kód testu 337 Test obsahuje 30 úloh. NEOTVÁRAJTE, POČKAJTE NA POKYN! PREČÍTAJTE SI NAJPRV POKYNY K TESTU! V teste sa stretnete s dvoma typmi úloh: - Pri úlohách s krátkou odpoveďou napíšte jednotlivé číslice výsledku do príslušných políčok odpoveďového hárka. Rešpektujte pritom predtlačenú polohu desatinnej čiarky. - Pri úlohách s výberom odpovede vyberte správnu odpoveď spomedzi niekoľkých ponúkaných možností, z ktorých je vždy správna iba jedna. Správnu odpoveď zaznačte krížikom do príslušného políčka odpoveďového hárka. Z hľadiska hodnotenia sú všetky úlohy rovnocenné. Na vypracovanie testu budete mať 0 minút. Pri práci smiete používať iba písacie potreby, kalkulačku a prehľad vzorcov, ktorý je súčasťou tohto testu. Nesmiete používať zošity, učebnice ani inú literatúru. Poznámky si robte na pomocný papier. Na obsah pomocného papiera sa pri hodnotení neprihliada. Podrobnejšie pokyny na vyplňovanie odpoveďového hárka sú na poslednej strane testu. Prečítajte si ich. Pracujte rýchlo, ale sústreďte sa. Želáme Vám veľa úspechov! Začnite pracovať, až keď dostanete pokyn! ŠPÚ BRATISLAVA 005 ŠPÚ BRATISLAVA 005 5

52 337 Časť I Vyriešte úlohy 0 0 a do odpoveďového hárka zapíšte vždy iba výsledok nemusíte ho zdôvodňovať ani uvádzať postup, ako ste k nemu dospeli. Výsledok zapisujte do odpoveďového hárka pomocou desatinných čísel. Pri zápise rešpektujte predtlačenú polohu desatinnej čiarky. Znamienko (mínus) napíšte do samostatného políčka pred prvú číslicu. Označenie jednotiek (stupne, metre, minúty, ) nezapisujte do odpoveďového hárka. Ak je Váš výsledok celé číslo, nevypĺňajte políčka za desatinnou čiarkou. Napríklad výsledok 33, zapíšte 3 3, výsledok 5 zapíšte 5, výsledok 47,9 zapíšte 4 7, 9 0 Z dreva sa získa 45 % buničiny a z nej 60 % papiera. Koľko ton papiera sa vyrobí z 300 ton dreva? 0 V pravouhlom trojuholníku ABC je AB = 6, α = 35. Vypočítajte dĺžku strany AC, výsledok uveďte zaokrúhlený na desatinné miesto. Poznámka: Zaokrúhlite len vypočítanú dĺžku strany AC, nezaokrúhľujte čísla, ktoré používate pri medzivýpočtoch. 03 V pravidelnom n-uholníku má vnútorný uhol veľkosť 44. Nájdite číslo n udávajúce počet strán tohto mnohouholníka. 04 Dospelú populáciu na Slovensku tvorí 50 tisíc žien a 075 tisíc mužov. Na základe nasledujúcej tabuľky uverejnenej v dennej tlači vypočítajte (v tisíckach), koľko dospelých ľudí na Slovensku trpí obezitou. 5 ŠPÚ BRATISLAVA 005