HIERARCHICKÝ LINEÁRNY MODEL PRIDANEJ HODNOTY ŠKOLY VO VZDELÁVANÍ Trajová Jana, Mária Kolková, Pavol Kaclík, Lukáš Píš 20.-21.10.2015, Bratislava Moderné vzdelávanie pre vedomostnú spoločnosť/projekt je spolufinancovaný zo zdrojov EÚ
KOGNITÍVNE TESTY v rámci projektu ZKV Testy zo slovenského jazyka a literatúry (SJL) 60 minút, 40 položiek na konci 8. a 9. ročníka (ZŠ) na konci 2. a 3. ročníka (SŠ) Testy z matematiky (MAT) 90 minút (ZŠ), 120 minút (SŠ), 30 položiek na konci 8. a 9. ročníka (ZŠ) na konci 2. a 3. ročníka (SŠ) Testy z matematickej gramotnosti (MG) 90 minút, 30 položiek na konci 8. a 9. ročníka (ZŠ) 2
CHARAKTERISTIKY TESTOV 81 škôl TEST: SJL 8 4 189 žiakov 2,1 % žiakov s nespoľahlivým skóre: 71 škôl TEST: SJL 9 3 150 žiakov 13 % žiakov s nespoľahlivým skóre: krátky čas 5 neriešené úlohy 5 krátky čas 220 odpisovanie 32 neriešené úlohy 28 vyšívač 1 vyšívač 13 rebel 48 rebel 285 počet žiakov, ktorí písali SJL8 aj SJL9: 3 027 počet žiakov zahrnutých do modelovania PHV-SJL: 1 934 3
CHARAKTERISTIKY TESTOV 81 škôl TEST: MAT 8 4 147 žiakov 0,6 % žiakov s nespoľahlivým skóre: 71 škôl TEST: MAT 9 3 052 žiakov 8,3 % žiakov s nespoľahlivým skóre: krátky čas 4 krátky čas 153 neriešené úlohy 21 neriešené úlohy 67 vyšívač 0 vyšívač 18 rebel 1 rebel 90 počet žiakov, ktorí písali MAT 8 aj MAT 9: 2 916 počet žiakov zahrnutých do modelovania PHV-MAT: 1 840 4
CHARAKTERISTIKY TESTOV 77 škôl TEST: MG 8 3 900 žiakov 1,5 % žiakov s nespoľahlivým skóre: 71 škôl TEST: MG 9 3 068 žiakov 13,9 % žiakov s nespoľahlivým skóre: krátky čas 33 krátky čas 329 neriešené úlohy 14 neriešené úlohy 112 vyšívač 7 vyšívač 12 rebel 9 rebel 111 počet žiakov, ktorí písali MG 8 aj MG 9: 2 896 počet žiakov zahrnutých do modelovania PHV-MG: 1 799 5
CHARAKTERISTIKY TESTOV 78 škôl TEST: SJL 2 5 840 žiakov 1,6 % žiakov s nespoľahlivým skóre: 66 škôl TEST: SJL 3 4 319 žiakov 2,3 % žiakov s nespoľahlivým skóre: krátky čas neriešené úlohy odpisovanie vyšívač 5 8 13 58 krátky čas neriešené úlohy vyšívač 8 39 64 rebel 17 rebel 37 počet žiakov, ktorí písali SJL 2 aj SJL 3: 4 069 počet žiakov zahrnutých do modelovania PHV-SJL: 2 878 6
CHARAKTERISTIKY TESTOV 78 škôl TEST: MAT 2 5 707 žiakov 1,5 % žiakov s nespoľahlivým skóre: 66 škôl TEST: MAT 3 4 106 žiakov 3,3 % žiakov s nespoľahlivým skóre: krátky čas neriešené úlohy 4 71 krátky čas neriešené úlohy 24 89 vyšívač 13 vyšívač 3 rebel 1 rebel 35 počet žiakov, ktorí písali MAT 2 aj MAT 3: 3 848 počet žiakov zahrnutých do modelovania PHV-MAT: 2 770 7
ČO JE PRIDANÁ HODNOTA VO VZDELÁVANÍ? Value added is the calculation of the contribution schools make to pupils progress. Zdroj: McPherson, A. (1992). Measuring Added Value in Schools (NCE Briefing 1). London: National Commision on Education. 8
PRIDANÁ HODNOTA VO VZDELÁVANÍ Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 9
PRIDANÁ HODNOTA VO VZDELÁVANÍ Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 10
PRIDANÁ HODNOTA VO VZDELÁVANÍ Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 11
PRIDANÁ HODNOTA VO VZDELÁVANÍ Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 12
HIERARCHICKÉ LINEÁRNE MODELOVANIE Úroveň žiaka: VÝSTUPNÝ TEST ij = β 0j + β 1j VSTUPNÝ TEST ij + r ij Úroveň školy: β 0j = γ 00 + u 0j PRIDANÁ HODNOTA β 1j = γ 10 ( + γ 11 premenná_škola j ) ŠKOLY VO VZDELÁVANÍ 13
Úroveň žiaka: HIERARCHICKÉ LINEÁRNE MODELOVANIE VÝSTUPNÝ TEST ij = β 0j + β 1j VSTUPNÝ TEST ij + r ij n ( + k=2 β kj premenná_žiak ij ) Úroveň školy: β oj = γ 00 + u 0j ( + γ 01 premenná_škola j ) β 1j = γ 10 ( + γ 11 premenná_škola j ) ŽIAK ŠKOLA VSTUPNÝ TEST VÝSTUPNÝ TEST POHLAVIE Φ ŠKOLY ZO VSTUP. TESTU Eva škola A 75 % 72 % 1 69 % Adam škola A 63 % 58 % 0 69 % Majka škola B 74 % 84 % 1 68 % Vilko škola B 62 % 78 % 0 68 % u_0j -1-1 1 1 Zdroj: http://rexik.zoznam.sk/rozpravky/online/zazracny-mlyncek/ 14
HIERARCHICKÉ LINEÁRNE MODELOVANIE CHARAKTERISTIKY ŠTUDENTA - - pohlavie - - spoľahlivosť skóre CHARAKTERISTIKY ŠKOLY -- podiel podiel dievčat dievčat na na škole škole -- priemerné priemerné skóre skóre školy školy vo vo vstup. vstup. teste teste -- podiel podiel nespoľahlivých nespoľahlivých na na škole škole PRIDANÁ HODNOTA ŠKOLY VO VZDELÁVANÍ SKUTOČNÉ SKÓRE PRIDANÁ HODNOTA PHV ŠKOLY VO VZDELÁVANÍ OČAKÁVANÉ SKÓRE SKUTOČNÉ SKÓRE OČAKÁVANÉ SKÓRE 16.. Zdroj: The Brookings Institution, úprava
bodový odhad PRINCÍP URČOVANIA KATEGÓRIÍ Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 17
PRINCÍP URČOVANIA KATEGÓRIÍ bodový odhad intervalový odhad Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 18
PRINCÍP URČOVANIA KATEGÓRIÍ bodový odhad intervalový odhad kategória nad úrovňou očakávania Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 19
PRINCÍP URČOVANIA KATEGÓRIÍ bodový odhad intervalový odhad kategória v súlade s očakávaním Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 20
PRINCÍP URČOVANIA KATEGÓRIÍ bodový odhad intervalový odhad kategória pod úrovňou očakávania Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 21
PRINCÍP URČOVANIA KATEGÓRIÍ bodový odhad intervalový odhad kategória nad úrovňou očakávania v súlade s očakávaním pod úrovňou očakávania Zdroj: The Board of Regents of the University of Wisconsin System, AlphaGraphics St. Louis 22
VÝSLEDKY MODELOVANIA PHV na gymnáziách PHV-MAT vstupný test: MAT 2 výstupný test: MAT 3 počet žiakov: 2 770 počet škôl: 57 16 Zastúpenie kategórií PHV-MAT 15 26 pod úrovňou očakávania v súlade s očakávaním nad úrovňou očakávania PHV-SJL vstupný test: SJL 2 výstupný test: SJL 3 počet žiakov: 2 878 počet škôl: 54 16 Zastúpenie kategórií PHV-SJL 23 15 pod úrovňou očakávania v súlade s očakávaním nad úrovňou očakávania 23
24 VÝSLEDKY MODELOVANIA PHV na základných školách PHV-SJL vstupný test: SJL8 výstupný test: SJL 9 počet žiakov: 1 934 počet škôl: 53 PHV-MAT vstupný test: MAT 8 výstupný test: MAT 9 počet žiakov: 1 840 počet škôl: 53 PHV-MG vstupný test: MG 8 výstupný test: MG 9 počet žiakov: 1 799 počet škôl: 50 pod úrovňou očakávania v súlade s očakávaním nad úrovňou očakávania 9 33 10 11 Zastúpenie kategórií PHV-SJL Zastúpenie kategórií PHV-MAT Zastúpenie kategórií PHV-MG 8 35 8 31 11
gymnáziá: POROVNANIE PHV PHV-MAT vs. PHV-SJL 14 12 10 9 13 10 8 6 5 5 5 5 4 2 1 1 0 PHV-MAT pod úrovňou očakávania PHV-MAT v súlade s očakávaním PHV-MAT nad úrovňou očakávania PHV-SJL pod úrovňou očakávania PHV-SJL v súlade s očakávaním PHV-SJL nad úrovňou očakávania 25
základné školy: POROVNANIE PHV 25 21 20 15 10 5 0 3 7 1 PHV-SJL pod úrovňou očakávania 5 6 PHV-SJL v súlade s očakávaním 0 6 3 PHV-SJL nad úrovňou očakávania PHV-MAT vs. PHV-SJL PHV-MAT pod úrovňou očakávania PHV-MAT v súlade s očakávaním PHV-MAT nad úrovňou očakávania 20 19 PHV-MAT vs. PHV-MG 15 10 5 0 2 6 0 PHV-MG pod úrovňou očakávania 5 6 PHV-MG v súlade s očakávaním 1 6 PHV-MG nad úrovňou očakávania 4 PHV-MAT pod úrovňou očakávania PHV-MAT v súlade s očakávaním PHV-MAT nad úrovňou očakávania 26
PRIDANÁ HODNOTA VO VZDELÁVANÍ v predmete SLOVENSKÝ JAZYK a LITERATÚRA - ARCHÍVNE DÁTA PHV-SJL počítaná za 4-ročné obdobie: T9 EČ MS počet škôl: 549 (166 GYM, 383 ostatné SŠ) počet žiakov: 28 403 percentuálne zastúpenie kategórií PHV-SJL počas 3 vĺn: gymnáziá ostatné stredné školy 100% 80% 23 % 23 % 20 % 100% 80% 27 % 26 % 21 % 60% 40% 60 % 57 % 59 % 60% 40% 47 % 46 % 56 % 20% 17 % 20 % 21 % 20% 26 % 28 % 23 % 0% 2013 2014 2015 0% 2013 2014 2015 Kategória: nad úrovňou očakávania v súlade s očakávaním pod úrovňou očakávania 27
PRIDANÁ HODNOTA VO VZDELÁVANÍ ARCHÍVNE DÁTA gymnáziá ostatné stredné školy 28
PRIDANÁ HODNOTA VO VZDELÁVANÍ ARCHÍVNE DÁTA GYMNÁZIÁ ZA PO TN TT BB KE BA NT 29
PRIDANÁ HODNOTA VO VZDELÁVANÍ ARCHÍVNE DÁTA OSTATNÉ STREDNÉ ŠKOLY ZA PO TN BA TT NT BB KE 30
ŠKOLY SO STABILNOU PHV SJL ARCHÍVNE DÁTA GYM SOŠ školy 3x nad úrovňou očakávania 8 29 školy 3x v súlade s očakávaním 11 35 školy 3x pod úrovňou očakávania 38 63 školy s extrémne premenlivou PHV 0 12 iné 109 244 66% gymnáziá 5% 6% 0% 23% školy 3x nad úrovňou očakávania školy 3x v súlade s očakávaním školy 3x pod úrovňou očakávania školy s extrémne premenlivou PHV iné ostatné stredné školy 64% 8% 9% 16% 3% 31
LIMITY Výsledok PHV nemožno zovšeobecniť na celú školu! Zmena kategórie PHV neznamená zlepšenie, resp. zhoršenie! Na základe kategórie nie je možné jednoznačne určiť, ktorá škola je lepšia! 32
LIMITY Výsledok PHV nemožno zovšeobecniť na celú školu! PHV vypočítaná pre daný predmet nie všetci žiaci školy (ročníka) mohli byť zahrnutí do výpočtu podiel žiakov vo výpočte PHV: - min. 12 %, max. 100 %, priemer: 70 % 33 Zdroj: Pridaná hodnota vo vzdelávaní v predmete slovenký jazyk a literatúra. Technická správa
LIMITY Zmena kategórie PHV neznamená zlepšenie, resp. zhoršenie! PHV ako relatívna miera porovnávanie škôl s priemerným výsledkom všetkých škôl za dané obdobie 34
Bodový a intervalový odhad PHV LIMITY Na základe kategórie nie je možné jednoznačne určiť, ktorá škola je lepšia! A A C B Škola A má štatisticky významne vyššiu PHV ako škola B. PHV škôl A a C nie sú štatisticky významne odlišné. 35
Ďakujem za pozornosť www.nucem.sk www.etest.sk 36
KONTAKT info@nucem.sk 37