RESEARCH ARTICLES ANALYSIS OF RELIABILITY/ITEMS OF QUESTIONNAIRE IN RESEARCH OF INFLUENCING STUDENTS ATTITUDES TOWARDS TEACHING SUBJECTS BY MULTIMEDIA TEACHING MATERIALS Ján ZÁHOREC - Michal MUNK - Alena HAŠKOVÁ Abstract: The contribution follows the authors articles published in the previous JTIE issues (Záhorec Hašková, JTIE, 1/009, s. 83-91; Záhorec Hašková, JTIE, /009, s. 69-76) in which some results of a broader research focused on observation of possibilities to influence students` attitudes and approaches to particular subjects, mainly those belonging to their less favourite ones, were presented. In this contribution the authors present results of an analysis of reliability/items of a questionnaire which was used within the carried out research. The analysis of reliability/items of the questionnaire was done to develop an appropriate tool to obtain reliable data to verify possibilities to influence students` approaches to the subjects through a pedagogical intervention of created electronic teaching materials and interactive animations Principles of Geometry Optics into the teaching process. Key words: multimedia teaching material, questionnaire, reliability, analysiss of reliability/items, Cronbach s alpha coefficient. ANALÝZA SPOAHLIVOSTI/POLOŽIEK DOTAZNÍKA VÝSKUMU OVPLYVOVANIA VZAHU ŠTUDENTOV K VYUOVACÍM PREDMETOM PROSTREDNÍCTVOM MULTIMEDIÁLNYCH UEBNÝCH MATERIÁLOV Abstrakt: Príspevok nadväzuje na lánky uverejnené v predchádzajúcich íslach asopisu (Záhorec Hašková, JTIE, 1/009, s. 83-91; Záhorec Hašková, JTIE, /009, s. 69-76), v ktorých boli prezentované niektoré výsledky široko koncipovaného výskumu zameraného na sledovanie možností ovplyvovania postojov a vzahov študentov k jednotlivým vyuovacím predmetom, a to hlavne k tým, ktoré patria medzi ich neobúbené predmety. V tomto príspevku autori predstavujú výsledky analýzy spoahlivosti/položiek dotazníka, ktorý bol použitý v rámci uvedeného výskumu. Analýza spoahlivosti/položiek dotazníka bola použitá za úelom vytvorenia primeraného nástroja na získanie spoahlivých údajov na overeniee možnosti ovplyvovania vzahu študentov k vyuovacím predmetom pedagogickou intervenciou vytvorených elektronických uebných materiálov a interaktívnych animácií Základy geometrickej optiky do výchovno-vzdelávacieho procesu. Kúové slová: multimediálny uebný materiál, dotazník, reliabilita, analýza spoahlivosti/položiek, Cronbachov koeficient alfa. 1 Úvod V predchádzajúcom ísle asopisu sme prezentovali hlavnú as nami realizovaného výskumu overovania možností využívania multimédiami podporovaného vyuovania na elimináciu vysokej miery neobúbenosti uritých predmetov (Záhorec Hašková, JTIE, /009, s. 69-76). Nakoko ako výrazne neobúbený predmet bola identifikovaná fyzika (Záhorec - Hašková, JTIE, 1/009, s. 83 91), sústredili sme sa na tento vyuovací predmet. Formulovali sme výskumnú hypotézu, v ktorej sme predpokladali, že vyuovanie podporované elektronickými výubovými prostriedkami prispieva k znižovaniu negatívnych postojov k vyuovacím predmetom, konkrétne k vyuovaciemu predmetu fyzika. Na overenie stanovenej hypotézy bol použitý pedagogický experiment založený na pedagogickej intervencii nami vytvorených multimediálnych študijných produktov Základy geometrickej optiky. Na získanie relevantných výskumných údajov sme zostavili dotazník Zisovanie vzahu a postojov študentov k vyuovaciemu predmetu fyzika, ktorý bol administrovaný respondentom výskumu (výskumná vzorka študentov štvrtého roníka štvorroného a oktávy osemroného gymnázia) ako pretest pred zaiatkom pedagogického experimentu a následne ako posttest po jeho ukonení. Úelom dotazníkaa bolo diagnostikova zmeny vo vzahu študentov k sledovanému predmetu fyzika navodené uplatovaním 65
elektronickými výubovými prostriedkami podporovaného vyuovania. Názory respondentov v položkách dotazníka boli zaznamenávané na sedemstupovej, resp. pästupovej škále. Vyššia miera nesúhlasu s predloženým tvrdením (otázkou) bola oznaená nižšou hodnotou, úplný nesúhlas bol oznaený stupom 1, vyššia miera súhlasu s predloženým tvrdením (otázkou) bola oznaená vyššou hodnotou, úplný súhlas bol oznaený stupom 7 (resp. 5). U každého študenta bola pri spomínaných položkách v rámci pretestu ako aj v rámci posttestu zaznamenaná hodnota škály poda toho, akú mieru svojhoo súhlasu alebo nesúhlasu s jednotlivými tvrdeniami vyznail. V jednotlivých položkách dotazníka študenti hodnotili fyziku z hadiska ich vlastného vzahu k tomuto premetu, t.j. miery jej obúbenosti, z hadiska zaujímavosti osvojovaných poznatkov, náronosti osvojovaných poznatkov, zrozumitenosti výkladu nového uiva poskytovaného uiteom, významu tohto predmetu pre všeobecné vzdelanie a život loveka. Okrem toho sme u každého študenta zaznamenali známku z fyzikyy na konci 3. roníka, ktorá predstavovala taktiež ordinálnu premennú. Na analýzu spoahlivosti/položiek dotazníka sme použili techniky a metódy na posúdenie spoahlivosti dotazníka a identifikovanie jeho podozrivých položiek. Analýza spoahlivosti/položiek Analýza spoahlivosti/položiek patrí medzi viacrozmerné prieskumné techniky a slúži k posúdeniu kvality spoahlivosti meracej procedúry, napríklad škály dotazníka a k identifikovaniu podozrivých položiek. K priamym odhadom spoahlivosti patrí Cronbachov koeficient alfa 1PRE 1PRE PRE 3PRE 4PRE 5PRE 1,000000 0,601537 0,45188 0,447306 0,370703-0,335337 PRE 0,601537 1,000000 0,09946 0,371584 0,485987-0,1676 3PRE 0,45188 0,09946 1,000000 0,314011 0,196405-0,198659 4PRE 0,447306 0,371584 0,314011 1,000000 0,8400-0,33504 5PRE 0,370703 0,485987 0,196405 0,8400 1,000000-0,033369 Známka z fyziky -0,335337-0,1676-0,198659-0,33504-0,033369 1,000000 Tabuka 1: Korelaná matica položiek pretestu. 66 = m ˆ α m 1 1 s kde m je poet položiek dotazníka, s j škály dotazníka, je rozptyl škály j - tej položky dotazníka. Odhad reliability môžeme dosta aj z priemerného korelaného koeficienta r jednotlivých položiek. Nazývame ho štandardizovaný Cronbachov koeficient alfa α = s j mr 1+ ( m 1) r, kde m je poet položiek. Štandardizovaný Cronbachov koeficient alfa dostaneme aj z predchádzajúceho vzahu, ak sme všetky merania dopredu štandardizovali, t. j. od každej hodnoty premennej sa odpoíta jej priemer a vydelí sa jej smerodajnou odchýlkou. Ak sú obidva odhady príliš odlišné, indikuje to, že jednotlivé položky nemajú rovnakú variabilitu. 3 Analýza spoahlivosti dotazníka Na analýzu spoahlivosti dotazníka sme použili techniky a metódy na posúdenie spoahlivosti dotazníka a identifikovanie jeho podozrivých položiek. Z korelanej matice uvedenej v tabuke 1 môžeme identifikova jeho podozrivé položky. Zvýraznené korelané koeficienty sú štatisticky významné na hladine významnosti 0,05., s je rozptyl Známka z fyziky
Z korelanej matice tabuky 1 vidíme, že medzi väšinou položiek sú korelácie štatisticky významné, o znamená, že medzi týmito položkami existuje uritá miera vzájomnej závislosti. ím viac sa korelaný koeficient približuje k hodnote 1, tým je priamoúmerná závislos silnejšia. Výnimkou sú položky a 3, medzi ktorými nie je korelácia štatisticky významná, z oho môžeme usúdi, že hodnoty sa menia nezávisle. Tieto položky sa na základe týchto výsledkov javia ako podozrivé. Medzi položkou Známka z fyziky a všetkými ostatnými položkami je negatívna korelácia, t.j. hodnoty sa menia spolone, ale v opanom smere (kým hodnoty jednej premennej klesajú, druhej premennej rastú). Korelaná matica jednotlivých položiek pretestu tabelovaná v tabuke 1 je graficky vizualizovaná na obr. 1. Obr. 1: Maticový graf vizualizácia korelanej matice (pretest). Poet položiek dotazníka: 5 Poet platn. prípadov: 73 Priemer: Smerod. odch.: Minimum: Cronbachova alfa: 16,53446575 4,67859557 6,000000000 0,767788059 Súet Rozptyl Maximum Standardiz. alfa 107,0000000 1,835616438 8,000000000 0,78071554 Priemerná korelácia medzi položkami: 0,43087633 Tabuka : Súhrnné štatistiky dotazníka (pretest). Hodnota koeficienta reliability 0,77 (77 %) vyjadruje podiel variability sútu škály položiek k celkovej variabilite dotazníka. Obidva odhady (Cronbachova alfa a štandardizovaná alfa) nie sú príliš odlišné, t. j. jednotlivé položky majú rovnakú variabilitu (tabuka ). Dotazník môžeme považova za spoahlivý, avšak nízka priemerná korelácia medzi položkami naznauje, že po odstránení niektorých položiek by sme mohli spoahlivos dotazníka zvýši. Z tabuky 3 vidíme, že všetky položky pretestu korelujú s celkovým skóre škály a po odstránení klesol koeficient reliability. U tretej položky sledujeme opaný stav, v tomto prípade koeficient reliability vzrástol. Po odstránení tretej položky sa zvýšil koeficient reliability - Cronbachova alfa z 0,77 na 0,79. Mean if Var. if StDv. if Itm.-Totl. Correl. Alpha if 1PRE 13,547955 11,6140 3,355801 0,731071 0,646448 PRE 1,58904 10,7900 3,84816 0,657158 0,6967 3PRE 14,095899 17,67574 4,045 0,31400 0,78965 4PRE 13,7534 17,03509 4,17359 0,57037 0,73505 5PRE 1,15069 16,15538 4,019375 0,577968 0,73691 Tabuka 3: Štatistiky dotazníka (pretest) po odstránení príslušnej položky. Analýza spoahlivosti posttetu nám iba potvrdila výsledky analýzy spoahlivosti pretestu. Výsledky vo forme tabuliek a grafov sú uvedené v tabukách 4 6 a na obrázku. 67
1POST 1POST 1,000000 POST 0,630168 3POST 0,355395 4POST 0,391970 5POST 0,5358 ZNÁMKA Z FYZIKY -0,175595 POST 3POST 4POST 5POST 0,630168 0,355395 0,391970 0,5358 1,000000 0,136654 0,9375 0,597861 0,136654 1,000000 0,39879 0,73538 0,9375 0,39879 1,000000 0,433043 0,597861 0,73538 0,433043 1,000000-0,0705-0,09467-0,1545-0,17770 Tabuka 4: Korelaná matica položiek posttestu. ZNÁMKA Z FYZIKY -0,175595-0,0705-0,09467-0,1545-0,17770 1,000000 Obr. : Maticový graf vizualizácia korelanej matice (posttest). Poet položiek dotazníka: Poet platn. prípadov: 5 73 Priemer: Smerod. odch.: Minimum: Cronbachová alfa: 19,50547945 5,671834871 8,000000000 0,8409399 Súet Rozptyl Maximum Standardiz. alfa 145,0000000 3,169710807 34,000000000 0,843874534 Priemerná korelácia medzi položkami: 0,536805848 Tab. 5: Súhrnné štatistiky dotazníka (posttest). Priem. po Rozptyl po SmOdch Pol-Celk Alfa po odstr. ods. po ods. Korel. odstr. 1POST 15,95890 18,0379 4,66590 0,78138 0,7663 POST 15,05479 19,06549 4,366405 0,68083 0,799711 3POST 16,388 3,68550 4,866775 0,45198 0,856600 4POST 16,16438,63051 4,757154 0,63301 0,81488 5POST 14,6713,00150 4,690576 0,735138 0,790543 Tab. 6: Štatistiky posttestu po odstránení príslušnej položky. Treou položkou dotazníka, ktorá bola identifikovaná ako podozrivá a ktorej odstránenie viedlo k zvýšeniu spoahlivosti dotazníka, bola položka Fyzika patrí medzi predmety... a) vemi nenároné b) nenároné c) skôr nenároné d) ani nároné, ani nenároné 68
e) skôr nároné f) nároné g) vemi nároné Touto položkou sme chceli získa názor študentov na náronos vyuovacieho predmetu fyzika na gymnáziu. Pokladali sme ju za jednu z položiek, v ktorej respondenti vyjadria svoje jednoznané stanovisko k náronosti fyzikálneho obsahu vzdelávania stanoveného uebnými osnovami. Prostredníctvom štatistických metód sme však prišli k zaujímavým zisteniam. Meranie pomocou škály ukázalo, že patrila medzi položky, pri ktorých sa vyskytli najdivergujúcejšie odpovede a po jej odstránení sa najviac zvýšil koeficient reliability dotazníka. Táto položka znižovala spoahlivos celého dotazníka z toho dôvodu, že aj študenti, ktorí na škále pri ostatných položkách vyjadrili súhlas s tým, že fyzika je pre nich skôr obúbená, zaujímavá a významná, pri tejto položke súhlasili s hodnotením fyziky ako nároného predmetu. Takmer /3 respondentov z celého dátového súboru pedagogického experimentu volila možnos e - skôr nároné, f - nároné, alebo g - vemi nároné. Aplikáciou prezentovanej analýzy sme získali spoahlivé experimentálne dáta, prostredníctvom ktorých sme mohli overi hypotézu, že vyuovanie podporované elektronickými výubovými prostriedkami prispieva k znižovaniu negatívnych postojov k vyuovacím predmetom, konkrétne k vyuovaciemu predmetu fyzika. 5 Literatúra (1) ZÁHOREC, J. Elektronické výubové prostriedky v technológii vzdelávania. Dizertaná práca. Nitra, PF UKF, 008. () ZÁHOREC, J. - HAŠKOVÁ, A. Hodnotenie stavu vyuovania informatiky a programovania z pohadu študentov. JTIE Journal of Technology and Informationn Education, 009,. 1, s. 83 91. (print), ISSN 1803-6805 (on-line). (3) ZÁHOREC, J. - HAŠKOVÁ, A. Empirický výskum ovplyvovania vzahu študentov k vyuovacím predmetomm prostredníctvom multimediálnych uebných materiálov. JTIE Information Education, 009,., s. 69 76. ISSN 1803-537X (print), ISSN 1803-6805 (on-line). (4) ZÁHOREC, J. MUNK, M. HAŠKOVÁ, A. Case study of analysis of reliability/items of questionnaire. ICETA 008. Košice : TUKE, 008. s. 373 376. ISBN 978-80-8086-089-9. Prof. PaedDr. Alena Hašková, CSc. PaedDr. Ján Záhorec, PhD. Ústav technológie vzdelávania Pedagogická fakulta Univerzity Konštantína Filozofa Dražovská cesta 4, 949 74 Nitra, SK e-mail: ahaskova@ukf.sk, jzahorec@ukf.sk RNDr. Michal Munk, PhD. Katedra informatiky Fakulta prírodných vied Univerzity Konštantína Filozofa Tr. A. Hlinku 1, 949 74 Nitra, SK e-mail: mmunk@ukf.sk www.ukf.sk 69