O hodnotení (nielen) publikačnej a citačnej činnosti akademických pracovísk výťah z konferencie KRE 11 (Knowledge, Research and Education /meranie výskumu, 8.-9.9.2011, NTK Praha) a konferencie IREG Forum: National University Rankings on the Rise (9.-11.10.2011, UK, Bratislava) A. Shearman Odbor transferu technológií CVTI SR, Lamačská cesta 8/A, 811 04 Bratislava Informačný seminár CVTI SR 28.11.2011
Konferencia KRE 11 Úvodné slovo: Jan Hrušák (vrchný riaditeľ sekcie pre vedu a výskum MŠMT ČR ) V súčasnosti 40% rozpočtu MŠMT ČR je určených na financovanie vedy. Medzi vedeckou komunitou a politikmi panuje zhoda v otázke: a) urgentnej zmeny systému hodnotenia kvality výskumu, na základe ktorého sú inštitúcie VaV financované b) o potrebe dobre zdôvodnených a spravodlivých metód hodnotenia, ktoré podporia výskum ako nutnú podmienku ekonomického rozvoja a vysokoškolského vzdelávania.
Konferencia KRE 11 Medzinárodný audit výskumu, vývoja a inovácií v ČR a implementácia výsledkov do strategických dokumentov je jedným z tzv individuálnych projektov národných pre oblasť terciárneho vzdelávania, výskumu a vývoja, ktoré v rámci Operačného programu Vzdelávanie pre konkurencieschopnosť realizuje Ministerstvo školstva, mládeže a telovýchovy ČR. Dôležitou súčasťou projektu bola verejná zákazka, ktorú na základe výberového konania realizovalo od apríla 2009 do októbra 2011 konzorcium šiestich renomovaných zahraničných inštitúcií. Zodpovednosť za celú zákazku prevzala organizácia Technopolis Group pôsobiaca v 9 európskych krajinách.
Program KRE 11: 1. James V. Staros, Ph.D., USA: Evaluating Research at Levels from National to Institutional - podrobnejšie 2. Štěpán Jurajda, CERGE-EI, CK: Common Mistakes in the Application of Bibliometric Information in the Czech Republic Poukázal na najčastejšie chyby pri používaní bibliometrických údajov na príklade nedávneho hodnotenie vedy a výskumu v oblasti spoločenských vied. 3. Nancy F. Foster, Univerzita v Rochestri, USA: Particiapatory Design of Academic Libraries Referovala o metóde spoluúčasti, ktorú aplikovali so spolupracovníkmi v rámci projektu pri rekonštrukcii akademickej knižnice. Základom metódy bola spoluúčasť študentov na pretváraní priestorov knižnice tak, aby v prvom rade vyhovovala jej používateľom.
4. Erik Arnold, Technopolis Group, VB: Measuring Health in Research, Innovation Systems: The Czech Research Audit in International Context Analyzoval pozitíva a negatíva rôznych typov štruktúr a hierarchické postavenie orgánov na úrovni vlád a inštitúcií zabezpečujúcich hodnotenie vedy a výskumu (Fínsko, Nórsko, Austrália) a modely hodnotenia. Pri zostavovaní modelu treba rešpektovať osobitosti danej krajiny, východiskom by mal byť inteligentný model posudzovania expertmi a mal by byť dosiahnutý konsenzuálne.
5. Joep Verheggen, Elsevier Science, NL: A Short Story about Multi-dimensional Research Assessment and SciVal Applications 6. Jeff Clovis, Thomson-Reuters, USA: Assessing Faculty productivity and Institutional Performance: Using Publication and Citation Key Performance Indicators Stručne poukázali na možnosti nástrojov na scientometrické spracovanie bibliometrických údajov z databáz Scopus (SciVal) a Web of Science (InCites) na hodnotenie vedy a výskumu z hľadiska postavenia jednotlivca, skupín vedeckých kolektívov, katedry/oddelenia, inštitúcie v medziinštitucionálnom a medzinárodnom kontexte
7. Jaroslav Machan, ŠKODA AUTO, a. s., ČR: Experience of R&D cooperation between the Academic and Industrial Sector Kriticky zhodnotil spoluprácu medzi priemyslom a vysokými školami na vedeckých a výskumných projektoch a podelil sa o pozitívne a negatívne skúsenosti a postrehy z tejto spolupráce, upozornil na nedostatky a uviedol, akým spôsobom je možné ich odstrániť; sumarizoval vzájomné výhody takejto spolupráce. Ako kľúčové vysoké školy spolupracujúce so Škoda: ČVUT Praha, TU Liberec, TU Brno, VŠB Ostrava, VŠUP Praha a Bratislava (dizajn).
James V. Staros, Ph.D., dekan a prorektor pre vedu a výskum, Massachusettská univerzita, Amherst, USA Evaluating Research at Levels from National to Institutional V USA tri metodiky národného hodnotenia univerzít založené na výskume: 1. Carnegie klasifikácia 2. Centrum na meranie výkonu univerzít (CMUP) 3. Asociácia amerických univerzít (AAU)
1. Carnegie klasifikácia Obsahuje mnoho kategórií inštitúcií: univerzity poskytujúce doktorandské štúdium, univerzity poskytujúce magisterské štúdium, špecializované inštitúcie: medicínske centrá a samostatné právnické školy, inštitúcie poskytujúce bakalárske štúdium, kmeňové VŠ (Indiáni) a pod. Univerzity poskytujúce PhD štúdium kritérium zaradenia ako univerzita min. 20 výskumných doktorátov/rok. 3-úrovňová klasifikácia: - doktorandské/výskumné univerzity - výskumné univerzity (vysoko výskumne aktívne) - výskumné univerzity (veľmi vysoko výskumne aktívne)
Kriteriá: - ročné výdavky na vedu a rozvoj (NSF) - počet PhD zamestnancov (NSF) - počet PhD titulov udelených/rok (IPEDS) Zohľadňované sú súčasne: agregované údaje mierou celkových výstupov (napr. celkové výdavky na výskum) a normalizované údaje agregované údaje delené počtom zamestnancov fakulty, sú mierou jej efektívnosti
Agregované a normalizované údaje majú rovnakú váhu: vysoké skóre v oboch: veľmi vysoko výskumne aktívne univerzity vysoké skóre v jednom kritériu: vysoko výskumne aktívne ostatné, spĺňajúce kvalifikačné kritérium: doktorandská/výskumná univerzita
2. Centrum na meranie výkonu univerzít 9 (agregovaných) kritérií meraných ročne: - Celkové výdavky na výskum (NSF) - Výdavky na federálny výskum (NSF) - Príjmy z národných grantov* (NACUBO) - Ročný príjem univerzity* (CAE-VSE) - Členstvo v národnej akadémii (NAS, NAE, IOM) - Prijaté ocenenia (podľa špeciálneho zoznamu) - Získané tituly PhD** (IPEDS) - Zamestnanci na postdoktorandských postoch** (NSF) - Medián skóre SAT* (alebo ACT) *zvýhodňuje súkromné u. ** zvýhodňuje verejné u.
Klasifikácia je založená najprv na počte kritérií so zaradením 1-25, potom na tých so zaradením 26-50: - najlepšie hodnotené univerzity majú zaradenie 1-25 vo všetkých 9 kritériách (v r. 2010 - Columbia, MIT, Stanford a University of Pennsylvania) - ďalšia v 8 kritériách (v r. 2010 Harvard, jedno kritérium zaradené 26-50) - najvyššie hodnotené verejné univerzity (1-25 v siedmich kritériách a 26-50 v jednom: Berkeley, UCLA, Michigan, Washington a Wisconsin-Madison)
Centrum na meranie výkonu univerzít zvýhodňovanie súkromných vs verejných univerzít a vice versa kompenzuje ďalším triedením súkromných a verejných univerzít: 9 súkromných univerzít malo zaradenie 1-25 vo všetkých 9 kritériách 7 verejných univerzít malo zaradenie 1-25 vo všetkých 9 kritériách
3. Asociácia amerických univerzít (AAU) Členstvo v asociácii je na pozvanie asociácie 61 severoamerických výskumných univerzít (verejných i súkromných) Voľba za člena je založená na splnení 2 sád indikátorov: Indikátory 1. fázy: - Súťaživé financovanie z federálnych zdrojov - Členstvo v národných akadémiách - Hodnotenie doktorandských programov Národnou radou pre výskum (National Research Council) - Ocenenia a vyznamenania fakúlt (zo zoznamu) - Citácia publikácií pracovníkov fakulty
Indikátory 2. fázy: - Financovanie štátneho, USDA, priemyselného výskumu (nepodlieha recenzovaniu) - PhD vzdelanie (počet a distribúcia udelených PhD doktorátov) - Počet pracovníkov na postdoktorandskom poste - Vzdelávanie vysokoškolákov zdroje údajov - komerčné databázy WoK a Scopus, údaje z databáz inštitúcií a databáz Academic analytics Zohľadnené sú agregované a normalizované údaje Hodnotenie univerzity pred pozvaním za člena je dlhodobé; od roku 2000 boli pozvané iba 3 univerzity
Financovanie - stratégia: Na národnej úrovni o alokovaní financií do oblastí výskumu v USA rozhodujú sekcie legislatívy a exekutívy Orgánom/agentúram s rôznym poslaním sú pridelené finančné limity. Národné zdravotné ústavy (NIH) Národný fond pre vedu a výskum (NSF) Ministerstvo energetiky (DE) Národná agentúra pre výskum vesmíru (NASA) Národná podpora pre humanitné vedy (NEH) Národná podpora pre umenie a kultúru (NEA) Ministerstvo poľnohospodárstva (USDA) a iné
V rámci každej agentúry sú financie strategickým procesom rozdelené na programy. V skutočnosti sa však opakuje prideľovanie financií podobne ako predošlé roky len s malými strategickými zmenami. Vo veľmi zriedkavých a výnimočných prípadoch (blokové granty pre poľnohospodárstvo) financovanie z federálnych fondov neplynie univerzitám na báze vopred dohodnutých schém.
Financovanie - taktika: Väčšina federálnych fondov je distribuovaná procesom recenzií/odborných posudkov. - Agentúry zvyčajne oznámia výzvu na predkladanie návrhov na oblasti s nárokom na podporu na výskum. Výskumníci alebo výskumné kolektívy predložia návrhy s opisom výskumu, ktorý chcú uskutočniť. - Návrhy sú komisionálne posudzované skupinou expertov podľa ich profesie. - Obvykle prebieha ďalšie kolo posudzovania druhým orgánom/agentúrou, či sú naplnené strategické ciele výskumu. - Tento typ je súťaživou formou financovania a uplatňuje sa pri hodnotení Centrom pre meranie výkonov vo výskume a Americkou asociáciou univerzít.
Všetky kritériá pre program šedá národný medián; modrá články; lilavá citácie; žltá ocenenia, zelená granty
IREG Forum: National University Rankings on the Rise 9. 11. 10. 2011 aula právnickej fakulty UK, Bratislava Organizátori: IREG Observatory on Academic Ranking and Excellence a Akademická rankingová a ratingová Agentúra (ARRA), SK v spolupráci s UK Bratislava Pod záštitou MŠVVaŠ SR
O ORGANIZÁTOROVI IREG VARŠAVA, 2002 IREG-0. Konferencia International Ranking Expert Group (IREG) zorganizovaná ako spoločná iniciatíva Európskeho centra pre vysoké školstvo pri UNESCO (UNESCO-CEPES) a skupiny expertov s medzinárodným zastúpením, ktorí sa zaujímali o kvalitu hodnotenia akademických inštitúcií. Varšava 2008, IREG skupina iniciovala postup vedúci k založeniu medzinárodnej organizácie IREG Observatory on Academic Ranking and Excellence Brusel, 2009, vyložená a zaregistrovaná v Bruseli ako medzinárodné neziskové združenie
Akademická rankingová a ratingová agentúra (ARRA) je občianske združenie v Slovenskej republike, ktoré vzniklo v roku 2004 z iniciatívy bývalých študentských lídrov a osobností z akademického prostredia. ARRA je zakladajúcim členom celosvetovej organizácie rankingových agentúr IREG Observatory Členovia: SRN, Taiwan, Kazachstan, USA (2), Ruská federácia, Singapur, Francúzsko, Poľsko, Veľká Británia, Slovensko, Čína, Ukrajina, Rumunsko (3), Slovinsko, Švédsko, Lotyšsko, Holandsko, Slovensko (ako neziskové organizácie alebo univerzity)
Waldemar Siwiński, vice-prezident IREG Observatory; prezident vzdelávacej nadácie Perspektywy, Poľsko: National Ranking as an Integral part of the Global University Landscape Napriek mnohým nedostatkom, predpojatosti a chybám hodnotenie je vysoko akceptované zainteresovanými a širšou verejnosťou, pretože je jednoduché a informácie sú podávané zrozumiteľnou formou (konzumenta). Z týchto dôvodov hodnotenie univerzít nezanikne; očakáva sa, že počet hodnotení bude narastať a budú prepracovanejšie a špecializovanejšie. prof. Andrejs Rauhvargers European University Association Report (Správa Asociácie európskych univerzít)
Národné perspektívy Základné tézy pre hodnotenie: - na efektívne využitie inovačného potenciálu vysokoškolského vzdelávacieho systému krajiny musia mať národné hodnotenia univerzít vypracované nezávislou organizáciou - národné hodnotenia stimulujú súťaženie medzi univerzitami o študentov, zamestnancov a financovanie
Hodnotenie poľských univerzít v r. 2011 Súčasné kritériá sa v PĽ vyvíjali od roku 2000-30 % akademická efektívnosť (do r. 2011 ako kritérium vedecká sila) - 25% prestíž - 15 % akademický potenciál (do r. 2011 ako kritérium vedecká sila) - 15% internacionalizácia (zavedený v r. 2005) - 10 % prostredie na vzdelávanie (z pôvodných 20% v r. 2000) - 5 % inovácie (zavedené v r. 2010) Bronisław Komorowski, prezident Poľska Hodnotenie nadáciou Perspektywy je spoľahlivým meradlom vyučovania a výskumných schopností poľských univerzít.
Globálne perspektívy Dôvody prečo národné hodnotenia pretrvajú: 1. zlepšujú súťaživosť medzi univerzitami 2. prekonali obmedzenia globálneho hodnotenia 3. účinným spôsobom zabezpečujú kvalitu vysokoškolského vzdelania 4. poskytujú viac informácií pre potenciálnych zahraničných študentov
5. uľahčujú monitorovanie reforiem Akreditácia nie je dostatočná na zabezpečenie konkurencieschopnosti Závery hodnotenia poľských univerzít nadáciou Perspektywy korešponduje s výsledkami akreditačného procesu uskutočneného štátnou akreditačnou komisiou. Hodnotenie poskytuje úplnejší obraz o univerzitách, pretože sú v ňom zohľadnené viaceré faktory a indikátory a analyzuje ich hlbšie Hodnotenia, ktoré sú vykonávané ročne, sú aktuálnejšie. Prof. Marek Rocki (predseda štátnej akreditačnej komisie v Poľsku).
Globálne perspektívy Dôvody prečo národné hodnotenia pretrvajú: 6. nové databázy napomáhajú vytvárať kvalitnejšie národné hodnotenia 7. Objavujú a zavádzajú sa nové národné hodnotenia.
Gero Federkeil, vice-prezident IREG Observatory; manažér zodpovedný za hodnotenie, CHE Centrum pre vysokoškolské vzdelanie, SRN: What Can National Rankings Learn from the U_Multirank Project (V čom sa môže poučiť národné hodnotenie z projektu U_Multirank) Informácia o projekte zadanom EU komisiou (záverečná správa Design and Testing the Feasibility of a Multidimensional Global University Ranking, June 2011dostupná na http://ec.europa.eu/education/highereducation/doc/multirank_en.pdf)
- 2-ročný projekt, 2009 jún 2011 - Začal za pôsobenia Jána Fígeľa, vtedajšieho komisára pre vzdelanie, odbornú prípravu, kultúru a mládež s cieľom umožniť zainteresovaným vybrať si na základe dostatku informácií; pomôcť inštitúciám zaradiť sa a zlepšiť kvalitu ich činnosti a výkonov 2 fázy: V 1. fáze projektu: U_Multirank Projekt Navrhnutie nového hodnotiaceho nástroja Vývin metódy na budovanie klasifikačných skupín namiesto zostavovania ligových tabuliek
Špecifikácia U-Multirank - 5 dimenzií: 1. Vyučovanie (slúži potenciálnym študentom na získanie informácie založenej na hodnotení skúseností s vyučovaním a možnostiach na štúdium samotnými študentmi indikátory sú veľmi užitočné a realizovateľné) 2. výskum 3. transfer vedomostí novo zavedená dimenzia, s novými indikátormi (spoločné publikácie s priemyslom, výskum financovaný priemyslom, no problém so podnikmi typu spin off/licenciami)
Špecifikácia U-Multirank - 5 dimenzií: 4. medzinárodná orientácia (Z: hodnotenie na základe medzinárodnej orientácie programov je vhodnejšie ako počet zahraničných študentov) 5. regionálne väzby - novo zavedená dimenzia, (Z: dôležitá v mnohých inštitúciách, novým indikátorom sú spoločné regionálne publikácie; v U-Multirank-u najproblematickejšia; nevyhnutný je ďalší rozvoj tejto dimenzie)
Vzorka 159 (cieľ: 150) inštitúcií poskytujúcich vysokoškolské vzdelanie 57 krajín, z nich 2/3 európskych štátov (EU i mimo), 1/3 (Austrália, Afrika, Čína Japonsko, USA) 109 vyplnilo dotazník o inštitúcii (SK navrhnuté 2 inštitúcie, do pilotnej štúdie prešla 1, no údaje nezaslala)
Zber údajov Hlavným nástrojom na zber údajov z inštitúcií boli 4 on-line dotazníky, 3 pre inštitúcie a 1 pre študentov: 1. na U-Mapovanie 2. inštitucionálny 3. založený na študijnom odbore 4. študentský prieskum
Zber informácií 1. U-Mapovaním všeobecné: názov; sídlo; charakter: verejná, súkromná; doba od založenia; o študentoch: počet domácich a medzinárodných; spôsoby vyučovania a vek študentov; o doktorandoch: stupeň štúdia; zameranie; pracujúci v regióne; o zamestnancoch: s plným úväzkom; počet zamestnancov; zahraniční; o príjmoch: celkom; príjmy podľa typu činnosti; podľa zdroja; o výdavkoch: celkové; na jednotlivé organizačné jednotky...; o výskume a výmene znalostí: publikácie; patenty; koncerty a predstavenia; podniky start-up) (referenčný šk. r. 2008/2009)
Zber informácií 2. inštitucionálnym dotazníkom niektoré informácie rovnaké ako v U-Map, tie sa automaticky preniesli (odporúčalo sa vyplniť dotazník U-Map ako prvý (referenčný šk. rok 2008/2009) všeobecné: názov; sídlo; charakter: verejná/súkromná; doba od založenia; univerzita/nemocnica; o študentoch: počty prihlásených; študijné programy: bakalárske/inžinierske/doktorské; postgraduálne; o absolventoch: počty úspešných; zamestnanosť;
Zber informácií 2. inštitucionálnym dotazníkom o zamestnancoch: s plným úväzkom; počet zamestnancov; zahraniční; počty zamestnancov na pracovisku technologického transferu (TT); o príjmoch: celkom; príjmy z vyučovania; z výskumu; z iných činností; o výdavkoch: celkové; na jednotlivé organizačné jednotky; pokrytie; o výskume a výmene znalostí: publikácie; patenty; koncerty a predstavenia; podniky start-up
Zber informácií 3. založený na študijnom odbore 1. časť prehľad: názov a jednotka zodpovedná za študijný odbor; kontaktná osoba; zamestnanci a doktorandi: akademické tituly; profesori; zahraniční profesori; profesori s ponukou prednášok v zahraničí; profesori so skúsenosťami s prácou v zahraničí; počty doktorandov; počet post doktorandov; financovanie: externé zdroje; licenčné dohody/príjmy z licencií; spoločné vedecko-výskumné projekty s miestnymi podnikmi;
Zber informácií 3. založený na študijnom odbore 1. časť pokrač. o študentoch: počty celkom; /medzinárodné tituly; výmena študentov; abslolvované stáže v zahraničí; absolvenstké práce v kooperácii a miestnymi podnikmi; regionálne väzby: kontinuálne vzdelávacie/profesijné vzdelávacie programy; letné školy/kurzy pre stredoškolákov, opis: akreditácia pracoviska; profil z hľadiska vyučovania a z hľadiska výskumu
Zber informácií 3. založený na študijnom odbore 2. časť základné o študijných programoch (napr.,dĺžka na získanie titulu); interdisciplinárne charakteristiky; plný/čiastočný úväzok; počty študentov v študijnom programe; počty miest a výška poplatku; pracovné činnosti zahrnuté do št. programu; medzinárodná orientácia; spoločné študijné programy; kredity: získané za výsledky dosiahnuté v zahraničí; počet zahraniných študentov na výmene; predmety v cudzom jazyku; osobitosti; počet absolventov a informácie o ich zamestnanosti
Zber informácií 4. študentský prieskum zabezpečenie neovplyvnenia údaje zasielané emailami, poštou; prístup k dotazníku cez individuálne heslo; najmä o vyučovaní a podmienkach na učenie a o zariadeniach inštitúcie (participatory design- KRE 11)
Zber informácií - Databázy WoS nedostatočne indexované konferenčné zborníky, regionálne publikácie v inom ako anglickom jazyku, žiadne knihy, nedostatočné zastúpenie publikácií aplikačného charakteru, spoločenských vied a najmä humanitných vedných odborov, preto ako alternatívny zdroj bibliometrických informácií db Scopus. Údaje prečisťované, harmonizované názvy a kontrolovaná správnosť zápisov (na úrovni univerzity nie fakulty).
Zber informácií - Databázy Bibliometrické indikátory: Celkový počet publikácií Spoločné publikácie s priemyslom Spoločné medzinárodné publikácie Počty citácií normalizované podľa vednej oblasti Podiel na vo svete najcitovanejších publikáciách Spoločné regionálne publikácie
Zber informácií - Databázy Patentové databázy PATSTAT (db EPO) pokročilá patentová analýza patentových údajov (z viac než 80 krajín, 70 milión. záznamov, 63 mil. patentových prihlášok a 7 mil. patentov) Údaje získané v rámci EÚ projektu EUMIDA (27 EU krajín + Nórsko a Švajčiarsko) - národné údaje dostupné v štatistických úradoch, ministerstvách, hlavne do indikátorov vstupov
Zhodnotenie (zberu) - medzinárodné hodnotenie sa musí spoliehať na údaje dodané samotnými inštitúciami, pretože nie je dostatok relevatných databáz (okrem bibliometrických a patentových) - spätná väzba s univerzitami, týkajúca sa nimi dodaných údajov o inštitúcii, jej fakultách a programoch napomohla zvýšiť konzistenciu a kvalitu údajov - duplicitný / konfliktný zber údajov na národnej úrovni (napr. študentské prieskumy) nastoľuje problematiku koordinácie národných a medzinárodných hodnotení
2. fáza projektu: Testovanie U-Multirank Na dvoch úrovniach: inštitúcie (FIR) vedného odboru (FBR) V dvoch oblastiach: ekonomika strojné a elektroinžinierstvo zelený skóre inštitúcie je vysoké (v špičkovej skupine) červený skóre inštitúcie je v spodnej časti žltý výkon inštitúcie je uprostred
Náhľad na všetky dimenzie s troma indikátormi v každej (poradie usporiadané podľa indikátora)
Náhľad na všetky dimenzie s troma indikátormi v každej (poradie usporiadané podľa indikátora vedecké publikácie výstupy)
Náhľad na dimenziu Výskum so všetkými indikátormi
Lúčovité zobrazenie profilu výkonu inštitúcie
Zhrnutie s cieľom umožniť zainteresovaným vybrať si na základe dostatku informácií; pomôcť inštitúciám zaradiť sa a zlepšiť kvalitu ich činnosti a výkonov - Systém, ktorý je užívateľsky motivovaný - Intenzívna komunikácia a konzultácie so zainteresovanými stranami napomohli zvýšiť akceptáciu systému - Viacrozmerné a personalizované hodnotenia umožňujú: jednotlivému používateľovi systému zhodnotiť inštitúciu z hľadiska osobných priorít sieťovanie a združovanie univerzít s cieľom vytvárať štandardy a ich vlastné hodnotenia
Výhľady: národné hodnotenia a U- Multirank požiadavka na národné hodnotenia je trvalá a bude pokračovať! budú definované hlavné sady indikátorov pre národné hodnotenia a U-Multirank? vytvorí sa sústava/sieť národných hodnotení, napr. SRN Rakúsko Švajčiarsko - Nizozemsko Španielsko, ktoré zdieľajú údaje použiteľné v U-Multirank
Ivan Ostrovský, prorektor, UK Bratislava: ARRA s Experience in Identification of the Top Research Teams: Case Study of Slovak Academy of Sciences (Skúsenosti ARRA pri identifikovaní najlepších výskumných kolektívov - prípadová štúdia SAV) Významným podnikom bráni spolupráci priemernosť a všednosť/neinvenčnosť vysokoškolských vzdelávacích a výskumných inštitúcií.
Projekt pre SAV identifikácia špičkových výskumných kolektívov, ktoré by súčasne boli aj perspektívnymi: Zodpovedať 3 kritické otázky: čo sa rozumie pod pojmom výskumný kolektív? čo znamená byť špičkový? čo znamená perspektívny výskumný kolektív? Odpovede - na základe komplexného zhodnotenia (nie slepým aplikovaním scientometrie) 1. identifikovaním vednej oblasti kolektívu 2. zistením, či určitý výskumník je/nie je členom výskumného kolektívu 3. zhodnotením kritérií v tomto kontexte
Identifikácia kolektívov: - zoznam podľa formálneho členenia SAV na ústavy - úroveň a stupeň ich vzájomnej spolupráce - za vedúcich kolektívov bol/i považovaný/í autor/i s ktorými ostatní členovia kolektívu mali najvyššie % publikácií - členovia kolektívu, ktorí tvoria jeho jadro a ostatní - mimoinštitucionálna spolupráca na úrovni ústavu, SAV Pomocou bibliometrických údajov počet článkov (autor) > 30% spoločných článkov > 10% spoločných článkov > 60% spoločných článkov 1. a 2. Oddelenie SAV (živá a neživá príroda) bolo hodnotené spolu, 3. Oddelenie SAV (spoločenské a humanitné vedy) hodnotené samostatne
1. výberové kritérium (kto určite nie je špičkový) aplikované na 200 kolektívov v 1. a 2. oddelení SAV: - vedúci kolektívu s <10 WoS článkami od r. 2006 - vedúci/väčšina členov kolektívu s čiastočným úväzkom - modifikovaný h-index pre určitú vednú oblasť <15 63 kolektívov (asi 400 pracovníkov) bolo vyselektovaných na základe týchto kritérií
Základné princípy: Hodnotené časové obdobie 2001-2010 9 krokov na hodnotenie kolektívov kritériá: 1-2 zamerané na jednotlivých členov kolektívu celkový výkon a príspevok ku kvalite kolektívu 3-5 zamerané na výkony členov kolektívu kvalita, kvantita, vplyv publikácií
Základné princípy: 6-8 zhodnocujú výnimočné publikácie a ich relatívny vplyv 9 opisuje pokrok (trendy) v kolektíve počas hodnoteného obdobia Porovnania s medzinárodnými referenčnými hodnotami Bola porovnaný počet priemerných citácií na článok s 35 svetovými univerzitami
Údaje boli zhodnotené na základe 4 hlavných kritérií dôležitých z rôznych hľadísk hodnotenia výskumnej činnosti: počty publikácí (počet výstupov), celkový vplyv (počty citácií, h-index), účinnosť (priemerný počet citácií/článok, necitovaný článok), relatívny vplyv (špičkové publikácie, 1. percentil/decil)
Bolo identifikovaných: 22 špičkových kolektívov 17 nadpriemerných kolektívov (nesplnili niektoré z kritérií pre špičkový kolektív) z 1800 hodnotených pracovníkov v Oddelení 1 a 2 SAV: asi 1000 sú členmi určitých kolektívov 870 výskumníkov nepatria do žiadneho kolektívu 580 výskumníkov nepatrí do špičkových alebo nadpriemerných kolektívov
3. Oddelenie SAV - väčšina sú samostane publikujúci autori (občas vo dvojiciach) - problémy s vyhodnocovaním výkonu použitím údajov vo WoK InCites, ESI nedostatok údajov o publikáciách pracovníkov SAV v spoločenskovednom a humanitnom oddelení Vedný odbor/špecializácia (okrem niekoľkých pracovníkov publikujúcich v oblasti psychológia a ekonómia) žiadny pracovník nedosiahol h>2
Ďalšie údaje z knižnice SAV: nedostatok scientometrických údajov (priemerný percentil a pod.) absencia referenčných hodnôt (absencia informácie o prácach a citáciách v iných IZ ako hlavných databázach)
- V SSH identifikované iba 2 malé kolektívy a dvaja ďalší pracovníci vyhodnotení ako nadpriemerní, - takmer všetci zapojení do medzinárodnej spolupráce - Na hodnotenie výkonu spoločenskovedných a humanitných výskumných pracovníkov/kolektívov je možné aplikovať rovnaké kritériá ako na pracovníkov v oddeleniach 1 a 2 SAV (?) - Odporúča nepoužívať údaje z domácky vytvorených databáz
Celkové zhrnutie Hodnotenie vedecko-výskumných pracovísk má progresívny trend so zvyšujúcou sa váhou a akceptáciou zainteresovaných a verejnosti Ukazuje sa, že optimálny model hodnotenia je komplexný, kombináciou kvantitatívnych, kvalitatívnych ukazovateľov a jeho súčasťou je aj expertné posudzovanie Publikačná a citačná činnosť je významnou zložkou hodnotenia s relatívne najdostupnejšími údajmi a prepracovanými indikátormi
Trendy v hodnotení sa premietli do nedávneho vzniku analytických nástrojov (InCites a SciVal), ktoré uľahčujú scientometrické analýzy; údaje však musia byť použité so znalosťou problematiky Dôležitou súčasťou hlavne technických a prírodovedných odborov sú patentové databázy; postupne sa zohľadňujú kritériá súvisiace s TT Údaje v publikačných a citačných databázach sú zaťažené chybovosťou a neúplnosťou zastúpenia vedných oborov/typov publikácií; nedostatky sú postupne odstraňované (by bolo vhodné formulovať požiadavky na unifikáciu bibliografických údajov)
Črtajú sa rozdiely v prístupe k hodnoteniu v USA a Európe: USA má viac rôznych systémov väčší dôraz na finančný aspekt (vzdelanie ako obchodný artikel, študent/rodičia ako zákazníci a konzumenti) Európa snaha o zavedenie jednotného prístupu, ktorý je viac orientovaný na pomoc študentom pri výbere vzdelávacej inštitúcie a ako pomocný mechanizmus pre akademické inštitúcie pri skvalitňovaní ich činností...dobre zdôvodnených a spravodlivých metód hodnotenia, ktoré podporia výskum ako nutnú podmienku ekonomického rozvoja a vysokoškolského vzdelávania. pripisovanie veľkej vážnosti v porovnaní s USA
Pramene: http://www.techlib.cz/cs/1495-konference-kre- 11/ http://audit-vav.reformy-msmt.cz/soubory-kestazeni/zaverecna-zprava-z-auditu-vaval/ http://www.iregobservatory.org/index.php?option=com_conte nt&task=view&id=129&itemid=127 http://ec.europa.eu/education/highereducation/doc/multirank_en.pdf
Ďakujem za pozornosť