Будућност евалуације истраживања: синтеза текућих дебата и развоја

Динамичан и инклузиван истраживачки систем је изузетно важан и за науку и за друштво како би унапредили фундаментално знање и разумевање и како би се суочили са све хитнијим глобалним изазовима. Али истраживачки систем је под притиском због све већих очекивања од више актера (укључујући финансијере, владе и издавачку индустрију), тензија између динамике конкуренције и сарадње, еволуирајућег научног комуникационог система, агресивне – понекад – индустрије издаваштва и анализе података и ограничених ресурса. Истраживачко предузеће мора да управља овим захтевима и тензијама уз одржавање квалитета истраживања, очувања интегритета истраживања, инклузивности и разноврсности и заштите и основних и примењених истраживања.

Током протекле деценије, ови притисци на научни систем и потреба за одговорношћу научног система били су праћени критичнијим размишљањима о системима евалуације истраживања и мерења учинка. Иако су одговарајуће, контекстуално осетљиве методологије за процену квалитета и утицаја истраживања важне, дебате су се интензивирале о широким, сложеним и двосмисленим ефектима тренутних критеријума и метрика евалуације на квалитет и културу истраживања, квалитет доказа који информишу о креирању политике, приоритети у истраживању и финансирању истраживања, индивидуалне путање каријере и добробит истраживача. У неким деловима света све је више увиђање да узак и поједностављен скуп евалуационих метрика и индикатора не обухвата на задовољавајући начин квалитет, корисност, интегритет и разноврсност истраживања. Рутински коришћене – често засноване на часописима – метрике не успевају да обухвате важне додатне димензије висококвалитетних истраживања као што су оне које се налазе у менторству, размени података, ангажовању са јавношћу, неговању следеће генерације научника и идентификацији и давању могућности недовољно заступљеним групама. Осим што је сувише уског обима, сматра се да питање погрешне примене метрика и индикатора такође искривљује подстицаје за постигнуће, ставља у неповољнији положај неке дисциплине (укључујући витална интердисциплинарна и трансдисциплинарна истраживања) и подстиче предаторске и неетичке праксе објављивања.

Кампање за сузбијање погрешне примене метрике, проширење критеријума квалитета и систематичнија трансформација истраживачке културе кроз манифесте и изјаве, принципе и реформе поставиле су терен за глобалну дебату о потреби реформе процене истраживања. Ови гласови сада позивају на прелазак са манифеста на акцију. Ово се дешава у позадини трансформационих промена у начинима на које се истраживања спроводе и саопштавају. Успон отворених истраживачких оквира и друштвених медија, прелазак на мисијски оријентисану и трансдисциплинарну науку, раст отворене рецензије и трансформативни потенцијал вештачке интелигенције (АИ) и машинског учења захтева ново размишљање о томе како се процењују истраживања и истраживачи .

На овој позадини, Глобална академија за младе (ГИА), ИнтерАцадеми Партнерсхип (ИАП) и Међународни научни савет (ИСЦ) удружили су снаге како би сагледали дебате и развоје у евалуацији истраживања широм света, ослањајући се на групу научника за утврђивање опсега и низ регионалних консултација. Високошколске установе и финансијери истраживања у неким деловима света развијају и пилотирају нове приступе, а неколико њих је укључено у овај рад. У другим деловима света, ове дебате и акције су у настајању или чак и изостају. Са истраживачким системима који се развијају различитим брзинама, постоји ризик од дивергенције и фрагментације. Таква дивергенција може угрозити хомогеност потребну да би се омогућила истраживачка сарадња и олакшала мобилност истраживача у различитим географским подручјима, секторима и дисциплинама. Међутим, једна величина не може одговарати свима и постоји потреба за напорима који су осетљиви на контекст да се реформише евалуација, препознајући локалне изазове.

Са фокусом на истраживање јавног сектора и евалуацију истраживања и истраживача, овај документ за дискусију је глобалан у својој перспективи, покривајући дневни ред којим типично доминирају дешавања у Европи и Северној Америци: регионалне перспективе и примери националног развоја и институционалне реформе су истакнуто. Глобално и колективно чланство у ГИА, ИАП и ИСЦ представља широк пресек истраживачког екосистема чији различити мандати могу олакшати истинску системску промену. Овај документ настоји да послужи као подстицај за ГИА, ИАП и ИСЦ – као платформе за међусобно учење, експериментисање и иновације – да раде са својим члановима, другим научним институцијама и кључним групама широм света, да започну и унапреде разговоре и мобилишу инклузивније и заједничко деловање.

Препоруке за ГИА, ИАП и ИСЦ и њихове чланове (видети одељак 5) су структурисане око њихових улога као адвоката, примера, иноватора, финансијера, издавача, евалуатора и сарадника, са индикативним временским оквирима за акцију. Најнепосредније, ове акције укључују стварање простора за размену лекција и исхода из релевантних иницијатива до данас (да се изгради заједница праксе); средњорочно, заједничко сазивање форума са више заинтересованих страна са кључним бирачима ради редизајнирања и имплементације евалуације истраживања на изводљиве, контекстуалне и инклузивне начине; и, дугорочно гледано, подстицање нових студија које доприносе размишљању о будућности, осетљивих на брзи развој технологија вештачке интелигенције, методологија и реформи колега за рецензирање и комуникационих медија.

Глобална академија за младе (ГИА), ИнтерАцадеми Партнерсхип (ИАП) и Међународни научни савет (ИСЦ) окупили су се 2021. како би сагледали изазове, дебате и развоје у евалуацији/оцењивању истраживања широм света, у различитим истраживачким културама и системима, и да истраже начине на које би могли да учествују и утичу на поновно замишљање евалуације/оцењивања истраживања за 21. век, на отворен и инклузиван начин.

Међународна група за утврђивање опсега (Додатак А) је сазвана да испита терен и посаветује три организације о томе како могу да ојачају постојеће напоре за реформу евалуације истраживања. Централна за овај рад била је премиса да (1) усклађена иницијатива вођена истраживачима даје глобалној истраживачкој заједници јачи глас у обликовању будућности евалуације истраживања и (2) да има користи од 'евалуације са евалуираним'; на тај начин, помажући да се уцрта пут ка одрживој, системској промени у култури и пракси евалуације.

Као додатак канцеларијском истраживању, крајем 2021. спроведена је серија регионалних консултација са стручњацима које су идентификовали група за утврђивање опсега и партнери. Документ за дискусију је примарни резултат овог рада. Намера је да послужи као проспект за истраживачке разговоре са више заинтересованих страна, не само са самом глобалном истраживачком заједницом.

Праксе евалуације истраживања служе вишеструким циљевима и спроводе их више заинтересованих страна. Користе се за процену истраживачких предлога за одлуке о финансирању, истраживачке радове за објављивање, истраживаче за запошљавање или унапређење и учинак истраживачких институција и универзитета. Овај рад се претежно фокусира на евалуацију истраживача и истраживања, а не покрива институционалну евалуацију или рангирање, иако су све ове области оцењивања нераскидиво повезане. Тренутне праксе се у великој мери ослањају на квантитативне и углавном засноване метрике на часописима, као што су фактор утицаја часописа (ЈИФ), број публикација, број цитата, х-индекс и оцена утицаја на чланак (АИС). Остале метрике укључују циљне приходе од грантова, мере инпута (као што је финансирање истраживања или величина истраживачког тима), број регистрованих патената и, у скорије време, метрике друштвених медија (раније „алтметрицс“) као што су дељења друштвених медија или преузимања. Заједно, ови показатељи дубоко утичу на репутацију институција, истраживачких група и појединаца, индивидуалне и заједничке истраживачке агенде, путање каријере и расподелу ресурса.

Током последње две деценије, глобална улагања у истраживање и развој (Р&Д) су се утростручила – на око 2 трилиона долара годишње. Само протекле године донеле су најбржи раст издатака за истраживање и развој од средине 1980-их, за око 19% (УНЕСЦО, 2021) [1]. Ово додатно улагање у истраживање носи са собом културу одговорности која врши притисак на истраживачке институције и појединце, и може генерисати аберације или изопачене подстицаје као одговор. То је такође довело до већих аспирација: да се одржи квалитет и смањи губитак истраживања, грешке и неефикасност; максимизирати укљученост и разноликост; оптимизовати истраживање као глобално јавно добро; и промовишу отвореније и ангажованије стипендије. Без реформе, квалитет истраживања, интегритет, разноликост и корисност су угрожени.

Квантитативне метрике могу чинити важан део евалуације истраживања, у транзицији ка отворенијем, одговорнијем и јавном истраживачком систему (Краљевско друштво, 2012) [2]. Али они су такође делимично одговорни за подстицање истраживачке културе „објави или нестане“ која постоји широм света, са штетним ефектима на квалитет резултата истраживања, интегритет и поузданост истраживачких система и разноликост истраживачких заједница (нпр. Хаустеин и Ларивиере, 2014) [3]. То је зато што институције, креатори политике и финансијери истраживања користе метрике као посредници квалитета истраживања, али они су мера резултата, а не квалитета истраживања или утицаја пер се. Као такви, ови актери много доприносе постављању друштвеног и културног контекста у којем се истраживање одвија, а академски системи награђивања и промоције обликују изборе научника у свим фазама њихове каријере (Мацлеод ет ал., 2014) [4].

„Употреба библиометријских индекса... као заменских метрика за учинак истраживача је згодан индекс процене, али има дубоке недостатке. Већина се немилосрдно фокусира на индивидуална достигнућа, смањује подршку истраживања кроз интересовање универзитета за метрику великог утицаја, врши притисак на све да „означе квадратиће“ и да се прилагоде, док они играју важну улогу у нарушавању тржишта издавања часописа. Постоји хитна потреба за реформом.”

Отварање рекорда науке (2021), Међународни научни савет

Друга заједница заинтересованих страна која има огромну моћ и утицај на истраживачку комуникацију и производњу знања је издавачки сектор. Показатељи засновани на часописима постали су снажан подстицај за објављивање у комерцијалним часописима и могу подстаћи понашање које може имати озбиљне нуспојаве. Уместо да се о резултатима истраживања суди на основу његових научних заслуга, перципирани квалитет часописа у којем се објављује рутински се прихвата као доказ научног квалитета, што покреће високо комерцијално издавачко тржиште засновано на репутацији, а не на науци. Трошкови отвореног приступа углавном настају кроз трошкове обраде аутора (АПЦ): они могу бити превисоки, посебно у неким деловима света, стварајући препреке за објављивање истраживања за истраживаче са сиромашним ресурсима и потенцијално ризикујући лом међународне научне заједнице. Ризици постајања све више и више зависних од комерцијалних провајдера и њихових услова коришћења у свим фазама процеса истраживања стварају јак аргумент за непрофитне алтернативе. Даље, пошто су библиометријски индикатори представљали доминантан извор подстицаја на универзитетима, они су умањили вредност образовног и других облика научног рада (као што су настава и савети о политици). Са системима евалуације истраживања који имају тенденцију да фаворизују оне који обезбеђују велике грантове и објављују у часописима са високим факторима утицаја, постоје докази који сугеришу да је већа вероватноћа да ће истраживачи који су већ успели поново успети („Матјуов ефекат“, Бол и др., 2018) [5].

Када научно објављивање постане средство процене, а не комуникације, то доводи у неповољнији положај оне који одлуче да своје истраживање пренесу на друге смислене начине (Извештај ИСЦ-а за 2021) [6]. Ово укључује заједничке резултате (и вероватно главну валуту) Глобалне академије за младе (ГИА), ИнтерАцадеми Партнерсхип (ИАП) и Међународног научног савета (ИСЦ): извештаје, радне документе, заједничке изјаве, уводнике мишљења, вести и вебинаре . Неке дисциплине су такође у неповољном положају: на пример, истраживачи у инжењерству и рачунарству где је важна (обично бржа) комуникација путем конференција и њихових радова; и они из хуманистичких и друштвених наука који обично користе монографије, књиге и стручне часописе.

Други бирају да објављују у часописима специфичним за истраживање или у локалним часописима, или нису у могућности да приуште своје истраживање (ма колико високог квалитета) у часописима отвореног приступа са високим факторима утицаја (и истовременим високим АПЦ); ово последње доводи у неповољнији положај оне у земљама са ниским приходима, посебно истраживаче у раној каријери (ЕЦР). Ти исти истраживачи су под великим притиском за стална академска места и њихово понашање је снажно условљено квантитативним критеријумима које користе агенције за финансирање истраживања и институционални одбори за запошљавање и унапређење. Искушење да се размишља помоћу индикатора (Муллер и де Ријцке, 2017) [7], па чак и 'игра' систем, је реалност за све истраживаче свуда у свету (нпр. Анседе, 2023) [8].

Манифестације ове игре укључују истраживаче (свесно или ненамерно) који користе предаторске часописе и конференције да повећају број својих публикација (ИАП, 2022 [9]; Еллиотт ет ал., КСНУМКС [10]), упуштање у самоцитирање и фалсификовање стручних рецензија, плагијат, инфлацију фактора утицаја и 'резање саламе' (подела велике студије која је могла бити објављена у једном истраживачком чланку на мање објављене чланке) (Цоллиер, 2019) [11]. Под притиском, истраживачи могу бити у искушењу да прибегну грабежљивим услугама са јединим циљем да добију докторат, да буду ангажовани или унапређени, или да им се финансирају истраживачки пројекти (нпр. Абад-Гарсија, 2018 [12]; Омобовале ет ал., 2014) [13]. Академски систем вођен метриком и системи академског издаваштва покрећу подмукле подстицаје: важније је оно што истраживач објављује од онога што објављује.

Утицај на квалитет и интегритет истраживања је веома забрињавајући. Број повучених научних чланака је драматично порастао последњих година, због недоличног понашања у истраживању и објављивању и лоших или лажних скупова података. Часописима могу потрајати месеци или године да повуку непоуздано истраживање, а до тада је оно можда већ цитирано много пута и бити у јавном домену (Ордвеј, 2021) [14].

Преовлађивање евалуације истраживања засноване на метрикама је недвосмислено и постоје различити трендови на глобалном нивоу када је у питању реформа процене, што ризикује да део истраживачке заједнице остави иза себе. У својој анализи глобалног пејзажа истраживачке процене (Цурри ет ал., 2020 [15]; поднесено), чини се да многе истраживачке и институције за финансирање у земљама/регионима са вишим дохотком почињу да укључују шири скуп индикатора, као што су квалитативне мере „утицаја“, док библиометрија остаје доминантна у институцијама на „глобалном југу“ [16 ], у свим дисциплинама. Без инклузивније акције, постоји ризик да дође до дивергенције националних система оцењивања, што би потенцијално довело до даље системске пристрасности и потенцијалних некомпатибилности у системима истраживања, евалуације, финансирања и објављивања. Ово, заузврат, може инхибирати међународну истраживачку сарадњу и мобилност истраживача. У стварању препрека сарадњи север-југ, то такође може инхибирати истовремено јачање истраживачких екосистема на глобалном југу – робусна евалуација истраживања јача истраживачке екосистеме и поверење у њих, смањује вероватноћу одлива мозгова и помаже у успостављању снажног људског капитала за одрживи развој. развој. Ипак, јединствене верзије онога што чини добар учинак стварају облике понашања који не морају нужно водити изврсности, правичности, транспарентности и инклузији. Мерење достигнућа научника који су напредовали у окружењима са добрим ресурсима у којима има пуно могућности, на исти начин као и оних који су се борили са изазовима и превазилазили препреке у непријатељским окружењима и окружењима без подршке, у најбољем случају је упитно (ГИА, 2022) [17]. Многи научници осећају историјску и географску искљученост из истраживачке заједнице, што је великим делом подстакнуто начином на који се процењују током своје каријере. Искључивањем неких облика истраживања и неуспехом да се искористи разноликост идеја на глобалном нивоу, постоји ризик да тренутне праксе процене истраживања промовишу мејнстрим/културу следбеника доминантних западњачких модела.

Истраживачима у земљама са ниским приходима иу раним фазама њихове каријере потребан је глас како би могли да помогну у обликовању нових модела евалуације на начине који су осетљиви на контекст који одговарају сврси и узимају у обзир изазове са којима се свакодневно суочавају. дневној бази. ГИА и све већи број националних академија младих дају ЕЦР-има овај глас, и то Радна група ГИА за научну изврсност [18] нуди своје ставове о реформи евалуације истраживања (видети текст испод).

Погледи из заједнице истраживача у раној каријери

Истраживачи у раној каријери (ЕЦР) су посебно забринути због праксе евалуације истраживања јер њихови изгледи за каријеру и праћење њиховог истраживачког плана пресудно зависе од тога како се процењују. Ово информише праксе финансирања, запошљавања и промоције на начине који се не сматрају увек фер и правичним.

Иако је очигледно да одлуке о финансирању и људским ресурсима утичу на састав радне снаге истраживача, није увек препознато да, својим утицајем на финансирање, евалуација истраживања обликује подстицаје за институције и истраживаче да следе одређену истраживачку путању, рад. у одређеној области или се придружити неким мрежама преко других. На тај начин евалуација истраживања обликује развој саме науке, а то је посебно тачно у односу на њен несразмеран утицај на изгледе и очекивања ЕЦР-а.

Иако је наука глобално предузеће, неки научници се суочавају са већим препрекама да уђу и да се ангажују са истраживачком заједницом због тога где су рођени, њиховог идентитета или социо-економског порекла. Ово је питање организације научне индустрије, а не евалуације истраживања пер се, али многи ЕЦР сматрају да критеријуми евалуације не би требало да буду слепи за ову реалност искуства истраживача и не би требало да намећу јединствене и стандардизоване критеријуме у различитим ситуацијама.

Истраживање које је спровела Радна група за научну изврсност ГИА (предстојећи извештај) показује да би процена истраживања могла бити вођена више истраживачком политиком неке земље него културним или научним дебатама. Фокусирајући се на критеријуме напредовања до редовног професора (или еквивалента) у академским круговима, извештај показује да националне политике и институције имају тенденцију да имају посебне документе који постављају њихове критеријуме за процену истраживања. Уместо да обухватају велики и разнолик скуп критеријума који се могу користити за формирање свеобухватног погледа на истраживача, ови документи имају тенденцију да се фокусирају на једну димензију или приоритет. На пример, неки документи се фокусирају на евалуацију истраживачких услужних активности (као што су подучавање и менторство) или неки на акумулирани резултат истраживача (на пример, у смислу броја чланака у часопису) – али ретко и једно и друго.

Постоје две главне импликације овог налаза. Прво, та истраживачка процена је хијерархијска и одозго надоле. Ово ствара ризик, утолико што и метрика и квалитативне методе често занемарују разноликост истраживача: како у њиховом поријеклу тако иу каријери, и – што је једнако важно – разноликост у њиховим методама и идејама. Насупрот томе, ЕЦР представљени у ГИА сматрају да би било важно препознати разноликост активности које су неопходне истраживачком подухвату и осмислити шеме евалуације истраживања које негују разноликост и плурализам, а не обавезују усаглашеност и хомологацију.

Друго, разлике између дисциплина су мање значајне од разлика према економском статусу земаља у којима истраживач ради. Чини се да се земље са нижим дохотком ослањају на квантитативне метрике и награђују „продуктивност“, док су земље са вишим дохотком све отвореније за квалитативне процене утицаја. Уколико се ово одступање даље развија, могло би да представља додатну препреку међународној мобилности научника – што је посебно важно за ЕЦР.

У закључку, ГИА извештај наглашава да не постоји сребрни метак: евалуација истраживања треба да буде усмерена ка циљевима евалуације, а на крају и циљевима институције или истраживачке политике земље. Евалуација треба да омогући разноликост профила истраживача и каријера, и да усвоји другачији фокус у зависности од сврхе евалуације. Будући да је наука глобалан и самокритичан разговор, екстерна евалуација можда није увек неопходна. Заиста, често се расправља о употреби и стварној вредности опаких рангирања (људи, институција, медија или чак читавих земаља).

Данашњи глобални изазови, од којих су многи артикулисани у Циљевима одрживог развоја Уједињених нација (УН), захтевају трансформативна, међудисциплинарна и трансдисциплинарна истраживања, која само по себи захтевају нове модалитете пружања истраживања и сарадње (ИСЦ, 2021) [19]. Хитност за инклузивним, партиципативним, трансформативним, трансдисциплинарним истраживањем није усклађена са начином на који се истраживање подржава, процењује и финансира – да би истраживање испунило оно што обећава друштву, потребни су му отворенији, инклузивнији, контекстуално осетљиви системи процене (Глукман, 2022) [20]. Уграђено понашање академика, финансијера и издавача може отежати промену, тако да се улагања потенцијално могу усмерити даље од области у којима је највећа потреба.

Раст интердисциплинарног и трансдисциплинарног истраживања и партиципативне науке или науке о грађанима су важан развој и од виталног значаја за решавање глобалних изазова. Како истраживање прелази дисциплинске и институционалне границе и ангажује шири скуп заинтересованих страна – укључујући корисничку заједницу да заједнички осмишљавају хитна истраживачка питања за друштво – традиционални критеријуми за процену академског истраживања су недовољни и чак могу ограничити развој и употребу трансдисциплинарног истраживања (Белцхер ет ал., КСНУМКС) [21]. Потребни су прикладнији принципи и критеријуми да би се водила трансдисциплинарна истраживачка пракса и евалуација: рани пример оквира за процену квалитета изграђен је око принципа релевантности, кредибилитета, легитимности и корисности (Белцхер ет ал., КСНУМКС) [22].

Начини на које се истраживања наручују, финансирају, спроводе и саопштавају се развијају брзином и захтевају убрзање реформе евалуације истраживања. Они укључују следеће:

(1) Прелазак на отворену науку

Покрет отворене науке захтева истовремену реформу система евалуације истраживања како би се побољшала отвореност и транспарентност. Многи од метрика и индикатора који се користе за мерење учинка истраживања су сами по себи непрозирни и често се израчунавају иза затворених комерцијалних врата. Овај недостатак транспарентности компромитује аутономију истраживачке заједнице – ограничава опције за евалуацију, тестирање, верификацију и побољшање индикатора истраживања (Вилсдон и сар., 2015 [23]). Одговорна процена истраживања постаје суштински аспект глобалних кретања ка отвореној науци, о чему сведоче, на пример, у Препоруци Организације Уједињених нација за образовање, науку и културу (УНЕСЦО) о отвореној науци (УНЕСЦО, 2021 [24]) – који укључује развој комплета алата за отворену науку за своје чланове који ће им помоћи да прегледају и реформишу своје процене истраживачке каријере и критеријуме евалуације [25].

(2) Развој у стручном оцјењивању

Раст отворене рецензије – било да се објављују извештаји о рецензији и/или јавна идентификација рецензената – важан је развој за евалуацију истраживања (Баррога, 2020 [26]; Воодс ет ал., КСНУМКС [27]). Раст инфраструктуре података омогућио је издавачима да генеришу идентификаторе дигиталних објеката (ДОИ) за извештаје о рецензији колега, повежу извештаје о рецензији са појединачним ИД-овима отвореног истраживача и сарадника (ОРЦИД) и објављују радове као препринт. Број препринта значајно је порастао током глобалне пандемије ЦОВИД-а и открио изазове који се постављају у процени истраживања у режиму брзог одговора. Ипак, отворене праксе рецензије – било пре или након објављивања – могу помоћи да се поремети контрола коју комерцијални издавачи имају над истраживачком комуникацијом и процесима производње знања, смањујући моћ научног часописа и повезаних метрика као што су ЈИФ-ови. Отворени записи о активностима стручног прегледа такође могу да обезбеде инфраструктуру за документовање – и временом генеришу већу вредност у – активности рецензије колега, које су витална професионална услуга често углавном невидљива и недовољно цењена у академским проценама (Калтенбруннер ет ал., 2022 [28]) .

(3) Примена вештачке интелигенције и машинског учења

Технолошки напредак у вештачкој интелигенцији (АИ) и машинском учењу ће вероватно имати дубоке последице по евалуацију истраживања, укључујући процесе рецензије колега који га подржавају (нпр. Холм ет ал., 2022 [29]; Процтор ет ал., 2020 [30]). АИ се већ користи за поједностављење и јачање колегијалне рецензије (Природа, 2015 [31]; Природа, 2022 [32]), тестирати квалитет рецензије (Северин и др., 2022 [33]), тестирати квалитет цитата (Гадд, 2020 [34]), открити плагијат (Фолтынек ет ал., 2020 [35]), хватају истраживаче како фиксирају податке (Квач, 2022 [36]) и пронађу рецензенте, којих све више недостаје јер овај рад не добија заслуге које заслужује у евалуацији истраживача. 'Разговорна АИ', као што је ЦхатГПТ (Цхат Генеративе Пре-Траинед Трансформер), има капацитет да дизајнира експерименте, пише и довршава рукописе, врши рецензију и подржава уредничке одлуке о прихватању или одбијању рукописа (Природа, 2023 [37]). Такође постоји потенцијал да АИ побољша ефикасност рецензије од стране колега коришћењем алгоритама за ублажавање терета рецензената као рецензената резултата истраживања (Природа, 2022 ). Употреба вештачке интелигенције се већ пилотира у Кини за проналажење судија (Природа, 2019 [КСНУМКС]).

Све ове АИ апликације могу смањити ово оптерећење и омогућити искусним стручњацима да усредсреде своје мишљење на квалитет истраживања и сложеније процене (Тхелвалл, 2022 [40]). Али они такође ризикују ширење пристрасности јер су то предиктивне технологије које појачавају постојеће податке који могу бити пристрасни (на пример по полу, националности, етничкој припадности или старости): заиста, сама употреба вештачке интелигенције могла би имати користи од дубљег разумевања шта чини „квалитет“. ' истраживање (Цхомски ет ал., 2023 [41]; ИСИ, 2022 [КСНУМКС]).

Од виталног је значаја, међутим, да су сви облици вештачке интелигенције и машинског учења отворени за злоупотребу (Блаутх ет ал., 2022. [43]; Бенгио, 2019 [44]). Академске и истраживачке заједнице ће морати да изграде спремност и отпорност на ово, радећи са владом, индустријом и руководством цивилног друштва које управља овим простором.

(4) Успон друштвених медија

Конвенционалне квантитативне мере утицаја истраживања не успевају да узму у обзир пораст ангажовања друштвених медија и друштвено умрежених истраживача/академика (Јордан, 2022 [45]). Многи академици користе платформе друштвених медија да ангажују заједнице, креаторе политике и јавност током трајања њиховог истраживачког пројекта; да се позитивно ангажују, тестирају и информишу своја истраживања, и донесу разноврсност идеја и инпута, уместо да једноставно објављују коначни резултат као свршен чин за публику која прима. Ово ангажовање није обухваћено конвенционалним облицима процене истраживања, али ипак може довести до ширег утицаја и могућности ширења. метрика друштвених медија („алтметрицс“) се развија као допринос одговорним метрикама (Воутерс ет ал., 2019 [4]) и укључују помињања на Твитеру или Фејсбуку и број пратилаца на РесеарцхГате-у, на пример. С једне стране, ове алтметрике могу помоћи у отварању, стварању простора и проширењу евалуације (Рафолс и Стирлинг, 2021 [47]), али са друге стране – као и други индикатори – такође могу да се користе неодговорно и/или да се виде да намећу још један слој метрике у системима евалуације.

Изазови за реформу евалуације истраживања су вишеструки. Овде је илустровано неколико најзначајнијих.

Свака реформа која укључује квалитативније мере мора – у исто време – да заштити квалитет основних и примењених истраживања. Постоје анегдотски докази да се неки научници могу и сами противити реформи, можда посебно напредни истраживачи каријере који су напредовали у садашњем систему, јер се плаше да ризикује да подстакне осредње истраживање, или да би квалитативнији облици евалуације могли дати предност примени у односу на основна истраживања. Реформа критеријума за евалуацију истраживања има тенденцију да буде уоквирена око потеза ка мисијски оријентисаним, друштвено утицајним истраживањима која привлаче јавну и политичку подршку на начин на који мање опипљива основна истраживања или истраживања плавог неба можда неће. Неки тврде да је потребно нијансираније тумачење 'вредности' истраживања да би се подржале иновације, јер будућност захтева континуирано улагање у фундаментална истраживања вођена радозналошћу и шире уважавање кључне улоге коју она игра у способности да одговори на глобалне изазове (ГИА, 2022 [КСНУМКС]).

Недостатак доследности у значењу и употреби истраживачке терминологије, уопштено говорећи, препрека је променама. Концептуални оквир за евалуацију истраживања није се суштински променио током времена, нити језик који га подржава: истраживачки систем је још увек заглављен у старим дихотомијама као што су „основна“ и „примењена“ наука, и термини као што су „утицај“, „квалитет“ (некорисно изједначено са продуктивношћу) и 'изврсност' нису јасно дефинисани на начин који избегава географску, дисциплинску, фазу каријере и родну пристрасност (Јонг ет ал., 2021 [49]): ово може бити посебно акутно у панелима за доношење одлука којима недостаје разноликост (Хеч и Кари, 2020 )[50].

Као и евалуација заснована на метрикама, квалитативнији облици евалуације су такође несавршени. Изношење аргумената да су процеси рецензије и стручна процена важни барем колико и библиометрија није једноставно. Они могу бити пристрасни због недостатка јасноће и транспарентности у процесу стручног прегледа. Комитети за међусобну ревизију, на пример, критиковани су као механизми који чувају успостављене облике моћи и привилегија омогућавајући 'мрежама старих дечака' и хомофилији (оцењивачи који траже себи сличне) да опстану, а истовремено су рањиви на динамику групног мишљења. Квантитативне метрике, колико год биле несавршене, у неким деловима света виде се као одбрана од непотизма и пристрасности. Слични аргументи се могу применити и на рецензирање истраживачких радова, уз коришћење квалитативнијег процењивања које потенцијално отвара врата другим облицима дискриминаторног понашања.

Недостатак професионалног признања и обуке за пеер ревиев у било ком облику ствара дестимулацију да служи као рецензент, чиме се смањује капацитет. Даље, пошто потражња премашује понуду, то може створити подстицаје за смањење углова и смањење строгости. Потребни су све већи степен транспарентности рецензије од стране колега (било да је у потпуности отворен, анонимизован или хибридан) и обука, неговање и награђивање добре праксе рецензије; као и даље истраживање модела за његову еволуцију како се резултати истраживања диверзификују (ИАП, 2022 [51]) и АИ технологије напредују.

Дебате о реформи евалуације истраживања су сложене и нису бинарне. Квалитативне и квантитативне информације су често комбиноване у контексту стручног прегледа: изјаве попут Лајденског манифеста за истраживачке метрике (Хицкс ет ал., 2015 [52]) позивају на „информисану пеер ревизију“ у којој је стручно мишљење подржано – али не и вођено – на одговарајући начин одабраним и интерпретираним квантитативним индикаторима и квалитативним информацијама. Дебата о евалуацији истраживања није бинарни 'квалитативни насупрот квантитативном' избору алата за евалуацију, већ како осигурати најбољу комбинацију вишеструких облика информација.

Коначно, свака реформа такође мора бити згодна и изводљива. Истраживачки систем већ показује знаке колапса под самим собом, пошто обим публикација експоненцијално расте, а терет прегледа неравномерно пада у целом истраживачком предузећу (нпр. Публони, 2018 [53]; Кованис и сар., 2016 [54]; Природа, 2023 [55]). метрика заснована на часописима и х-индекс, заједно са квалитативним појмовима престижа издавача и институционалне репутације, могу пружити згодне пречице за запослене евалуаторе и представљати препреке за промене које су постале дубоко укорењене у академској евалуацији (Хеч и Кари, 2020 [56]). Квантитативне метрике се у неким земљама поздрављају као да пружају релативно јасне и недвосмислене путеве за именовање и унапређење. На „Глобалном југу“, просечни фактори утицаја се рутински користе за ужи избор кандидата, а свака алтернатива мора бити подједнако применљива и способна да искористи додатне ресурсе који су неизбежно потребни за проширење обима евалуације. Погодност коришћења једноставних квантитативних метрика у евалуацији истраживања ће вероватно бити главна препрека за промене, а увођење нових система евалуације може чак створити већу глобалну неједнакост због недостатка капацитета или компетенција у неким земљама.

Током протекле деценије, постојао је низ високопрофилних манифеста и принципа о евалуацији истраживања како би се одговорило на ове изазове, укључујући Лајденски манифест (који је развила група међународних експерата), принципе из Хонг Конга (Мохер ет ал., КСНУМКС [57]) (развијено на 6. светској конференцији о интегритету истраживања 2019.) и Метричка плима [58] и Искориштавање метричке плиме [59] извештаји (развијени у контексту прегледа британског оквира за истраживање и евалуацију, РЕФ). Постоји најмање 15 различитих напора који подстичу кључне заинтересоване стране – било да су креатори политике, финансијери или руководиоци високошколских установа (ВШУ) – да минимизирају потенцијалну штету постојећих система оцјењивања. Све ове иницијативе досегле су широку публику и прогресивне су у свом фокусу на одговорну метрику као предуслов за унапређење истраживачке културе и уношење једнакости, различитости, инклузије и припадности истраживачкој заједници. Али постоји све већа забринутост неких архитеката ових иницијатива да, иако су од помоћи, оне одвлаче опипљиву практичну акцију: чин потписивања је ефикасан само ако се прати практична имплементација (Природа, 2022 [КСНУМКС]).

Све је већа подршка за „одговорну процену или евалуацију истраживања“ и „одговорну метрику“ (ДОРА, 2012 [61]; Хицкс ет ал. 2015 [62]; Вилсдон и сар., 2015) који се удаљавају од чисто квантитативних метрика ка ширем спектру мера како би омогућили истраживачима да опишу економски, друштвени, културни, еколошки и политички утицај њиховог истраживања; да узме у обзир проблеме које истраживачка заједница вреднује: „подаци за добро“ или „индикатори вођени вредностима“ који се баве ширим атрибутима (Цурри ет ал., 2022 [63]). Последњих година, неке високошколске установе и финансијери истраживања у регионима и земљама широм света развили су и пилотирали иновативне и прогресивне приступе одговорној процени истраживања. Неки су овде истакнути.

Од горе наведених глобалних иницијатива, Сан Франциско 2013.Декларација о процени истраживања' [64] (ДОРА) је можда најактивнија глобална иницијатива. Каталогизира проблеме узроковане кориштењем индикатора заснованих на часописима за процјену учинка појединачних истраживача и даје 18 препорука за побољшање такве евалуације. ДОРА категорички обесхрабрује употребу метрике засноване на часописима за процену доприноса истраживача или када се жели ангажовати, промовисати или финансирати. Од средине априла 2023. године, декларацију је потписало 23,059 потписника (институција и појединаца) у 160 земаља, обавезујући се на реформе. Са фокусом на сналажење у унутрашњим изазовима и урођеним предрасудама квалитативне процене, ДОРА се развија Алати за унапређење процене истраживања (ТАРА) [65] да би се помогло да се декларација примени у пракси: ови алати укључују контролну таблу за индексирање и класификацију иновативних политика и пракси у процени каријере и комплет ресурса који помажу у саставу одбора за де-пристрасност и да препознају различите, квалитативне облике утицаја истраживања.

Поред тога, ДОРА финансира десет пројеката – у Аргентини, Аустралији, Бразилу, Колумбији (2), Индији, Јапану, Холандији, Уганди и Венецуели – да тестира различите начине промовисања реформи у евалуацији истраживања у њиховом локалном контексту, као и састављање примера добре праксе: на пример, подизање свести, развој нове политике или праксе, обука и практична упутства за кандидате за посао (ДОРА [66]). Потражња за грантовима ове врсте је велика – преко 55 апликаната из 29 земаља – што указује на све веће препознавање потребе за реформом.

Професионална удружења менаџмента истраживања попут Међународне мреже друштава за управљање истраживањем (ИНОРМС) такође активно развијају ресурсе за усмеравање организационих промена, укључујући СЦОПЕ Фрамеворк Ресеарцх Евалуатион Гроуп | ИНОРМС – Оквир ИНОРМС СЦОПЕ за евалуацију истраживања [67] који почиње дефинисањем шта се вреднује, ко се вреднује и зашто (користан постер са објашњењима ovde [КСНУМКС]).

Међународни развојни сектор је понудио нове перспективе евалуације истраживања, што је одличан пример Ресеарцх Куалити Плус | ИДРЦ – Центар за истраживање међународног развоја [69], који мери шта је важно људима на крају истраживања. Алат Ресеарцх Куалити Плус (РК+) препознаје да је научна заслуга неопходна, али не и довољна, признајући кључну улогу корисничке заједнице у одређивању да ли је истраживање релевантно и легитимно. Такође препознаје да ажурирање истраживања и утицај почињу током процеса истраживања. Истраживачке апликације се често оцјењују од стране високо интердисциплинарних панела, који такође садрже развојне стручњаке из ван академских кругова (нпр. владино одјељење или невладина организација (НВО)), практичаре и представнике у земљи: ово појачава значај корисничке заједнице/експерата који нису предмети потребно да разумеју истраживање и како се оно може применити у пракси. Истраживање у сложеним окружењима са ниским приходима или крхким окружењима може бити праћено етичким алатима или оквиром, дизајнираним да информише и подржи етичке изборе у животном циклусу истраживања, од почетка до ширења и утицаја, нпр. Реид ет ал., КСНУМКС [70]. Приступи „теорије промене“ се широко користе у истраживању међународног развоја од стране донатора, невладиних организација и мултилатералних агенција, где кандидати морају артикулисати путеве до утицаја, подржане оквирима за праћење, евалуацију и учење, нпр. Валтерс, 2014 [71]. Академска истраживачка заједница потенцијално може да учи од развојне заједнице.

Препознајући улогу финансијера у обликовању стратегија ВШУ, тхе Процена одговорног истраживања Глобалног истраживачког савета (ГРЦ). (РРА) иницијатива [72] подстиче главне финансијере истраживања широм света да раде на амбицијама РРА у свом регионалном и националном контексту и да развију ефикасне оквире за евалуацију за процену утицаја (видео са објашњењима ovde [73]). Наручивање радног документа о РРА (Цурри ет ал., 2020 [74]), ГРЦ је позвао своје чланове да уграде принципе РРА и предузму конкретне акције да их испуне, и да уче једни од других кроз сарадњу и размену добре праксе. Ан међународна радна група [75] пружа смернице и подршку члановима ГРЦ-а, помажући им да пређу са покрета на акцију.

Великим делом кроз напоре ГИА, ЕЦР такође почињу да се мобилишу око овог плана. Његово Радна група за научну изврсност [76] ради на идентификацији истраживачких окружења која погодују „ослобађању радозналости и креативности у науци и подстицању развоја људских потенцијала кроз разноликост и инклузију“. Њихов рад позива ЕЦР заједницу да оспори дефиниције 'изврсности' које користе њихове организације, да се укључи у иницијативе за реформу евалуације истраживања и да се придружи покрету Младих академија. Такође позива тела за финансирање и запошљавање да укључе ЕЦР у дебате о евалуацији истраживања и признају ширу разноликост доприноса и каријере у истраживању.

Иако су неки универзитети и друге високошколске установе потписнице ДОРА-е и/или се придружују европском покрету (описано у наставку), чини се да се не организују колективно око евалуације истраживања на начин на који то чине друге кључне групе.

Проблеми које стварају системи евалуације који су скоро искључиво квантитативни углавном се посматрају и дијагностикују из перспективе „Глобалног севера“, при чему је „Глобални југ“ у опасности да игра сустизање. Под ризиком од претераног генерализовања, постоје велики системски проблеми на „Глобалном северу“ у вези са недостатком разноликости, правичности и укључености који су погоршани системима евалуације. На 'Глобалном југу' постоји недостатак локалне и регионалне дефиниције онога што чини 'квалитет' и 'утицај', системи евалуације који се веома разликују (чак и међу одељењима на истом универзитету) и релативно мало изазова за статус кво. Широм света, проблеми проистичу из претераног наглашавања квантитативних индикатора, везе између евалуације и алокације ресурса, веома конкурентног система финансирања и притиска на објављивање, и занемаривања других, мање мерљивих димензија истраживања и академског живота.

Рецензирана литература о компаративним студијама реформе евалуације истраживања је ретка. Редак изузетак је поређење интервенција евалуације истраживања у шест различитих географских подручја (Аустралија, Канада, Немачка, Хонг Конг, Нови Зеланд и Велика Британија), које примећује да се индексирани учинак свих шест чини да се побољшава након више врста интервенција (барем користећи конвенционалне библиометријске индикаторе) (ИСИ, 2022 [77]). ДОРА пружа (углавном институционалне) студије случаја на својој веб страници (ДОРА [78]) иу извештају (ДОРА, 2021 [79]) који су осмишљени да инспиришу друге да делују, али ово су претежно европски примери.

Овде аутори дају регионалне прегледе и националне примере експериментисања и реформе ради даљег увида – они немају намеру да буду свеобухватни или исцрпни.

Коалиција ЕУ за реформу истраживања Процена [80], или ЦоАРА, одобрена у јулу 2022, највећа је иницијатива за реформу евалуације истраживања у свету. Четири године у изради и развоју од 350 организација у 40 (углавном европских) земаља, Европско удружење универзитета и Сциенце Еуропе (мрежа финансијера науке и академија на континенту), у договору са Европском комисијом, развили су споразум или скуп принципа (а 'реформско путовање'), за инклузивнију и одговорнију процену истраживања (ЦоАРА, 2022 [81]). Споразум се фокусира на три нивоа процене: институције, индивидуалне истраживаче и само истраживање. Иако њоме управљају европски партнери, коалиција има амбиције да постане глобална и ДОРА и ГИА су већ потписнице. Потписници се обавезују да ће издвојити ресурсе за побољшање евалуације истраживања, развити нове критеријуме и алате за евалуацију, и подићи свијест и пружити обуку о евалуацији истраживања (нпр. за рецензенте). Овај развој догађаја је описан као 'највећи знак стварне промене' (Природа, 2022 [82]) .

ЕУ такође финансира неке узбудљиве нове иницијативе осмишљене да подрже реформу евалуације истраживања: посебно Отворену и универзалну науку (Опус [83]) – да се развије „свеобухватан скуп“ индикатора у вишеструким истраживачким процесима и резултатима, и на тај начин подстакне европске истраживаче да практикују отворену науку – и отворени простор података за процену науке ГраспОС [84] – да се изгради отворени простор података за подршку реформи политике за процену истраживања.

Европски истраживачки савет (ЕРЦ), који подржава гранична истраживања у свим областима (са буџетом од 16 милијарди евра за период 2021–2027), потписао је ЦоАРА и изменио своје формуларе и процесе за евалуацију како би уградио више наративних описа, укључујући и мање конвенционални путеви каријере и 'изузетан допринос' истраживачкој заједници. Предлози ће бити оцењивани више на основу њихових заслуга него на основу прошлих достигнућа подносиоца пријаве и наставиће да буду оцењивани од стране панела за рецензирање састављених од водећих научника користећи једини критеријум научне изврсности (ЕРЦ, 2022 [85]) .

Ангажоване су и неке европске академије. Одбор за АЛЛЕА [86], Европска федерација академија наука и хуманистичких наука, која представља девет од преко 50 националних академија у 40 европских земаља, подржала је покрет CoARA. ALLEA се обавезала да ће основати посебну радну групу за прикупљање, размену и промоцију добре праксе за пријем нових чланова у Академију. Fellows и да допринесе „смисленој културној размени“ процене истраживања, заснованој на принципима квалитета, интегритета, разноликости и отворености. У свом Саопштење од 2022. октобра , АЛЛЕА позива академије чланице да ураде следеће:

1. Препознају разноликост доприноса и каријере у истраживању у складу са потребама и природом истраживања; у случају стипендиста Академије, процедуре селекције треба да (1) узму у обзир родну равнотежу и јединствене изазове истраживача у раној каријери, (2) подрже разноликост култура и дисциплина, (3) вреднују различите области компетенција и таленте, и (4) промовишу интердисциплинарност и вишејезичност.

2. Засновати истраживачку процену првенствено на квалитативној евалуацији за коју је централна евалуација, уз одговорну употребу квантитативних индикатора; процена изврсности и утицаја на рад кандидата за стипендисте треба да буде заснована на квалитативном рецензирању које испуњава основне принципе ригорозности и транспарентности и узима у обзир специфичну природу научне дисциплине.

3. Напустити неприкладну употребу метрике засноване на часописима и публикацијама у процени истраживања; посебно, ово значи да се удаљимо од коришћења метрика као што су фактор утицаја часописа (ЈИФ), оцена утицаја на чланак (АИС) и х-индекс као доминантни проксији за квалитет и утицај.

Аллеа изјава о реформи процене истраживања у оквиру европских академија

У њиховој заједнички одговор [87] Споразуму о ЕУ и Коалицији ЦоАРА, заједница ЕЦР у ГИА је такође поздравила ову посвећеност и понудила начине за спровођење њених принципа. Ово укључује праксе које су инклузивне и одражавају разноликост националних специфичности и карактеристика дисциплина, при чему истраживачи свих фаза каријере добијају обуку, подстицаје и награде, при чему је обавезна обука о отвореној науци за истраживаче, особље и чланове одбора од виталног значаја.

Истраживачки интензивни универзитети у Европи такође су стали иза реформе евалуације истраживања као пута за 'вишедимензионалне' истраживачке каријере (Оверлает, Б., 2022 [88]). Они су развили заједнички оквир да инспиришу и подрже универзитете да препознају различитост доприноса у истраживању, образовању и служби друштву.

На националном нивоу, неколико земаља сада пилотира различите моделе процене: на пример, националне агенције за финансирање у Belgiji, Холандија, Švajcarska UK сви користе „наративне биографије“. Наративне биографије холистички гледају на академска достигнућа: допринос генерисању знања, развоју појединаца, широј истраживачкој заједници и ширем друштву (kraljevsko друштво [89]). Иако постоји све већа подршка за ове врсте животописа, постоји и одређена забринутост да они присиљавају академике да буду добри у свему, и на тај начин ризикују да угрозе дубоку стручност у потрази за свестраним статусом (Грове, Ј., 2021 [КСНУМКС]).

Четири примера националних истраживачких система који координирају националне реформе у академским проценама оријентисаним на каријеру укључена су у следеће оквире за текст.

Национални пример: Велика Британија

Оквир за евалуацију истраживања Уједињеног Краљевства (РЕФ) мери утицај истраживања кроз две димензије: 'значајност' (опипљива разлика коју пројекат прави) и 'досег' (мерљиву мери у којој то чини) (УКРИ). Утицај се овде дефинише као „утицај на, промена или корист за привреду, друштво, културу, јавну политику или услуге, здравље, животну средину или квалитет живота, изван академских кругова“, али изван овога је веома отворен, дисциплински. променљива и двосмислена, на пример, не узимајући у обзир адекватно учешће јавности.

РЕФ Уједињеног Краљевства се оцењује у периоду 2022–2023 Програм процене будућих истраживања да истраже могуће нове приступе процени истраживачког учинка високог образовања у Великој Британији, и укључује разумевање међународне праксе процене истраживања. Следећа итерација РЕФ-а ће вероватно узети у обзир разноврснији скуп резултата и можда чак смањити важност која им се придаје. Тренутни модел придаје 60% важности резултатима, 25% утицају истраживања и 15% истраживачкој култури/окружењу. Ако би они били равномерније пондерисани, онда би РЕФ изгледао сасвим другачије, са више значаја који се придавао истраживачкој култури, истраживачком интегритету и тимском раду (Грове, 2020).

Национални пример: Финска

2020. године, Финска федерација учених друштава координира радну групу финансијера истраживања, универзитета и синдиката који су објавили изјаву Добра пракса у процени истраживања. Ово поставља смернице за праћење одговорног процеса оцењивања појединачних академика, укључујући пет општих принципа евалуације: транспарентност, интегритет, правичност, компетентност и разноликост. Добра пракса у процени истраживања позива на интегритет истраживања, образовање и менторство и научне услуге (нпр. рецензије колега) да буду боље признати у процени академског доприноса појединаца. Изјава не види процене као само стварање сумативних судова: она такође охрабрује евалуаторе да деле повратне информације са појединцима који се процењују како би се олакшале повратне информације и учење.

Организације које се баве истраживањем и организације које финансирају истраживања су се обавезале на имплементацију добре праксе у процени истраживања и генерисање сопствених локалних варијација упутстава, а развија се и национални модел ЦВ портфеља истраживача. Добра пракса у процени истраживања обавезује се на редовне прегледе и усавршавања.

Национални пример: Холандија

У Холандији је национални програм признања и награђивања почео 2019. године објављивањем изјаве о ставу Простор за свачији таленат. Ова национална сарадња између Краљевске холандске академије уметности и наука (КНАВ – члан ИАП-а и ИСЦ), финансијера истраживања, универзитета и медицинских центара наводи да је потребно извршити модернизацију култура процене истраживања у целом систему. При томе, поставља пет амбиција за промену у процедурама оцењивања: већа разноликост у каријери, препознавање индивидуалних и тимских перформанси, давање приоритета квалитету рада у односу на квантитативне показатеље, отворена наука и академско вођство.

Од 2019. године, холандски универзитети су прешли на усвајање сопствених локалних превода изјаве о националној визији. Истовремено, агенције за финансирање покренуле су више формата 'наративних ЦВ' и престале да траже библиометријске информације, наводећи Сан Францисцо ДОРА као инспирацију. Холандски истраживачки савет је врло недавно прешао на „ЦВ заснован на доказима“. у којима се могу користити неке квантитативне информације. КНАВ је такође развио своје трогодишњи план да интерно спроводи програм признања и награда. Менаџер програма и тим са пуним радним временом су именовани да олакшају реформски програм признања и награђивања, а 'Фестивал признања и награда' се одржава сваке године међу главним актерима у реформи како би се подржало учење у цијелој заједници.

Коначно, финансиран из донације ДОРА за ангажовање заједнице, Иницијатива Млади научник у транзицији за студенте докторских студија, са седиштем у Утрехту, развио је нови водич за евалуацију доктора наука, у настојању да промени истраживачку културу.

Национални пример: Норвешка

2021. објавили су Норвешка, Норвешки универзитети и Норвешки истраживачки савет НОР-ЦАМ – Алатка за признавање и награде у академским проценама. НОР-ЦАМ пружа матрични оквир за побољшање транспарентности и проширење евалуације истраживања и истраживача даље од уских индикатора заснованих на библиометрији. НОР-ЦАМ је скраћеница од норвешке матрице за процену каријере и прилагођена је из 2017. извештај од стране Европске комисије која је представила Отворену научну матрицу за процену каријере. Као и његов европски претходник, НОР-ЦАМ такође поставља начине за бољу интеграцију отворених научних пракси у процене. Матрица има за циљ да води евалуаторе и кандидате за академске позиције, пријаве за финансирање истраживања и националне евалуаторе који оцењују норвешко истраживање и образовање. Такође је намењен да делује као општи водич за индивидуални развој каријере.

Матрица обухвата шест главних области компетенција: резултати истраживања, истраживачки процес, педагошке компетенције, утицај и иновације, лидерство и друге компетенције. Матрица затим даје сугестије како би се омогућило планирање каријере и признавање оцењивања око сваког од критеријума – примери резултата и вештина, средства за документовање и подстицаји за размишљање о сваком критеријуму. Од кандидата се не очекује једнак учинак по свим критеријумима.

НОР-ЦАМ је креирала радна група заинтересованих страна за извођење истраживања и финансирање организације, коју координирају универзитети Норвешке, што значи да у принципу има подршку чланова свих норвешких универзитета. Радионице које су укључивале норвешке универзитете одржане су накнадно како би се заједнички развили начини интеграције НОР-ЦАМ-а у процедуре оцењивања именовања и унапређења, а развија се и „аутоматски“ систем животописа за преузимање података из више националних и међународних извора како би се смањила административна терет. Координатори из три поменута реформска програма на националном нивоу редовно су се састајали како би размијенили своја искуства и размијенили учење.

Латинска Америка и Кариби (ЛАЦ) су на много начина у супротности са другим деловима света. Овде се наука сматра глобалним јавним добром, а њени истраживачки и академски издавачки системи и инфраструктура су у јавном власништву (финансираним) и некомерцијални: али ове регионалне снаге и традиције се још увек не одражавају у системима евалуације. Кључне заинтересоване стране које могу утицати на промене су национални истраживачки савети, министарства науке и главни истраживачки универзитети – улога ВШУ је од виталног значаја, с обзиром да је више од 60% истраживача лоцирано на универзитетима (РиЦиТ, 2020 [91]). Постоји потенцијал да се системи евалуације ближе ускладе са СДГ-има и са покретима за отворену науку и науку грађана, који имају цветајућу традицију у региону.

Тренутно постоји велика фрагментација система процене истраживања на националном, локалном и институционалном нивоу, што истраживање ставља у конкуренцију са другим функцијама, као што су подучавање, саветодавна радња и копродукција. Системи евалуације истраживања и награђивања истраживача у ЛАЦ-у генерално фаворизују појам изврсности укорењен у методологијама „Глобалног севера“, заснован искључиво на фактору утицаја часописа и рангирања универзитета (КЛАКСО, 2020 [92]). Препознавање различитих облика производње и комуникације знања, као и мноштво академских каријера (нпр. подучавање, обука и менторство, грађанска наука и јавно комуницирање науке) увелико су одсутни у пракси евалуације истраживања. Ово је посебно проблематично за истраживаче друштвених и хуманистичких наука, где се монографије и локални језици у великој мери користе (КЛАКСО, 2021 [93]). Регионални часописи и индикатори су обезвређени или се не признају у таквим процесима евалуације. Све ово погоршавају слаби информациони системи и слаба интероперабилност (посебно у власништву заједнице) инфраструктура, недовољно финансираних јер су оскудна средства усмерена на АПЦ плаћања за часописе отвореног приступа.

Ипак, неки универзитети у региону почињу да примењују праксе евалуације које примењују комбинацију квалитативних и квантитативних методологија, посебно у процени истраживача и истраживања оријентисаних на мисије (Грас, 2022 [94]). Прелазак на свеобухватније шеме евалуације истраживања захтеваће ко-дизајн квалитативнијих критеријума; одговорно коришћење квантитативних података и јачање процеса стручног прегледа; инкременталне промене које усклађују и координирају политике и методологије према заједничким принципима о процени одговорног истраживања и отвореној науци; нове методологије и подаци за бољу процену интер/трансдисциплинарних наука, еколошких и локалних питања; заједничке, интероперабилне, одрживе, удружене инфраструктуре које подржавају библиодиверзитет и вишејезичност; и партиципативни, одоздо према горе дизајни који проширују учешће грађана и друштвених покрета и укључивање недовољно заступљених истраживачких група.

Да би се суочио са овим изазовима, регион је усвојио сет принципа и смерница за процену истраживања. Тхе ЦЛАЦСО-ФОЛЕЦ Декларација о принципима за процену истраживања [95], одобрен у јуну 2022., има за циљ да гарантује и штити квалитетну и друштвено релевантну науку, и прихвата принципе ДОРА и отворене науке, разноликост истраживачких резултата и истраживачких каријера, вредност регионалних часописа и услуга индексирања, и интердисциплинарности, локалног језика и домородачког знања. До данас има преко 220 присталица и већ постоје позитивни трендови у процени одговорног истраживања и примерима реформи. Неки национални примери дати су у следећим оквирима за текст.

Национални пример: Колумбија

Колумбијска удружења универзитета, универзитетски издавачи, истраживачки менаџери и мрежа менаџмента науке и технологије, између осталих, финансирају ДОРА награду за ангажовање заједнице, заједно раде на могућностима и изазовима одговорних метрика у Колумбији. Кроз серију радионица и консултација, укључујући међународне организације као стандарде, развили су рубрику која ће помоћи колумбијским институцијама да осмисле сопствене РЕФ-ове. Ова рубрика настоји да објасни изазове идентификоване на локалном нивоу, који – за високошколске установе – укључују недостатак знања о алтернативама евалуације истраживања, природи националног екосистема евалуације истраживања и отпорности на промене. А посвећен сајт је развијен, заједно са инфографиком за помоћ истраживачима, а ширење и учење настављају да се деле широм земље.

Више информација на: Пројекат колумбијске одговорне метрике: ка колумбијском институционалном, методолошком инструменту за процену истраживања | ДОРА (сфдора.орг)

Национални пример: Аргентина

Занимљив покушај реформи у Национални савет за научна и техничка истраживања (Цонсејо Национал де Инвестигационес Циентифицас и Тецницас – ЦОНИЦЕТ) је креирање посебне резолуције за друштвене и хумане науке која часописе индексиране у мејнстрим кругу ставља на исти ниво са часописима индексираним у регионалним базама као што су СциЕЛО, Редалиц or Латиндек-Цаталого. Уредба је тренутно у фази ревизије, како би се разјасниле неке нејасноће у њеној примени и проширили критеријуми. Заузврат, 2022. године, ЦОНИЦЕТ-ов одбор директора се придржавао ДОРА из Сан Франциска, јавно признајући своју посвећеност побољшању истраживања јачањем евалуације и сталним унапређењем својих процеса.

Национална агенција за унапређење истраживања, технолошког развоја и иновација (Агенциа Национал де Промоцион де ла Инвестигацион, ел Десарролло Тецнологицо и ла Инновавион – АГЕНЦИА И+Д+и), под Министарство за науку, технологију и иновације, је главни финансијер истраживања у земљи због разноликости и обима својих веома конкурентних позива. Тренутно, АГЕНЦИЈА спроводи а програм да ојачају процесе процене истраживања у њиховим главним финансијским фондовима. Тренутна побољшања укључују надокнаду стручних рецензената како би се стимулисала њихова посвећеност овим процесима, подстицај за отворени приступ јер би резултати пројекта требало да буду у јавном домену путем публикација или докумената отвореног тиража (у складу са обавезама 'Институционална дигитална спремишта отвореног приступаНационални закон 26.899) и уграђивање димензија једнакости и инклузивности кроз род, недовољно заступљене генерацијске групе и/или институционално јачање механизама за изједначавање у процесима процене истраживања. Без обзира на то, у разним дисциплинским комисијама, наставну позадину водећих истраживача одговорних за предлоге и даље процењују њихови колеге помоћу индикатора утицаја цитирања.

Коначно, финансиран из гранта ДОРА за ангажовање заједнице, Факултет психологије на Универсидад Национал де ла Плата био је домаћин виртуални догађај септембра 2022. о процени из психологије и друштвених наука која је привукла преко 640 (углавном студената) из 12 земаља, показујући интересовање младих људи на континенту. Догађај је помогао у обликовању четворогодишњег плана управљања факултета и представљаће књигу о реформи академског вредновања у контексту шпанског говорног подручја.

Национални пример: Бразил

О евалуацији истраживања у Бразилу се жестоко расправља међу истраживачким институцијама и истраживачима, ако не и државним и савезним владама. Међутим, упркос највећем броју институционалних потписница ДОРА у свету, примери реформе евалуације истраживања су изненађујуће мали. Након анкете потписника ДОРА у земљи, институционалних консултација и јавног догађаја, финансираног из ДОРА гранта за ангажовање заједнице, УПУТСТВО је припремљен за универзитетске лидере да истраже одговорне праксе евалуације.

Водич се фокусира на три главне акције: (1) подизање свести о одговорној евалуацији у свим њеним облицима; (2) обука и изградња капацитета евалуатора и оних који се оцјењују; и (3) имплементација и процена. Следећи кораци су изградња мреже практичара – или десет универзитетских обавештајних канцеларија – како би се извршила промена у пракси евалуације и пилот модели који су осетљиви на контекст, и на крају развој мапе пута за бразилске институције које желе да донесу промене.

Пројето Метрицас (2022). Институционални изазови и перспективе за одговорну евалуацију у бразилском високом образовању: Пројето Метрицас ДОРА партнерство резиме налаза. Универзитет у Сао Паулу, Бразил.

У Северној Америци постоји стални помак од чисто квантитативних индикатора, убрзан отвореним научним планом. Отворена наука и отворени преглед помажу да се праксе евалуације учине транспарентнијим, пружајући прилику за саморефлексију и појављивање проблема, нпр. самоцитирање и кронизам у панелима за запошљавање, унапређење и рецензирање, као и урођене родне и друге предрасуде. У току су дебате о потреби да се развију паметнији, интелигентнији индикатори и мешовите методе евалуације, са потенцијалом за хибридни, конвергентни модел евалуације који служи основној науци (напредовање знања) и примењеној науци (друштвени утицај).

Такође постоји признање да је универзитетима потребан академски простор и слобода да се одвикну од алата које тренутно користе за евалуацију, без икаквог 'првог покретача недостатака', и да би корисничка заједница требало да буде део процеса евалуације како би помогла у мерењу употребљивости знање, његово усвајање и утицај. Али постоји и контингентни отпор променама („намерно слепило“) са врха и дна истраживачког екосистема – од оних који имају користи од статуса кво и оних који су недавно у њега ушли. Врло мали број америчких универзитета је потписао ДОРА и нови ДОРА пројекат настоји да схвати зашто је то случај (ТАРА). Ипак, иу Канади иу САД постоје неки интересантни примери националних и институционалних иницијатива осмишљених да доведу до системских промена (погледајте следеће оквире за текст).

Национални пример: САД

У САД, Национална научна фондација је водећи глас за промене кроз своје Унапређење утицаја истраживања у друштву програма и пратећих шири алат за утицаје за истраживаче и евалуаторе. Једнакост, разноликост и инклузија, укључујући ангажовање аутохтоних и традиционално маргинализованих заједница, кључни су покретачи. Члан ИАП-а и ИСЦ-а, Националне академије наука САД такође настоје да стимулишу широку реформу, пружајући платформу за размену информација и учење о реформисању традиционалног животописа истраживача (Стратешки савет НАС, 2022). Проистекао из рада америчких академија, Иницијатива лидера високог образовања за отворену стипендију је кохорта од више од 60 колеџа и универзитета посвећених колективној акцији за унапређење отворених стипендија, укључујући преиспитивање евалуације истраживања како би се наградила отвореност и транспарентност.

Национални институт за здравље, на пример, дизајнирао је нови биоскица (СциЕНцв) за особље у апликацијама за грантове како би се минимизирала системска пристрасност и оптерећење извештавања, и да би се у исто време више руководило утицајима.

Национални пример: Канада

У Канади се води више разговора о реформи евалуације истраживања, коју води ДОРА; сва три савезна истраживачка савета су потписници. Природно-технички савет има редефинисани критеријуми за квалитет истраживања, без библиометрије, цитата и х-индекса, у складу са принципима ДОРА: метрика квалитета сада укључује добре истраживачке податке и управљање приступом подацима, правичност, разноликост и инклузију, као и одговорност за обуку. Друга два истраживачка већа ће вероватно следити тај пример.

Канадски истраживачи имају тенденцију да се фокусирају на 'мобилизацију знања', намерни напор да унапреде друштвени утицај истраживања, кроз копродукцију са заједницама корисника (ИСИ, 2022). Ресеарцх Импацт Цанада је мрежа од преко 20 универзитета која има за циљ да изгради институционалне капацитете кроз писменост утицаја, или способност да „идентификује одговарајуће циљеве и индикаторе утицаја, критички процени и оптимизује путеве утицаја и размисли о вештинама потребним за прилагођавање приступа различитим контекстима“ како би се максимизирати утицај истраживања за јавно добро.

Вреди напоменути да је врло мали број канадских универзитета потписао ДОРА. Главни мотиватор за било коју промену ће вероватно бити прихватање аутохтоне стипендије: ово је постао морални императив у Канади.

Системи подстицаја и награђивања истраживања у Африци имају тенденцију да одражавају 'међународне', првенствено западне, норме и конвенције. Афричке институције настоје да их следе када развијају свој приступ 'квалитету' и 'изврсности' у истраживању, али они нису увек прикладни за локално знање и потребе. Истраживачки 'квалитет', 'изврсност' и 'утицај' нису добро дефинисани на континенту, а неки истраживачи нису навикли на културу 'истраживачког утицаја'.

Системи евалуације у Африци обично не узимају у обзир истраживање за друштвену корист, подучавање, изградњу капацитета, администрацију истраживања и управљање. Модели објављивања нису осетљиви на контекст, а АПЦ стварају препреке афричким истраживачким резултатима. Реформа система за евалуацију истраживања могла би да помогне у исправљању асиметрије у доприносу које афричко истраживање може дати друштвеним изазовима, као и да побољша приступ ресурсима који би помогли афричкој истраживачкој заједници да то уради. Рушење препрека међусекторској и међудисциплинарној сарадњи је императив како би се омогућило да различити погледи и системи знања напредују и помогли у тумачењу шта чини квалитет истраживања за Африку. Механизми који интегришу локалне, аутохтоне и 'конвенционалне' погледе на свет о процени квалитета истраживања и изврсности треба да буду узети у обзир у свакој реформи.

Снажна партнерства се граде око РРА на континенту. Финансиран од стране међународног конзорцијума развојних агенција, Иницијатива савета за доделу научних средстава (СГЦИ) [96], ангажујући 17 афричких земаља, спровео је студију о изврсности истраживања у Африци, посматрајући агенције за финансирање науке и евалуацију истраживача из перспективе глобалног југа (Тијсен и Кремер-Мбула, 2017 [97], [98]). Истраживала је питање изврсности истраживања у подсахарској Африци и потребу за приступом који проширује појам изврсности изван публикација (Тијсен и Кремер-Мбула, 2018 [99]); израду документа са смерницама, који се тренутно ажурира, о добрим праксама у спровођењу истраживачких конкурса (СГЦИ [100]). На Светском научном форуму 2022. године, под покровитељством СГЦИ и ГРЦ, Јужноафричка Национална истраживачка фондација (НРФ) и Одељење за науку и иновације окупило је међународне и локалне партнере да разговарају о улози агенција за финансирање у унапређењу РРА, и да размене искуства, унапреде добру праксу и процене напредак у изградњи капацитета и сарадњи (НРФ, 2022 [101]).

Афричка мрежа доказа [102], панафричка, међусекторска мрежа од преко 3,000 практичара спровела је неке радове на процени трансдисциплинарних истраживања (Афричка мрежа доказа [103]), али до које мере је ово уграђено у националне и регионалне системе процене још није јасно. Тхе Афричка мрежа за истраживање и утицаје [103] ради на табели са резултатима која садржи колекцију индикатора за процену квалитета процене науке, технологије и иновација (СТИ) у Африци, за коју се нада да ће се развити у алат за доношење одлука заснован на вебу који ће водити одлуке о инвестицијама у СТИ .

На националном нивоу су почеле инкременталне промене – неки примери су дати у наредним оквирима за текст. Друге земље у којима агенције за финансирање истраживања преузимају водећу улогу су Танзанија (ЦОСТЕЦХ), Мозамбик (ФНИ) и Буркина Фасо (ФОНРИД). Иницијатива ГРЦ-а РРА показује се као важна платформа за промене на континенту, као и учење од међународног развојног сектора, пре свега ИДРЦ-а Оквир за процену квалитета истраживања плус (РК+). [104], с тим што је већ примењен, проучаван и унапређен. Са седиштем у Африци Међународна академија за евалуацију [105] такође може пружити занимљиву прилику.

Национални пример: Обала Слоноваче

У срцу Обале Слоноваче Програм Аппуи Стратегикуе а ла Рецхерцхе Сциентификуе (ПАСРЕС) (Стратешки програм подршке за научна истраживања) је уверење да изврсност у истраживању мора да превазиђе број истраживачких публикација и да укључи димензију 'прихватања истраживања'. Прилагођавајући се националном контексту, процес евалуације истраживања заснива се на критеријумима који се односе на научну и друштвену релевантност, укљученост партнера, обуку студената, мобилизацију знања и изводљивост. Евалуациони панели укључују научне стручњаке (да би проценили квалитет спроведеног истраживања), приватни сектор (да би проценили економско богаћење) и друге институције (за мерење културног и друштвеног потенцијала истраживања).

ПАСРЕС је основао два локална часописа (један за друштвене науке и лингвистику и други за животну средину и биодиверзитет) и покрива све трошкове објављивања у њима. Коначно, ПАСРЕС финансира активности изградње капацитета и тематске конференције како би омогућили истраживачима да представе своја истраживања приватном сектору и цивилном друштву.

Више информација: Оуаттара, А. и Сангаре, И. 2020. Подршка истраживању у Обали Слоноваче: процеси за одабир и евалуацију пројеката. Е. Краемер-Мбула, Р. Тијссен, МЛ Валлаце, Р. МцЛеан (ур.), Африцан Миндс, стр. 138–146

ПАСРЕС || Програм д'Аппуи Стратегикуе Рецхерцхе Сциентификуе (цсрс.цх)

Национални пример: Јужна Африка

Евалуација истраживања у Јужној Африци (СА) је претежно фокусирана на библиометрију. Од 1986. године, када је Одељење за високо образовање (ДХЕТ) увело политику плаћања субвенција универзитетима за истраживачке публикације објављене у часописима акредитованих индекса, резултат универзитетских истраживачких публикација је растао истовремено са вредношћу Ранд-а додељеном по публикацији. У настојању да обезбеде финансирање истраживања и унапреде своје каријере, истраживачи СА објавили су што је могуће више чланака што су брже могли, стварајући перверзне и нежељене последице.

Академија наука Јужне Африке (АССАф) наручила је извештај о научном издаваштву у земљи (2005–2014) и пронашла назнаке упитне уређивачке праксе и предаторског објављивања (АССАф, 2019). Користећи нијансирани систем категоризације, процењена цифра од 3.4% од укупног броја чланака у последњих десет година оцењена је као грабежљива, са бројкама које су нагло порасле у односу на 2011. Часописи за које се проценило да су предаторски укључени су у ДХЕТ 'прихватљиви за финансирање' лист и академици на свим универзитетима СА утврђено је да су укључени (Моутон и Валентине, 2017).

Извештај АССАф-а дао је препоруке на системском, институционалном и индивидуалном нивоу, а контрамере које су уследиле од стране ДХЕТ-а, НРФ-а и неких универзитета изгледа да су обуздале предаторске праксе у СА са инциденцом предаторског објављивања од стране академика СА (у ДХЕТ акредитованим часописима) који је достигао врхунац у 2014– 2015. и касније у опадању. Међу истраживачима је такође постојала забринутост да су политике ДХЕТ-а у СА обесхрабриле сарадњу и нису успеле да препознају допринос појединаца у великим истраживачким тимовима, што је захтевало ревизију шема за процену учинка/оцењивање истраживања. Употреба система публикацијских јединица сада је препозната као лоша замена за процену квалитета истраживања и продуктивности и за избор и унапређење академика.

Више информација на:

Академија наука Јужне Африке (АССАф). 2019. Дванаест година: Други АССАф извештај о објављивању истраживања у Јужној Африци и из ње. Преторија, АССАф.

Моутон, Ј. и Валентине, А. 2017. Обим јужноафричких ауторских чланака у предаторским часописима. Јужноафрички часопис за науку, Вол. 113, бр. 7/8, стр. 1–9.

Моутон, Ј. ет ал. 2019. Квалитет јужноафричких истраживачких публикација. Стеленбош.

2019_ассаф_цоллаборативе_ресеарцх_репорт.пдф

Национални пример: Нигерија

Универзитети у Нигерији оцењују истраживаче у три главне области: настава, истраживачка продуктивност и услуге у заједници. Од тога, истраживачка продуктивност је у већој мери пондерисана, са нагласком на објављене рецензиране истраживачке чланке и узимајући у обзир број и улоге аутора (прво ауторство и/или одговарајуће ауторство) у овим публикацијама. У настојању да постану глобално конкурентнији, већина универзитета придаје већи значај часописима индексираним од стране Међународног научног индекса или СЦОПУС-а, како би ставили већи нагласак на квалитет и међународну сарадњу; и користити проценат чланака у овим часописима као критеријум промоције.

Несрећна последица овога је да многи истраживачи, посебно они из хуманистичких наука, немају адекватна финансијска средства и/или капацитете за објављивање у овим часописима. Уместо тога, они више објављују прегледне, а не истраживачке чланке, или се осећају принуђеним да укључе утицајне старије колеге као коауторе, на основу њиховог финансијског, а не интелектуалног доприноса. Плагијат расте, као и предаторско издаваштво. Међутим, укупни глобални ранг нигеријских универзитета се повећао, што је задовољило владу и агенције за финансирање, и сматра се успехом. Нигерија није усамљена у том погледу.

Нигеријска академија наука је поново успоставила сопствени часопис са рецензијом као водећи часопис у коме академици могу да објављују (тренутно бесплатно) и да буду високо оцењени од стране својих институција.

Високо конкурентни системи оцењивања засновани на квантитативним метрикама доминирају регионом, при чему англофоне земље обично обликују оквире за процену, а друге земље следе њихов пример. У Аустралији, на пример, постоји конкурентан систем финансирања заснован на библиометрији и рангирању универзитета: „чак се и СДГ претварају у индикаторе учинка“. Слични изазови постоје у Малезији и Тајланду, а вероватно ће уследити и друге земље АСЕАН-а. Важан изузетак је Кина где влада игра значајну улогу у стварању великих системских промена и која би могла имати дубоке импликације на глобалном нивоу (види оквир за текст).

Охрабрујуће, постоји растућа свест и забринутост међу истраживачком заједницом у региону о границама постојећих система евалуације истраживања и њиховој претњи по интегритет истраживања. Иако се ЕЦР, укључујући Националне академије младих и АСЕАН мрежу младих научника, заједно са локалним покретима, све више ангажују по овом питању, они се боре да буду саслушани. Влада и финансијерске заједнице, укључујући руководство универзитета, углавном су одсутне из дебате: они придају важност квантитативним метрикама, али не цене импликације за истраживање. Заиста, консултанти наводе да се додаје више квантитативних критеријума, до те мере да институције и истраживачи почињу да играју систем, подстичући недолично понашање у истраживању.

Али постоје значајне могућности за промене, као што је приказано у следећим оквирима за текст.

Национални пример: Кина

Сада најпродуктивнија земља на свету (Толефсон, 2018; Статиста, КСНУМКС), а други у смислу улагања у истраживање (ОЕЦД, 2020), оно што се дешава у Кини има потенцијал да утиче на стварну системску промену. Нова политика на државном нивоу има за циљ да поврати „научни дух, квалитет иновације и допринос услуга“ истраживања и „промовише повратак универзитета њиховим првобитним академским циљевима“ (МОСТ, 2020). Индикатори Веб оф Сциенце више неће бити доминантан фактор за евалуацију или одлуке о финансирању, као ни број публикација и ЈИФ-ова. Публикације у висококвалитетним кинеским часописима ће се подстицати и подржавати њихов развој. 'Репрезентативне публикације' – 5–10 радова са избором уместо исцрпних листа – траже се у евалуационим панелима, заједно са критеријумима који процењују допринос истраживања решавању важних научних питања, пружању нових научних сазнања или увођењу иновација и истинском напретку од, одређеног поља.

У развоју система за процену квалитета истраживања и изврсности који је више прилагођен сопственим потребама, највећа кинеска агенција за финансирање основних истраживања, Национална фондација за природне науке Кине (НСФЦ), спровела је систематске реформе од 2018. како би одразила промене у науци: глобалне промене научни пејзажи, важност трансдисциплинарности, комбинација примењеног и базичног истраживања и интеракција између истраживања и иновација (Манфред Хорват, 2018), удаљавајући се од библиометрије ка систему који јача локални значај истраживања у Кини (Зханг и Сивертсен, 2020). Побољшао је свој систем рецензије колега за евалуацију предлога како би се боље уклопио у истраживање које изазива радозналост, горући проблеми на границама истраживања, одлична наука примењена на економске и друштвене захтеве и трансдисциплинарна истраживања која се баве великим изазовима. У 2021. години, 85% предлога је поднето и прегледано коришћењем ових категорија. Недавно, у новембру 2022. године, објављен је двогодишњи пилот план реформи за евалуацију талената за науку и технологију, који укључује осам министарстава, дванаест истраживачких института, девет универзитета и шест локалних самоуправа. Његов циљ ће бити истраживање индикатора и метода евалуације за научне и технолошке таленте ангажоване у различитим деловима иновационог система.

Субрегионални пример: Аустралија и Нови Зеланд

И Аустралија и Нови Зеланд су тренутно на важним раскрсницама. У Аустралији, текући упоредни прегледи Аустралијског истраживачког савета, преговори о изврсности у истраживању у Аустралији и Голд Опен Аццесс кумулативно представљају прозор могућности (Рос, 2022).

Након јавних консултација о будућности финансирања науке, Нови Зеланд развија нови системски програм за будућност свог националног система истраживања и иновација. И Аустралија и Нови Зеланд су допринели развоју метричког система за своје аутохтоне истраживачке групе (Принципи ЦАРЕ).

Национални пример: Индија

Центар за истраживање политике Одељења за науку и технологију (ДСТ-ЦПР) спровео је недавне студије о процени истраживања и њиховој реформи у Индији, водећи радионице са кључним заинтересованим странама (националне агенције за финансирање, истраживачке институције и академије), интервјуе и анкете. Утврђено је да, док се универзитети и многе институције од националног политичког значаја (као што је пољопривреда) фокусирају скоро искључиво на квантитативне метрике, неке агенције за финансирање и институције попут Индијских института за технологију такође усвајају квалитативне мере. Овај квалитативнији приступ у институцијама највишег нивоа већ служи преусмеравању више средстава ка истраживању о националним приоритетима, иако је прерано рећи да ли има било какав мерљиви ефекат на квалитет истраживања и утицај.

Примарно мерило за оцењивање је рецензија колега заснована на мишљењу стручне комисије, али тек након почетног прегледа пријава заснованих у потпуности на квантитативним показатељима. Фундаментални изазови такође постоје са овим одборима: недостатак разноликости и разумевања отворених научних пракси, мало разматрања друштвених утицаја истраживања и слаб капацитет и пристрасност. Ови проблеми, као и методологије за процену уопште, слабо су схваћени и постоји недостатак смерница и литературе о овој теми.

Ипак, расте свест о потреби реформе процене истраживања. Финансирана донацијом ДОРА за ангажовање заједнице, Индијска национална академија наука за младе удружила се са Индијским институтом за науку (ИИСц) и ДСТ-ЦПР како би истражила начине на које се процена истраживања може побољшати – њихова разматрања су подељена са кључним заинтересованим странама са поглед на подстицање националног разговора о потреби реформе и на крају промене индијске истраживачке културе тако да њено истраживање буде иновативније и/или друштвено релевантно. ДСТ-ЦПР предвиђа развој оквира за изврсност истраживања који би могао бити интегрисан у његов Национални оквир за институционално рангирање.

Више информација на:

Батацхарјее, С. 2022. Да ли начин на који Индија процењује своја истраживања ради свој посао? – Тхе Вире Сциенце

ДОРА_ИдеасФорАцтион.пдф (дстцприисц.орг).

Суцхирадипта, Б. и Колеи, М. 2022. Процена истраживања у Индији: шта би требало да остане, шта би могло бити боље? ДСТ-ЦПР, ИИСц.

Национални пример: Јапан

Протоколи за евалуацију истраживања су у Јапану веома развијени: док постоје „Националне смернице за евалуацију истраживања и развоја“, које је издао Савет за науку, технологију и иновације при кабинету, Министарство просвете, културе, спорта, науке и технологије (МЕКСТ) и други министарства су такође развила сопствене смернице. Поврх тога, универзитети и истраживачки институти имају своје системе евалуације истраживања за истраживаче и истраживаче, који су – као иу многим деловима света – постали повезани са институционалним учинком и буџетском расподелом.

Све је већа забринутост због превеликог ослањања на квантитативну евалуацију. Као одговор, Научни савет Јапана је припремио препорука о будућности евалуације истраживања у Јапану (2022) позивајући на мање наглашавање квантитативних, а више на квалитативне мере, више признавања истраживачке разноврсности и одговорности у евалуацији истраживања и праћењу међународних трендова у реформи пракси евалуације истраживања. Коначно, истраживачки интереси и промоција треба да буду у средишту евалуације истраживања, као и сваки напор да се спречи замор, демотивација и претерани притисак на истраживаче.

Истраживање које је спровео МЕКСТ о индикаторима евалуације показало је да је ЈИФ један од многих индикатора и да, као такав, није имао снажан утицај на јапанска истраживања, иако је то зависно од дисциплине: на пример, употреба ЈИФ-а је већа у медицинским наукама – а мање је вероватно да ће мање традиционалне истраживачке активности, као што су отворени подаци, бити процењене.

Више информација: ПРЕПОРУКА – Ка евалуацији истраживања за унапређење науке: Изазови и изгледи за пожељну евалуацију истраживања (сцј.го.јп)

У закључку, постоји растући замах за реформу евалуације истраживања у неким регионима, земљама и институцијама. Примери који су овде илустровани укључују реформе на нивоу целе земље, изградњу конзорцијума или коалиција институција истомишљеника које траже промене, циљање/управљање специфичним секторима и интервенције за борбу против перверзних подстицаја и понашања.

Ово још увек није кохерентан и инклузиван глобални разговор, нити се праксе и увиди нужно деле отворено. Неки чланови ГИА, ИАП-а и ИСЦ-а су већ проактивни у овом простору и могу се наћи корисне могућности да им се помогне да своје учење и добру праксу поделе једни са другима и са ширим чланством. Покретање Глобалне опсерваторије за процену одговорног истраживања (АГОРРА) од стране Института за истраживање истраживачког института (РоРИ) касније у 2023. ће обезбедити даљу платформу за размену учења, за упоредну анализу националних и међународних реформских система и за убрзање два- начин размене и тестирања добрих идеја у овим системима.

Овај рад је поставио главне покретаче, могућности и изазове за реформу евалуације истраживања и упоредио илустративне примере промена које се дешавају на глобалном, регионалном, националном и институционалном нивоу. Сврха овога је да мобилише ГИА, ИАП и ИСЦ и њихове одговарајуће чланове, као важне групе глобалног истраживачког екосистема.

Надовезујући се на прошлу деценију научне литературе и заговарачког рада, постоји пет главних закључака.

1. Императив да се преиспита начин на који се евалуирају појединци, институције и резултати истраживања је јасан и хитан. Одржавање интегритета и квалитета истраживања, максимизирање разноврсне, инклузивне и недискриминаторне науке и оптимизација науке за глобално јавно добро су главни покретачи, постављени у контексту света који се брзо мења.

2. Начин на који се истраживања наручују, финансирају, испоручују и саопштавају се брзо развија. Кретање ка мисијски оријентисаној и трансдисциплинарној науци, отворени оквири науке, еволуирајући модели рецензије колега, употреба вештачке интелигенције и машинског учења и брз пораст друштвених медија мењају традиционалне начине вршења и комуницирања истраживања, захтевајући ново размишљање о системима евалуације истраживања као и метрике и процесе вршњачке рецензије који га подржавају. Потребна су додатна и хитна истраживања како би се ови системи могли показати у будућности.

3. Постоји императив за уравнотеженији систем евалуације истраживања са и квантитативним и квалитативним индикаторима који вреднују вишеструке облике резултата истраживања, процеса и активности. Међутим, тврдња да су процеси квалитативног прегледа од стране колега битни барем колико и библиометрија није једноставно и додатно је компликовано јер су различити делови света у различитим фазама развоја својих система процене: у неким су дебате о реформи евалуације истраживања прилично узнапредовале, у другима су у настајању или их нема.

4. Потребна је усклађена и истински глобална и инклузивна иницијатива да би се мобилисале кључне заједнице заинтересованих страна да развију и имплементирају кохерентне начине процене и финансирања истраживања; уче једни од других и од других сектора (нарочито финансијера истраживања и развојних агенција). Колективно, инклузивно деловање ка трансформативним променама мораће да препозна међусобну повезаност, а не интернационализацију или универзализацију, тј. да буде осетљиво на контекст, да буде свесно различитих изазова са којима се суочавају различити делови света и богате хетерогености истраживачког екосистема, док у исто време треба да обезбеди довољно хомогеност како би се омогућили компатибилни системи истраживања и финансирања и мобилност истраживача, како би се минимизирала дивергенција и фрагментација. Делимичан, ексклузивни разговор ризикује даљу пристрасност и неповољан положај оних који су историјски били искључени.

5. Потребна је промена на свим нивоима – глобалном, регионалном, националном и институционалном – јер метрика каскадно пролази кроз цео истраживачки екосистем и сви ови нивои су међусобно повезани. Сви актери треба да играју своју улогу као партнери, а не противници – укључујући финансијере, универзитете, удружења универзитета и истраживачких института, међувладине организације (ИГО), владе и владине мреже, академије, креаторе научне политике, менаџере истраживања и иновација и појединачне истраживаче. Чланство ГИА, ИАП и ИСЦ, заједно, покрива велики део овог богатог пејзажа (Слика 1, Додатак Ц).

Слика 1: Мапа заинтересованих страна у односу на чланство ГИА, ИАП и ИСЦ (Кликните за преглед)

Моћ сазивања организација као што су ГИА, ИАП и ИСЦ може помоћи да се споје различити погледи и искуства у великом делу истраживачког екосистема: експериментисање са постојећим и новим иницијативама, учење из њих и надградња на њима. Најважније је да се могу повезати са кључним актерима у подстицању промена – владама, финансијерима истраживања и универзитетима, и виталним глобалним покретима као што је ДОРА – како би помогли да се мобилише архитектура актера. Заједно, они могу послужити као:

● заговорници – подизање свести о дебатама о процени истраживања, развоју и реформама у знак признања да њихови чланови служе као (и) ментори и супервизори млађих колега, (ии) лидери високошколских установа, (иии) чланови одбора органа управљања финансирањем и издаваштвом и ( ив) саветници креатора политике;

● иноватори – истраживање различитих приступа вредновању основних и примењених истраживања на инклузивне и иновативне начине;

● примери – мењају сопствену институционалну културу – освежавају своје чланство, награде, издавачку и конференцијску праксу и водећи примером;

● евалуатори – капитализирање улоге чланова како на институционалном тако и на индивидуалном нивоу чији је посао евалуација истраживача, истраживања и институција, и оних који имају издавачку, уређивачку и рецензентску улогу;

● финансијери – ослањајући се посебно на агенције за финансирање представљене у ИСЦ-у и чланове који управљају и распоређују велике националне и међународне грантове;

● сарадници – подржавање већ успостављених кампања за реформу, нпр. ДОРА, ЕУ ЦоАРА и УНЕСЦО-ова посвећеност отвореној науци.

Аутори овог рада подстичу ГИА, ИАП и ИСЦ, као и организације попут њих, да се ангажују на следеће начине:

АКЦИЈА 1: Поделите учење и добру праксу

Овај рад истиче примере интервенција и иновација из целог света. Простор за размену искустава и изградњу јаке и инклузивне „коалиције вољних“ је од виталног значаја.

1.1: Обезбедити платформу за чланове који су већ проактивни у овом простору да поделе своје учење и изграде стратешке везе, посебно на националном нивоу. Користите ове примере да помогнете у попуњавању ДОРА-ина контролна табла [106] учења и добре праксе.

1.2: Истраживати и мапирати развоје који предводе чланови у реформи евалуације истраживања да би се идентификовали институционални, национални и регионални приступи, и да би се пронашла и поделила добра пракса. Сазовите оне који су већ водили/укључили се у главне националне и међународне иницијативе како би се изградило заговарање и учење у цијелом чланству.

2. РАД: Водите својим примером

Чланство у ГИА, ИАП и ИСЦ покрива многе делове истраживачког екосистема, и сваки од њих може играти важну улогу у обликовању како изгледа успех као научника.

2.1: Прелазак на прогресивније методологије евалуације истраживања у ширем чланству. Водите својим примером и помозите да промените културу евалуације истраживања кроз сопствене филозофије и праксе чланства, ослањајући се на учење од ДОРА-е и ГРЦ-а. Академије, као традиционално елитне организације, овде имају посебну улогу – треба их охрабрити да прошире сопствене критеријуме за избор и селекцију како би одражавали шире и плуралније разумевање квалитета истраживања и утицаја, како би одразили овај плурализам (и са то више укључености и разноликости) у свом чланству.

2.2: Стимулисати регионалну сарадњу и лидерство. Подстицати регионалне мреже чланова ГИА и Националних академија младих, ИАП-ове регионалне академске мреже и регионалне контакт тачке ИСЦ-а да размотре опонашање АЛЛЕА одбора иницијатива, прилагођене сопственом контексту.

АКЦИЈА 3: Изградите стратешка партнерства са кључним бирачима.

Три главна актера одговорна за покретање реформе евалуације истраживања су владе, финансијери истраживања и универзитети. ГИА, ИАП и ИСЦ могу да помогну да се истраживачка заједница укључи у своје напоре да реформишу и премосте неповезаности које тренутно постоје.

3.1: Ангажујте се са руководством ГРЦ-а да истражите начине заједничког рада – у суштини да бисте стимулисали чланове и њихове одговарајуће националне представнике ГРЦ-а да истраже како њихове истраживачке заједнице могу да се укључе.

3.2: Ангажовати се са глобалним и регионалним мрежама универзитета, као што је Међународна асоцијација универзитета (ИАУ), ради развоја нових алата за обуку истраживачке заједнице; користе вођство високог образовања у оквиру колективног чланства ГИА, ИАП-а и ИСЦ-а као заговорника.

3.3: Повежите институције чланице у земљама гранта ДОРА (Аргентина, Аустралија, Бразил, Колумбија, Индија, Јапан, Холандија, Уганда и Венецуела) са ДОРА грантовима за размену идеја и потенцијално повећање ових локалних иницијатива.

3.4: Изградити односе са водећим међународним развојним агенцијама које већ примењују иновативне и утицајне стратегије за евалуацију истраживања у земљама са ниским и средњим приходима и најмање развијеним земљама.

3.5: Радити са УНЕСЦО-ом како би се помогло у обликовању националних обавеза за евалуацију истраживања у оквиру његових Препорука о отвореној науци.

АКЦИЈА 4: Обезбедити интелектуално вођство у будућности евалуације истраживања.

Фокусирање на специфичне и хитне изазове за реформу евалуације истраживања је императив. ГИА, ИАП и ИСЦ, и међународне мреже попут њих, могу да се ослањају на своја овлашћења за сазивање, интелектуалну тежину и утицај својих чланова и везе са кључним бирачима.

4.1: Заједнички сазвати са кључним бирачима серију форума за дискусију са више заинтересованих страна или 'Лабораторије за трансформацију' како бисте поново размислили и применили реформу евалуације истраживања – ангажујте лидере високошколских установа и њихових глобалних (нпр. ИАУ и ИАРУ) и регионалних мрежа (нпр. ЛЕРУ и ААУ [107 ]), финансијери истраживања (укључујући националне представнике ГРЦ), међународне развојне агенције и водеће издаваче, између осталих. Прикупите нове или распоредите постојеће ресурсе за финансирање овог рада (погледајте Додатак Д за неке прелиминарне идеје).

4.2: Развити нову студију о важном аспекту будућег развоја евалуације истраживања као што је (1) утицај технолошког напретка на евалуацију истраживања и рецензије колега (укључујући и употребу и злоупотребу), и како би они могли да се развијају у будућности и ( 2) ширење реформе система стручног оцјењивања (у смислу његове транспарентности, отворености, капацитета, признавања и обуке). Оба питања су саставни део поузданости знања и веродостојности науке.

У срцу свих ових напора треба да буду три основне ствари:

• Проширивање критеријума евалуације за научна истраживања и истраживаче изван традиционалних академских метрика како би укључили вишеструке облике резултата истраживања и функције, укључујући квантитативне критеријуме који могу мерити друштвени утицај истраживања.

• Подстицање лидера високошколских установа и финансијера истраживања да усвоје и негују ове нове критеријуме евалуације као мере квалитета и вредности истраживања.

• Рад са овим лидерима на новим облицима подизања свести и обуке за будуће генерације истраживача како би их опремили неопходним вештинама за комуникацију и делотворно ангажовање са креаторима политике, јавности и другим кључним групама; и да подстакне различитост и укљученост у истраживачки подухват.

Аутори овог рада закључују да мреже као што су ГИА, ИАП и ИСЦ, заједно са и подржавајући друге кључне групе, могу помоћи у изградњи кохерентне, партиципативне, глобалне иницијативе за мобилизацију истраживачких заједница, универзитета и других високошколских установа око ове агенде, и да размотре како операционализовати нове начине процене и финансирања истраживања како би оно било ефикасније, праведније, инклузивније и ефективније.

Preuzimanje

Аутори овог рада су чланови ГИА-ИАП-ИСЦ Сцопинг групе, која је радила с прекидима између маја 2021. и фебруара 2023. (детаљније у Додатку А):

• Сарах де Ријцке (Цхаир, Холандија)

• Клеменсија Козентино (САД)

• Робин Кру (Јужна Африка)

• Карло Д'Иполити (Италија)

• Шахин Мотала-Тимол (Маурицијус)

• Ноорсаадах Бинти А Рахман (Малезија)

• Лаура Ровели (Аргентина)

• Давид Ваук (Аустралија)

• Јао Јупенг (Кина)

Радна група захваљује Трејси Елиот (вишој консултанткињи ИСЦ) за њен рад на координацији и изради нацрта. Хвала и Алексу Рашфорту (Центар за научне и технолошке студије (ЦВТС), Универзитет у Лајдену, Холандија) и Сари Мур (ИСЦ) за додатни допринос и подршку.

Радна група је такође захвална свима који су били консултовани у припреми овог рада (Додатак Б), који су дали своје време и поделили своје погледе на евалуацију истраживања у својим земљама и регионима, као и рецензентима које је именовала ГИА, ИАП и ИСЦ:

• Карина Баттхиани, извршни директор, Латиноамерички савет друштвених наука (ЦЛАЦСО) (Уругвај)

• Рицхард Цатлов, професор истраживања, Универзитетски колеџ у Лондону (УК)

• Сибел Екер, доцент, Универзитет Радбоунд (Холандија)

• Енциех Ерфани, научни истраживач, Међународни центар за теоријску физику (Иран, Италија)

• Мотоко Котани, извршни потпредседник, Рикен (Јапан)

• Прадееп Кумар, професор и виши истраживач, Универзитет у Витватерсранду (Јужна Африка)

• Боон Хан Лим, ванредни професор, Универзитет Тинку Абдул Рахман (УТАР) (Малезија)

• Присцилла Колибеа Манте, виши предавач, Кваме Нкрумах Универзитет науке и технологије (КНУСТ) (Гана)

• Алма Хернандез-Мондрагон, председница Мексичког удружења за унапређење науке (АМЕКСАЦ) (Мексико)

• Кхатијах Мохамад Иусофф, виши професор, Универзитет Путра Малезија (УПМ) (Малезија)

1. УНЕСЦО. 2021. Извештај Унеска о науци: Трка против времена за паметнији развој (поглавље 1). УНЕСЦО. хттпс://унесдоц.унесцо.орг/арк:/48223/пф0000377250

2. Краљевско друштво. (2012). Наука као отворено предузеће. Центар за научну политику Краљевског друштва. хттпс://роиалсоциети.орг/~/медиа/полици/пројецтс/сапе/2012-06-20-саое.пдф

3. Хаустеин, С. и Ларивиере, В. 2014. Употреба библиометрије за процену истраживања: могућности, ограничења и штетни ефекти. И. Велпе, Ј. Воллерсхеим, С. Рингелхан, М. Остерлох (ур.), Инцентивес анд Перформанце, Цхам, Спрингер, стр. 121–139.

4. Мацлеод, М., Мицхие, С., Робертс, И., Дирнаги, У., Цхалмерс, И., Иоадннидис, Ј., Ал-Схахи Салман, Р., Цхан., АВ и Гласзиоу, П. 2014. Биомедицинска истраживања: повећање вредности, смањење отпада. Тхе Ланцет, Вол. 383, бр. 9912, стр. 101–104.

5. Бол, Т., де Ваан, М. и ван де Ријт, А. 2018. Тхе Маттхев еффецт ин сциенце фундинг. Процеедингс оф тхе Натионал Ацадеми оф Сциенцес оф тхе Унитед Статес оф Америца, Вол. 115, бр. 19, стр. 4887–4890.

6. Међународни научни савет. 2021. Отварање рекорда науке: стварање научног издаваштва за науку у дигиталној ери. Париз, Француска, ИСЦ. хттпс://дои.орг/10.24948/2021.01

7. Муллер, Р. и де Рицке, С. 2017. Размишљање помоћу индикатора. Истраживање епистемичких утицаја индикатора академског учинка у наукама о животу. Евалуација истраживања, књ. 26, бр. 3, стр. 157–168.

8. Анседе, М. 2023. Један од најцитиранијих научника у свету, Рафаел Луке, суспендован је без плате на 13 година. Ел Паιс. хттпс://енглисх.елпаис.цом/сциенце-тецх/2023-04-02/оне-оф-тхе-ворлдс-мост-цитед-сциентистс-рафаел-лукуе-суспендед-витхоут-паи-фор-13-иеарс. хтмл

9. ИАП. 2022. Борба против предаторских академских часописа и конференција. Трст, Италија, ИАП. хттпс://ввв.интерацадемиес.орг/публицатион/предатори-працтицес-репорт-Енглисх

10. Еллиотт, Т., Фазеен, Б., Асрат, А., Цетто, АМ., Ерикссон, С., Лоои, ЛМ и Негра, Д. 2022. Перцепције о распрострањености и утицају предаторских академских часописа и конференција: глобална анкета истраживача. Леарнед Публисхинг, Вол. 3, бр. 4, стр. 516–528.

11. Цоллиер, ТА 2019. „Резање саламе“ помаже каријери, али штети науци. Натуре Хуман Бехавиор, Вол. 3, стр. 1005–1006.

12. Абад-Гарциа, МФ 2019. Плагијат и предаторски часописи: претња научном интегритету. Аналес Де Педиатриа (енглеско издање), Вол. 90, бр. 1, стр. 57.е1–57.е8.

13. Омобовале, АО, Аканле, О., Адениран, АИ и Адегбоиега, К. 2013. Периферна стипендија и контекст иностраног плаћеног издаваштва у Нигерији. Цуррент Социологи, Вол. 62, бр. 5, стр. 666–684.

14. Ордваи, Д.-М. 2021. Академски часописи, новинари одржавају дезинформације у повлачењу истраживања. Новинарски ресурс. хттпс://јоурналистсресоурце.орг/хоме/ретрацтион-ресеарцх-факе-пеер-ревиев/

15. Цурри, С., де Ријцке, С., Хатцх, А., Пиллаи, Д., ван дер Веијден, И. и Вилсдон, Ј. 2020. Промјењива улога финансијера у процјени одговорног истраживања: напредак, препреке и Пут напред. Лондон, УК, Ресеарцх он Ресеарцх Институте.

16. Глобални север се генерално односи на индустријализоване или развијене економије, како их дефинишу Уједињене нације (2021), док се глобални југ односи на привреде које су тек индустријализоване или које су у процесу индустријализације или развоја, и које су често актуелне. или бивши субјекти колонијализма.

17. ИнтерАцадеми Партнерсхип. Сесија 12: Победа од веће инклузије: Однос између различитости и академске културе. ИАП. хттпс://ввв.интерацадемиес.орг/паге/сессион-12-виннинг-греатер-инцлусион-релатион-бетвеен-диверсити-анд-ацадемиц-цултуре

18. Глобал Иоунг Ацадеми. Радна група за научну изврсност. Берлин, Немачка, ГИА. хттпс://глобалиоунгацадеми.нет/ацтивитиес/сциентифиц-екцелленце/

19. ИСЦ. 2021. Ослобађање науке: Испорука мисија за одрживост. Париз, Француска, ИСЦ. дои: 10.24948/2021.04

20. ISC. 2022. Извод из Peter Глакманов говор на симпозијуму „Бесконачне границе“. Париз, Француска. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Белцхер, Б., Цлау, Р., Давел, Р., Јонес, С. и Пинто, Д. 2021. Алат за планирање и евалуацију трансдисциплинарног истраживања. Интеграција и увид у имплементацију. хттпс://и2инсигхтс.орг/2021/09/02/трансдисциплинари-ресеарцх-евалуатион/

22. Белцхер, БМ, Расмуссен, КЕ, Кемсхав, МР и Зорнес, ДА 2016. Дефинисање и процена квалитета истраживања у трансдисциплинарном контексту. Евалуација истраживања, књ. 25, бр. 1, стр. 1–17.

23. Вилсдон, Ј. ет ал. 2015. Тхе Метриц Тиде: Репорт оф тхе Индепендент Ревиев оф тхе Роле оф Метрицс ин Ресеарцх Ассессмент анд Манагемент. ХЕФЦЕ.

24. УНЕСЦО. Препорука УНЕСЦО-а о отвореној науци. Париз, Француска, УНЕСЦО. хттпс://унесдоц.унесцо.орг/арк:/48223/пф0000379949

25. УНЕСКО извор је открио да је овај рад тренутно на чекању јер дебатом доминира само неколицина и не мора да има одјека код многих: опсежан дијалог мора да претходи изради препорука.

26. Баррога, Е. 2020. Иновативне стратегије за пеер ревиев. Јоурнал оф Кореан Медицал Сциенце, Вол. 35, бр. 20, стр. е138.

27. Воодс, ХБ, ет ал. 2022. Иновације у рецензирању у научном издаваштву: мета-сажетак. СоцАрКсив, дои: 10.31235/осф.ио/каксд

28. Калтенбруннер, В., Пинфиелд, С., Валтман, Л., Воодс, ХБ и Брумберг, Ј. 2022. Иновирање колега рецензирања, реконфигурација научне комуникације: аналитички преглед текућих иновационих активности пеер ревиев. СоцАрКсив, дои: 10.31235/осф.ио/8хдку

29. Холм, Ј., Валтман, Л., Невман-Гриффис, Д. и Вилсдон, Ј. 2022. Добра пракса у коришћењу машинског учења и вештачке интелигенције од стране организација које финансирају истраживања: Увиди из серије радионица. Лондон, УК, Ресеарцх он Ресеарцх Институте. хттпс://дои.орг/10.6084/м9.фигсхаре.21710015.в1

30. Процтер, Р., Гловер, Б. и Јонес, Е. 2020. Истраживање 4.0 Истраживање у доба аутоматизације. Лондон, УК, ДЕМОС.

31. Бакер, М. 2015. Паметни софтвер уочава статистичке грешке у радовима из психологије. Природа, хттпс://дои.орг/10.1038/натуре.2015.18657

32. Ван Ноорден, Р. 2022. Истраживачи који користе АИ за анализу колега. Природа 609, 455.

33. Северин, Ан., Стринзел, М., Еггер, М., Баррос, Т., Соколов, А., Моуатт, Ј. и Муллер, С. 2022. Аркив,

34. Гадд, Е. 2022. Алати за процену цитата засновани на вештачкој интелигенцији: добро, лоше или ружно? Тхе Библиомагициан. хттпс://тхебиблиомагициан.вордпресс.цом/2020/07/23/аи-басед-цитатион-евалуатион-тоолс-гоод-бад-ор-угли/

35. Фолтынек, Т., Меусцхке, Н. и Гипп, Б. 2020. Детекција академског плагијата: систематски преглед литературе. АЦМ Цомпутинг Сурвеис, Вол. 52, бр. 6, стр. 1–42.

36. Куацх, К. 2022. Издавачи користе вештачку интелигенцију да би ухватили лоше научнике који користе податке. Тхе Регистер. хттпс://ввв.тхерегистер.цом/2022/09/12/ацадемиц_публисхерс_аре_усинг_аи/

37. Ван Дис, Е., Боллен, Ј., Зуидема., ван Рооји, Р и Боцктинг, Ц. 2023. ЦхатГПТ: пет приоритета за истраживање. Натуре, Вол. 614, стр. 224–226.

38. Цхавла, Д. 2022. Да ли АИ треба да има улогу у процени квалитета истраживања? Природа, хттпс://дои.орг/10.1038/д41586-022-03294-3

39. Цираноски, Д. 2019. Вештачка интелигенција бира рецензенте грантова у Кини. Натуре, Вол. 569, стр. 316–317.

40. Мике, Т. 2022. Може ли се квалитет објављених чланака у академским часописима оценити машинским учењем? Квантитативне научне студије, књ. 3, бр. 1, стр. 208–226.

41. Цхомски, Н., Робертс, И. и Ватумулл, Ј. 2023. Лажно обећање ЦхатГПТ-а. Тхе Нев Иорк Тимес. хттпс://ввв.нитимес.цом/2023/03/08/опинион/ноам-цхомски-цхатгпт-аи.хтмл

42. Цларивате. 2022. Процена истраживања: порекло, еволуција, резултати. Цларивате. хттпс://цларивате.цом/лп/ресеарцх-ассессмент-оригинс-еволутионс-оутцомес/

43. Блаутх, ТФ, Гстреин, ОЈ и Звиттер, А. 2022. Злочин у вези са вештачком интелигенцијом: преглед злонамерне употребе и злоупотребе АИ. ИЕЕЕ Аццесс, Вол. 10, стр. 77110–77122.

44. Кастелвеки, Д. 2019. Пионир вештачке интелигенције: „Опасности од злостављања су веома реалне“. Природа, дои: хттпс://дои.орг/10.1038/д41586-019-00505-2

45. Јордан, К. 2022. Перцепције академика о утицају истраживања и ангажовању кроз интеракције на платформама друштвених медија. Учење, медији и технологија, дои: 10.1080/17439884.2022.2065298

46. ​​Воутерс, П., Захеди, З. и Цостас, Р. 2019. метрицс Социал медиа фор нев ресеарцх евалуатион. Гланзел, В., Моед, ХФ, Сцхмоцх У., Тхелвалл, М. (едс.), Спрингер Хандбоок оф Сциенце анд Тецхнологи Индицаторс. СпрингерЛинк.

47. Рафолс, И. и Стирлинг, А. 2020. Дизајнирање индикатора за отворену евалуацију. Увиди из процене истраживања. РесеарцхГате, дои: 10.31235/осф.ио/х2фкп

48. Рицх, А., Ксуереб, А., Вробел, Б., Керр, Ј., Тиетјен, К., Мендису, Б., Фарјалла, В., Ксу, Ј., Доминик, М., Вуите, Г. ., Ход, О. и Баул, Ј. 2022. Назад на основе. Хале, Немачка, Глобал Иоунг Ацадеми.

49. Јонг, Л., Франссен, Т. и Пинфиелд, С. 2021. Екцелленце ин тхе Ресеарцх Ецосистем: А Литературе Ревиев. Лондон, УК, Ресеарцх он Ресеарцх Институте.

50. Хатцх, А. и Цурри, С. 2020. Култура истраживања: Промена начина на који оцењујемо истраживање је тешка, али не и немогућа. еЛифе, Вол. 9, стр. е58654.

51. ИАП. 2022. Борба против предаторских академских часописа и конференција. Трст, Италија, ИАП.

52. Хицкс, Д., Воутерс, П., Валтман, Л., де Ријцке, С. и Рафолс, И. 2015. Библиометрицс: Тхе Леиден Манифесто фор ресеарцх метрицс. Натуре, Вол. 520, стр. 429–431.

53. Публонс. 2018. Глобал Стате оф Пеер Ревиев. Лондон, Велика Британија, Цларивате. хттпс://дои.орг/10.14322

54. Кованис, М., Порцхер, Р., Ревауд, П. и Тринкуарт, Л. 2016. Глобални терет рецензије часописа у биомедицинској литератури: јака неравнотежа у колективном предузећу. ПЛоС ОНЕ, Вол. 11, бр. 11, стр. е0166387.

55. Форестер, Б. 2023. Сити и прегорео: 'тихи престанак' погађа академију. Натуре, Вол. 615, стр. 751–753.

56. Хатцх, А. и Цурри, С. 2020. Култура истраживања: промена начина на који оцењујемо истраживање је тешка, али не и немогућа. еЛифе, Вол. 9, стр. е58654.

57. Мохер, Д., Боутер, Л., Клеинерт, С., Гласзиоу, П., Хар Схам, М., Барбоур, В., Цориат, АМ, Фоегер, Н. и Дирнаги, У. 2020. Тхе Хонг Конг Принципи за процену истраживача: неговање интегритета истраживања. ПЛоС Биологи, Вол. 18, бр. 7, стр. е3000737.

58. Вилсдон, Ј., Аллен, Л., Белфиоре, Е., Цампбелл, П., Цурри, С., Хилл, С., Јонес, Р., Каин, Р. и Керридге, С. 2015. Тхе Метриц Тиде: Извештај независног прегледа улоге метрике у процени истраживања и менаџменту. дои:10.13140/РГ.2.1.4929.1363

59. Цурри, С., Гадд, Е. и Вилсдон, Ј. 2022. Искориштавање метричке плиме: индикатори, инфраструктуре и приоритети за процјену одговорног истраживања у УК. Лондон, УК, Ресеарцх он Ресеарцх Институте.

60. Уводник природе. 2022. Подржите европску визију одговорног истраживања. Натуре, Вол. 607, стр. 636.

61. Декларација о процени истраживања (ДОРА). хттпс://сфдора.орг/абоут-дора/

62. Хицкс, Д., Воутерс, П., Валтман, Л., де Ријцке, С. и Рафолс, И. 2015. Библиометрицс: Тхе Леиден Манифесто фор ресеарцх метрицс. Натуре, Вол. 520, стр. 429–431.

63. Цурри, С., Гадд, Е. и Вилсдон, Ј. 2022. Искориштавање метричке плиме: индикатори, инфраструктуре и приоритети за процјену одговорног истраживања у УК. Лондон, УК, Ресеарцх он Ресеарцх Институте. хттпс://рори.фигсхаре.цом/артицлес/репорт/Харнессинг_тхе_Метриц_Тиде/21701624

64. ДОРА. Декларација из Сан Франциска о процени истраживања. хттпс://сфдора.орг/реад/

65. ДОРА. Алати за унапређење процене истраживања. ДОРА. хттпс://сфдора.орг/пројецт-тара/

66. ДОРА. ДОРА грантови за ангажовање заједнице: подршка реформи академског оцењивања хттпс://сфдора.орг/дора-цоммунити-енгагемент-грантс-суппортинг-ацадемиц-ассессмент-реформ/

67. Инормс. СЦОПЕ Оквир за евалуацију истраживања. хттпс://инормс.нет/сцопе-фрамеворк-фор-ресеарцх-евалуатион/

68. Инормс. Оквир СЦОПЕ. хттпс://инормс.нет/сцопе-фрамеворк-фор-ресеарцх-евалуатион/

69. Торфин, С. 2018. Квалитет истраживања плус. Међународни истраживачки центар за развој. хттпс://ввв.идрц.ца/ен/ркплус

70. Реид, Ц., Цалиа, Ц., Гуерра, Ц. и Грант, Л. 2019. Етхицал Ацтион ин Глобал Ресеарцх: А Тоолкит. Единбург, Шкотска, Универзитет у Единбургу. хттпс://ввв.етхицал-глобал-ресеарцх.ед.ац.ук/

71. Валтерс, Ц. 2014. Теорије промене у међународном развоју: комуникација, учење или одговорност? Азијска фондација. хттпс://ввв.алнап.орг/систем/филес/цонтент/ресоурце/филес/маин/јсрп17-валтерс.пдф

72. Фрасер, Ц., Ниеналтовски, МХ, Гофф, КП, Фиртх, Ц., Схарман, Б., Бригхт, М. и Диас, СМ 2021. Процена одговорног истраживања. Глобал Ресеарцх Цоунцил. хттпс://глобалресеарцхцоунцил.орг/невс/респонсибле-ресеарцх-ассессмент/

73. Глобални истраживачки савет. Процена одговорног истраживања ГРЦ-а. ЈуТјуб. хттпс://ввв.иоутубе.цом/ватцх?в=ЦнскДИХГдДо

74. Цурри, С., де Ријцке, С., Хатцх, А., Дорсами, П., ван дер Веијден, И. и Вилсдон, Ј. 2020. Тхе Цхангинг Роле оф Фундерс ин Респонсибле Ресеарцх Ассессмент. Лондон, УК, Ресеарцх он Ресеарцх Институте. хттпс://дои.орг/10.6084/м9.фигсхаре.13227914.в1

75. Глобални истраживачки савет. Радна група за процену одговорног истраживања. ГРЦ. хттпс://глобалресеарцхцоунцил.орг/абоут/респонсибле-ресеарцх-ассессмент-воркинг-гроуп/

76. Глобал Иоунг Ацадеми. Научна изврсност. ГИА. хттпс://глобалиоунгацадеми.нет/ацтивитиес/сциентифиц-екцелленце/

77. Адамс, Ј., Беардслеи, Р., Борнманн, Л., Грант, Ј., Сзомсзор, М. и Виллиамс, К. 2022. Ресеарцх Ассессмент: Оригинс, Еволутион, Оутцомес. Институт за научне информације. хттпс://цларивате.цом/ИСИ-Ресеарцх-Ассессмент-Репорт-в5б-Спреадс.пдф

78. ДОРА. Библиотека ресурса. хттпс://сфдора.орг/ресоурце-либрари

79. Саенен, Б., Хатцх, А., Цурри, С., Проудман, В. и Лакодук, А. 2021. Реимагининг Ацадемиц Цареер Ассессмент: Сториес оф Инноватион анд Цханге. ДОРА. хттпс://еуа.еу/довнлоадс/публицатионс/еуа-дора-спарц_цасе%20студи%20репорт.пдф

80. Коалиција за унапређење процене истраживања (ЦоАРА). хттпс://цоара.еу/

81. ЦоАРА. 2022. Споразум о реформи процене истраживања. хттпс://цоара.еу/апп/уплоадс/2022/09/2022_07_19_рра_агреемент_финал.пдф

82. Уводник природе. 2022. Подржите европску визију одговорног истраживања. Натуре, Вол. 607, стр. 636.

83. Отворена и универзална наука. ОПУС Хоме – Пројекат отворене и универзалне науке (ОПУС). хттпс://опуспројецт.еу/

84. Вергоулис, Т. 2023. ГраспОС креће напред ка одговорнијој процени истраживања. ОпенАИРЕ. хттпс://ввв.опенаире.еу/граспос-мовинг-форвард-то-а-море-респонсибле-ресеарцх-ассессмент

85. Европски истраживачки савет. 2022. Научно веће ЕРЦ-а одлучује о изменама образаца и процеса евалуације за позиве за 2024. годину. ЕРЦ. хттпс://ерц.еуропа.еу/невс-евентс/невс/ерц-сциентифиц-цоунцил-децидес-цхангес-евалуатион-формс-анд-процессес-2024-цаллс

86. Све европске академије. 2022. АЛЛЕА изјава о реформи процене истраживања у оквиру европских академија. АЛЛЕА. хттпс://аллеа.орг/вп-цонтент/уплоадс/2022/10/АЛЛЕА-Статемент-РРА-ин-тхе-Ацадемиес.пдф

87. Еуродоц, МЦАА, ИАЕ, ИЦоРСА и ГИА. 2022. Заједничка изјава о закључцима Савета ЕУ о процени истраживања и имплементацији отворене науке. Зенодо, дои: 10.5282/зенодо.7066807.

88. Оверлает, Б. 2022. Пут ка вишедимензионалним академским каријерама – ЛЕРУ оквир за процену истраживача. ЛЕРУ, Леувен, Белгија. хттпс://ввв.леру.орг/филес/Публицатионс/ЛЕРУ_ПоситионПапер_Фрамеворк-фор-тхе-Ассессмент-оф-Ресеарцхерс.пдф

89. Краљевско друштво. Биографија за истраживаче. хттпс://роиалсоциети.орг/топицс-полици/пројецтс/ресеарцх-цултуре/тоолс-фор-суппорт/ресуме-фор-ресеарцхерс/

90. Грове, Ј. 2021. Да ли наративни животописи говоре праву причу? Тимес Хигхер Едуцатион (ТХЕ). хттпс://ввв.тимесхигхередуцатион.цом/дептх/до-нарративе-цвс-телл-ригхт-стори

91. РИЦИТ. Истраживачи према сектору запошљавања (ФТЕ) 2011-2020. апп.рицит.орг/уи/в3/цомпаративе.хтмл?индицатор=ИНВЕСТЕЈЦСЕПЕР&старт_иеар=2011&енд_иеар=2020

92. ЦЛАЦСО. 2020. Евалуатинг Сциентифиц Ресеарцх Ассессмент. Ка трансформацији процене научних истраживања у Латинској Америци и на Карибима из Латиноамеричког форума за процену истраживања (ФОЛЕЦ). КЛАКСО, Буенос Ајрес, Аргентина. хттпс://ввв.цлацсо.орг/вп-цонтент/уплоадс/2020/05/ФОЛЕЦ-ДИАГНОСТИЦО-ИНГЛЕС.пдф

93. ЦЛАЦСО. 2021. Ка трансформацији система евалуације у Латинској Америци и Карибима, Алати за промовисање нових политика евалуације. Серија из Латиноамеричког форума за процену истраживања (ФОЛЕЦ). КЛАКСО, Буенос Ајрес, Аргентина. хттпс://ввв.цлацсо.орг/вп-цонтент/уплоадс/2022/02/Доцументо-ХЕРРАМИЕНТА-2-ЕНГ.пдф

94. Грас, Н. 2022. Облици процене истраживања усмерених на развојне проблеме. Пракса и перспективе националних научних и технолошких организација и институција високог образовања у Латинској Америци и на Карибима. ФОЛЕЦ. КЛАКСО, Буенос Ајрес, Аргентина. 2022-07-27_Формс-оф-ресеарцх-ассессмент.пдф ЕНГ.пдф (дспацедирецт.орг)

95. ЦЛАЦСО је Савет за друштвене науке у региону и водећи шампион за друштвено релевантну и одговорну науку. Латиноамерички форум за процену истраживања (ФОЛЕЦ) је регионални простор за дебату и размену добре праксе и развија регионалне смернице за процену истраживања како би подржао ове принципе. Оба обезбеђују снажно регионално вођство.

96. СГЦИ. Иницијатива савета за доделу научних средстава (СГЦИ) у подсахарској Африци. хттпс://сгциафрица.орг/

97. СГЦИ. Тијссен, Р. и Краемер-Мбула, Е. 2017. Полици бриеф: Перспецтивес он ресеарцх екцелленце ин тхе Глобал Соутх – процена, праћење и евалуација у контексту земаља у развоју. СГЦИ. хттпс://сгциафрица.орг/вп-цонтент/уплоадс/2022/03/Полици-Бриеф-Перспецтивес-он-ресеарцх-екцелленце-ин-тхе-Глобал-Соутх_-Ассессмент-мониторинг-анд-евалуатион-ин-девелопинг- цоунтри-цонтектс.пдф

98. Тијсен, Р. и Краемер-Мбула, Е. 2018. Истраживачка изврсност у Африци: политике, перцепције и учинак. СГЦИ. хттпс://сгциафрица.орг/ресеарцх-екцелленце-ин-африца-полициес-перцептионс-анд-перформанце/

99. Тијссен, Р. и Краемер-Мбула, Е. 2018. Истраживачка изврсност у Африци: политике, перцепције и учинак. Наука и јавна политика, књ. 45, бр. 3, стр. 392–403. хттпс://дои.орг/10.1093/сципол/сцк074

100. СГЦИ. Смернице добре праксе о квалитету конкурса за истраживање. хттпс://сгциафрица.орг/енг-гоод-працтице-гуиделине-он-тхе-куалити-оф-ресеарцх-цомпетитионс/

101. НРФ. НРФ је домаћин стратешких састанака за унапређење истраживачких партнерстава у Африци – Национална истраживачка фондација

102. Белцхер, БМ, Расмуссен, КЕ, Кемсхав, МР и Зорнес, ДА 2016. Дефинисање и процена квалитета истраживања у трансдисциплинарном контексту, Ресеарцх Евалуатион, Вол. 25, стр: 1–17, хттпс://дои.орг/10.1093/ресевал/рвв025

103. АРИН. 2020. метрика научне технологије и иновација (СТИ) – Афричка мрежа за истраживање и утицај (арин-африца.орг)

104. МцЛеан Р., Офир З., Етхерингтон А., Ацеведо М. и Феинстеин О. 2022. Ресеарцх Куалити Плус (РК+) – Евалуатинг Ресеарцх Дифферентли. Отава, Међународни истраживачки центар за развој. хттпс://идл-бнц-идрц.дспацедирецт.орг/битстреам/хандле/10625/60945/ИДЛ-60945.пдф?секуенце=2&исАлловед=и

105. Међународна академија за мониторинг и евалуацију

106. ДОРА. ТАРА Дасхбоард. хттпс://сфдора.орг/тара-ландинг-паге/

107. ИАРУ, Међународна асоцијација универзитета са интензивним истраживањем; ЛЕРУ, Лига европских истраживачких универзитета; ААУ, Афричка асоцијација универзитета