6. Статистичко вредновање библиографских података: вредновање часописа, научника и институција
Апстракт: Ово поглавље укратко сумира различите библиометријске показатеље за оцењивање часописа, научника и институција. Детаљно су представљене најчешће коришћене мере, тј. фактор утицајности и h-индекс (h-index). Истакнута је првобитна намена, а објашњена је и стварна, понекад контрадикторна, употреба. Дате су дефиниције, примери израчунавања, предности и замерке. Додатно је дат и кратак преглед осталих начина мерења.
Kључне речи: Библиометрија – Фактор утицајности – h-фактор – Библиографски подаци – Цитираност
6.1 Увод
Овде помињемо и разликујемо следеће истраживачке области у контексту евалуације научног истраживања [1]:
– Библиометрија: Овај израз је увео Алан Причард (Alan Pritchard) 1969. као „примену математичких и статистичких метода у анализи књига и других медија комуникације“ [2] како би заменио „незадовољавајући“ термин „статистичка библиографија“. Ова квантитативна наука бави се истраживањем продуктивности научника на основу броја књига, радова и др. („дескриптвивна“), и коришћења литературе на основу броја цитираних библиографских референци („евалуативна“) [3]. Стивен Лок (Stephen Lock), бивши уредник часописа British Medical Journal, примену библиометрије у вредновању часописа назвао је 1989. године journalology („часописологија“) [4].
– Наукометрија (сцијентометрија): Овај израз сковали су В. В. Налимов (В. В. Налимов) и З. М. Муљченко (З. М. Мульченко) 1969. и на руском језику он гласи наукометрия [5]. Наукометрија „се бави квантитативним и компаративним вредновањем доприноса научника, истраживачких група, институција и држава унапређењу знања [1].
– Информетрија: Овај израз сковао је Ото Наке (Otto Nacke) 1979. и на немачком језику он гласи Informetrie [6]. Могао би се дефинисати као „проучавање квантитативних аспеката информација у било ком облику, не само записа или библиографија, и у било којој друштвеној групи, не искључиво у научној заједници. Бави се анализом квантитативних аспеката неформалне или говорне комуникације, као и писане, и потребом за информацијама и њиховим коришћењем од стране непривилегованих друштвених слојева, а не само интелектуалне елите. Информетрија може да обухвати, користи и прошири многа истраживања о мерењу информација, изван граница библиометрије и наукометрије“ [7].
– Вебометрија: Овај израз су сковали Томас Алминд (Thomas C. Almind) и Петер Ингверсен (Peter Ingwersen) 1997. као „истраживање свих врста комуникације на интернету коришћењем информетрије или других квантитативних мера“ [8]. Када је реч о интернету[1], могу се разликовати нетометрија (научна интеракција посредством интернета, коју је увео Боси (Bossy) 1995. [9]) и киберметрија (општа квантитативна анализа свих интернет апликација [10]).
6.2 Фактор утицајности (Impact Factor)
Идеја и концепт фактора утицајности (ФУ) воде порекло из истраживања Јуџина Гарфилда (Eugene Garfield) и Ирвинга Х. Шера (Irving H. Sher) које је имало за циљ анализу и идентификацију утицајних часописа [11]. У њему се критикује модел цитираности (нпр. [12]) који се тада користио за одређивање значаја часописа, а који се заснивао на одређивању укупног броја цитата, и предлаже се нормирана вредност. Гарфилд и Шер су предложили да се број цитата које је један часопис прикупио подели бројем чланака које је часопис објавио [11]. Данас се употреба фактора утицајности базира на прецизнијој дефиницији која гласи [13]:
Број цитата које је садржај часописа из прве и друге године прикупио у радовима из треће године дели се бројем цитабилних радова објављених у првој и другој години, при чему се у цитабилне радове убрајају оригинални научни радови и прегледни чланци.
Наведена дефиниција може се изразити следећом једначином:
где се израз „научни прилог“ односи на оригиналне научне радове, прегледне чланке, претходна саопштења, кратка саопштења и стручне прилоге, види табелу 3.1. Овде треба напоменути да се фактор утицајности, уколико се придржавамо приказа у једначини (6.1), објављује тек током четврте године зато што се цитираност мора пратити током целе треће године. Примера ради, погледајмо како се израчунава фактор утицајности часописа Journal of Nanoscience and Nanotechnology за 2009. годину, који је објављен почетком 2010. године. Током 2009, прилози објављени 2008. прикупили су укупно 1134 цитата, а прилози објављени 2007. укупно 1304 цитата. То даје збир од 2438 цитата. С друге стране, у часопису је 2008. објављено 1011, а 2007. 688 чланака. Сходно томе, фактор утицајности за 2009. износи 1,435, а добија се када се 2438 цитата подели са 1699 чланака. Ова вредност фактора утицајности од 1,435 значи да су чланци објављени пре годину или две у просеку цитирани 1,435 пута.
Сл. 6.1 Кретање фактора утицајности и број чланака за период 2000–2010. на примеру часописа Journal of Nanoscience and Nanotechnology
Фактор утицајности није константан током низа година и многи фaктори могу утицати на његово кретање. Слика 6.1 приказује кретање фактора утицајности и број објављених чланака у периоду од 2000. до 2010. на примеру часописа Journal of Nanoscience and Nanotechnology. Опадање вредности фактора утицајности могло би се довести у везу са све већим бројем објављених чланака. Заправо, овај часопис у свакој свесци објављује рубрику посвећену конференцијама, која садржи велики број чланака, што може бити и неповољно за кретање фактора утицајности.
Важно је разумети и да се од дисциплине до дисциплине фактор утицајности може знатно разликовати. Та појава је у вези са чињеницом да се праксе објављивања и цитирања разликују од дисциплине до дисциплине, и није последица разлике у „квалитету“ између различитих научних дисциплина. Табела 6.1 показује поређење фактора утицајности у медицини и примењеној механици. Јасно се може видети да су вредности фактора утицајности у медицини много веће него у примењеној механици. Сходно томе, може се закључити да се поређење вредности фактора утицајности у различитим дисциплинама мора спроводити пажљиво, ако уопште има смисла правити таква поређења.
Даље се може уочити да распон фактора утицајности унутар једне дисциплине може да буде прилично мали. Табела 6.2 представља три водећа међународна часописа у вези са науком и технологијом адхезије. Може се видети да се фактор утицајности креће у распону 2 ± 1 и друге вредности овог параметра нису могуће. Ово се мора узети у обзир приликом вредновања заснованог на фактору утицајности.
Табела 6.1 Поређење фактора утицајности (2011) за различите научне дисциплине
| Часопис | Издавач | Фактор утицајности |
|---|---|---|
| Медицина (општа) | ||
| New England Journal of Medicine | Mass. Medical Soc. | 53,486 |
| Lancet | Elsevier | 33,633 |
| J. of the American Medical Assoc. | Am. Medical Assoc. | 30,011 |
| Nature Medicine | Nature Pub. | 25,430 |
| Journal of Experimental Medicine | Rockefeller Univ. Press | 14,776 |
| Journal of Clinical Investigation | Am. Soc. Clin. Invest. | 14,152 |
| British Medical Journal | BMJ Pub. Group | 13,471 |
| Примењена механика | ||
| J. of the Mechanics and Physics of Solids | Elsevier | 3,705 |
| Advanced in Applied Mechanics | Elsevier | 3,000 |
| Applied Mechanics Reviews | ASME | 2,559 |
| Int. Journal of Solids and Structures | Elsevier | 1,677 |
| European Journal of Mechanics ASolids | Elsevier | 1,414 |
| Archive of Applied Mechanics | Elsevier | 0,853 |
| Journal of Applied Mechanics (ASME) | ASME | 0,620 |
Табела 6.2 Часописи у вези са адхезијом
| Часопис | Издавач | Фактор утицајности |
|---|---|---|
| Int. J. of Adhesion and Adhesives | Elsevier | 1,944 |
| Journal of Adhesion | Taylor & Francis | 1,085 |
| J. of Adhesion Science and Technology | Brill | 0,992 |
Табела 6.3 Кретање фактора утицајности на примеру часописа Nature и Science
| Година | Nature | Science |
|---|---|---|
| 2006. | 26,681 | 30,028 |
| 2007. | 28,751 | 30,028 |
| 2008. | 31,434 | 30,028 |
| 2009. | 34,480 | 30,028 |
| 2010. | 36,104 | 30,028 |
На крају приче о поређењу фактора утицајности, не би требало да заборавимо да поменемо међународне часописе Nature и Science. Њихов фактор утицајности је прилично константан током низа година и креће се око 30, види табелу 6.3. Овде треба поменути да се у уводнику часописа Nature истиче да фактор утицајности не би требало посматрати као просту цитираност часописа [15]. Изнесен је податак да је само 25% чланака генерисало 89% фактора утицајности за 2004. (32,2). Сходно томе, прилично је неуједначена дистрибуција цитата, а неки изузетни чланци доприносе високом фактору утицајности.
Вратимо се употреби фактора утицајности, који су првобитно Графилд и Шер [11] осмислили као меру значаја часописа. Намера је била да се он користи за избор часописа за Science Citation Index (SCI – Цитатни индекс за природне науке, биомедицину и технику), као и да га користе библиотекари и стручњаци за информационе науке приликом формирања збирки часописа. У истом чланку аутори јасно упозоравају да ове вредности треба узети с резервом приликом селекције и вредновања научника.[2] И поред свега, већ дуже време је уобичајено да се фактор утицајности користи за вредновање појединачних чланака и научника, види нпр. [13, 16]. Овакву примену фактора утицајности Гарфилд је много пута критиковао:
Фактор утицајности се нашироко користи за рангирање и вредновање часописа. Такође се неадекватно користи као сурогат у поступку евалуације. Аутор Science Citation Index-а упозорова на некритичку употребу ових података [17].
Приликом анализе библиографије аутора, фактор утицајности часописа обично служи као замена за цитираност. Сходно томе, употреба фактора утицајности за мерење утицаја чланка представља тек предвиђање, које се ипак заснива на извесној вероватноћи [18].
Употреба утицајности часописа у евалуацији (вредновању) појединаца сама по себи носи опасности. У идеалном свету, они који се баве евалуацијом требало би да прочитају сваки чланак и онда донесу лични суд [19].
На крају овог одељка навешћемо неколико аргумената за и против фактора утицајности који се могу наћи у научној литератури, види Табелу 6.4.
6.3 Хиршов индекс (Hirsch Index) или h-индекс (h-index)
Хорхе Е. Хирш (Jorge E. Hirsch) је 2005. предложио h-индекс или Хиршов индекс за описивање научног доприноса истраживача [20]. Идеја је била да се у једном броју обједини податак о броју публикација и податак о броју цитата једног научника. Научник поседује h-индекс од h уколико има најмање h радова, од којих је сваки h пута цитиран. Примера ради, уколико h-индекс износи 10, онда то значи да научник има минимум 10 радова и да је сваки од тих 10 радова цитиран барем 10 пута. Једноставан начин да се одреди h-индекс јесте да се публикације поређају у табелу, од публикације која је била највише пута цитирана ка пубикацијама са мањим бројем цитата, како је то приказано у Табели 6.5.
Табела 6.4 Најчешће навођене предности и критике фактора утицајности (ФУ)
Предности
- Пружа глобални преглед важних међународних часописа, унутар релевантног корпуса.
- Релативно лако разумљив начин рачунања.
- Не фаворизује часописе који излазе дуго или часописе који објaвљују велики број чланака по свесци
- Анализира скорашњи учинак часописа (цитираност у претходне две године).
- Повезивањем цитата са називом часописа, а не са појединачним радовима, избегавају се многе грешке у библиографским референцама до којих би дошло због навођења погрешног имена аутора или погрешне пагинације.
- Лако је анализирати промене током дужег временског периода, с обзиром на то да се фактор утицајности већ годинама израчунава на исти начин.
- Рангирање на основу фактора утицајности је у корелацији са статусом часописа.
- Научна заједница је у извесној мери већ признала фактор утицајности, с обзиром на то да га примењује већ више година.
- Великом броју часописа је додељен фактор утицајности.
Критике
- Упутство за рачунање фактора утицајности не узима у обзир довољно фактора, због чега не представља реалну меру утицаја часописа.
- Недоумице у вези са имениоцем у једначини за израчунавање фактора утицајности (узимање у обзир укупног броја објављених научних чланака).
- Фактор утицајности се може повећати цитирањем у уводнику или писмима, која се не узимају у обзир у имениоцу једначине.
- Само један мањи број радова заиста доприноси стварном фактору утицајности часописа. Сходно томе, фактор утицајности нас може навести на погрешне закључке у погледу основних тенденција.
- Рецензирани часописи су у предности у односу на часописе који нису рецензирани.
- Вредност фактора утицајности разликује се од дисциплине до дисциплине, због чега је међусобно поређење дисциплина тешко или бескорисно.
- Двогодишњи период праћења цитираности може бити сувише кратак да би се у неким дисциплинама регистровао истински утицај научног чланка.
- Назив часописа се региструје у пољу од 20 карактера. То понекад отежава регистровање исправног назива часописа.
- Мултидисциплинарне часописе који тематски покривају различите области тешко је поредити на основу фактора утицајности.
- Дефиниција научних области у JCR-у је субјективна и нејасна. Притом, не узимају се у обзир одступања која постоје међу подобластима.
- Фактор утицајности је бескористан за неке области у којима су књиге главно средство комуницирања (нпр. хуманистичке науке).
- Не постоји фактор утицајности за часописе који нису индексирани код Томсон Ројтерса (Thomson Reuters).
- Скуп часописа које Томсон Ројтерс индексира открива већу наклоност ка одређеним народима и часописима на енглеском језику. Утицајни часописи на националном нивоу нису признати.
Адаптирано из [13]
Научник А има 12 публикација, које укупно имају 185 цитата. Његов h-индекс износиће 10, пошто је објавио 10 радова од којих сваки има најмање 10 цитата. Да би повећао свој h-индекс на 11, његов рад бр. 10 би требало да буде цитиран још једном, а рад бр. 11 још двапут, односно да уместо садашњих 9 цитата има 11 цитата. Овде треба напоменути да је h-индекс само једна дефиниција, која се базира на одређеним бројевима, што нас у извесној мери може довести у заблуду. Погледајмо научника Б у табели 6.5. Овај научник је објавио исти број радова као и научник А, тј. укупно 12 радова. Укупан број цитата које су прикупили сви његови радови износи 10.011, али је дистрибуција цитата по радовима неуједначена. Због тога научник Б бележи само h-индекс од 1. Ипак, с правом се може поставити питање да ли овај ниски h-индекс реално приказује његов научни утицај. Други пример, где статистичка евалуација може бити неодговарајућа, представљен је у табели 6.6. Научник В објавио је огроман број публикација у часописима, тј. 1000, али има h-индекс 1, с обзиром на то да је свака публикација била цитирана само по једном.
Одређивање h-индекса може се такође извршити уз помоћ графичког приказа: број цитата посматра се у односу на број радова, тако што се радови поређају према броју цитата, почев од оног са највише цитата, види сл. 6.2. Укрштање симетрале са кривом линијом даје h, а укупан број цитата је област испод криве линије.
Овде треба напоменути да је Хиршова првобитна замисао била да h-индекс послужи приликом вредновања научника, али h-индекс је своју примену такође нашао у вредновању часописа, као што је то случај са Google Scholar Metrics или примерима наведеним у референцама [21-23].
Табела 6.5 h-индекс два научника
| Рад бр. | Бр. цитата | Бр. цитата |
|---|---|---|
| Научник А | Научник Б | |
| 1 | 25 | 10000 |
| 2 | 23 | 1 |
| 3 | 21 | 1 |
| 5 | 19 | 1 |
| 6 | 17 | 1 |
| 7 | 15 | 1 |
| 8 | 15 | 1 |
| 9 | 12 | 1 |
| 10 | 10 | 1 |
| 11 | 9 | 1 |
| 12 | 2 | 1 |
| 13 | – | – |
| 14 | – | – |
Табела 6.6 h-индекс научника
Сл. 6.2 Схематски приказ броја цитата (вертикална оса) спрам броја радова, са радовима побројаним на основу опадајуће цитираности (хоризонтална оса) адаптирано према [20].
На крају овог одељка набројмо неколико уoбичајених аргумената за и против h-индекса који се могу пронаћи у научној литератури, види табелу 6.7.
Табела 6.7 Најчешће навођене предности и недостаци h-индекса
Предности
- Комбинује продуктивност у погледу публиковања и цитираност.
- Базира се на подацима који се заиста односе на научника (не на статистички просек).
- Поуздан је, а његова тачност се не доводи у питање ако за неки од високо цитираних радова недостају информације о свим цитатима.
Критике
- Ставља нагласак на најцитираније радове, а не обраћа пажњу на радове са најмањим бројем цитата.
- Подложан утицају различитих пракси у вези са цитирањем у различитим дисциплинама.
- Фаворизује „старије“ научнике са дужом каријером..
- Различите дистрибуције цитата могу генерисати исти h-индекс, а дискутабилно је да ли оне одражавају исти учинак научника.
- Нижи h-индекс не значи нужно мању утицајност научника, види табелу 6.5..
Делимично адаптирано из [13, 24, 25]
6.4 Остали библиометријски показатељи
Постоји много различитих показатеља које предлаже литература (види нпр. [13, 26, 27]), али у описима који следе ограничићемо се на показатеље који се појављују у три библиографске и цитатне базе података, тј. Web of Knowledge, Scopus и Google Scholar.
Петогодишњи фактор утицајности
Петогодишњи фактор утицајности представља модификацију класичног фактора утицајности и он за израчунавање цитираности узима период од пет година. Овај фактор се израчунава тако што се преброје цитати радова објављених од прве до пете године остварени у шестој години и добијени број се подели бројем тзв. цитабилних радова у часопису публикованих од прве од пете године. У цитабилне радове убрајају се оригинални научни чланци и прегледни радови. Ова дефиниција се може изразити у форми једначине на следећи начин:
Поређење између класичног двогодишњег и петогодишњег фактора утицајности за часописе из области композитних материјала приказано је у табели 6.9. Може се уочити да је петогодишњи фактор утицајности часописа практично за све часописе виши, што говори у прилог тврдњи да се у неким дисциплинама током двогодишњег периода који се користи у израчунавању класичног фактора утицајности научни допринос часописа на основу цитираности не региструје на одговарајући начин.
Индекс непосредности
Индекс непосредности је просечан број цитата које је неки рад прикупио у години у којој је објављен. Овај индекс показује колико се брзо након објављивања чланци у неком часопису цитирају и може се приказати у форми једначине:
Полуживот цитата (Journal Cited Half-Life)
Полуживот цитата часописа представља просечну старост чланака цитираних у години посматраној у JCR. Пример је дат за 2011. годину у табели 6.8. Број цитата се сабира од 2011. према ранијим годинама, и када се достигне 50%, временски распон од 2011. до године тренутка када кумулативна цитираност достиже 50 % цитата јесте полуживот цитата часописа (Journal Cited Half-Life). У конкретном случају, полуживот цитата износи 5,0 година.
Eignenfactor®
„Рачунање вредности Eignenfactor® заснива се на броју цитата које су чланци објављени у часопису током последњих пет година сакупили у години посматраној у JCR. Он такође узима у обзир који су часописи допринели таквој цитираности, тако да ће часописи са великим бројем цитата утицати на мрежу истраживача више него слабије цитирани часописи. Уклањају се референце у чланку у којима се цитира други чланак из истог часописа, тако да самоцитираност часописа не утиче на вредност Eignenfactor®“ [28].
Утицајност чланка – Article Influence® Score
„Article Influence® Score представља просечан фактор утицаја чланака из неког часописа током првих пет година након његовог објављивања. Израчунава се тако што се вредност Eignenfactor® неког чланка подели бројем чланака у том часопису, нормираним у односу на укупан број чланака у свим публикацијама. Овај показатељ је, грубо гледано, аналоган петогодишњем фактору утицајности часописа, зато што представља количник утицаја часописа, мереног његовом цитираношћу, и доприноса часописа мереног бројем чланака у периоду од пет година. Просечна вредност овог показатеља је 1,00. Резултат који је већи од 1,00 показује да сваки чланак у часопису има натпросечан утицај. Резултат мањи од 1,00 показује да сваки чланак у часопису има исподпросечни утицај“ [29].
Сл. 6.8 Пример одређивања полуживота цитата
SCImago ранг часописа (SCImago Journal Rank)
SCImago ранг часописа (SJR), који је развио професор Феликс Моја-Анегон (Félix Moya-Anegón) [30], пондерише се престижом часописа и заснива се на четворогодишњим подацима. Научна област, квалитет и репутација часописа директно утичу на вредност цитата. Као у случају фактора утицајности, SJR (SCImago Journal Ranking) дели број цитата које је часопис прикупио бројем чланака објављених у часопису у одређеном временском периоду. Међутим, SJR додељује различиту тежину цитатима у зависности од „престижа“ и „значаја“ часописа у коме је посматрани часопис цитиран, при чему се искључују аутоцитати часописа [31]. Поред тога, треба истаћи да је SJR јавно доступан показатељ и да му се слободно може приступити путем веб адресе http://www.scimagojr.com/. Поређење између класичног фактора утицајности и SJR ранга приказано је у табели 6.9, где се може видети, бар када је реч о истим дисциплинама, да су добијени трендови слични.
Нормирана утицајност часописа по чланку (Source Normalized Impact per Paper – SNIP)
Нормирана утицајност часописа по чланку (Source Normalized Impact per Paper – SNIP), параметар који је развио професор Хенк Ф. Муд (Henk F. Moed) [32], јесте индикатор који мери контекстуални утицај, изражен бројем цитата, пондерисањем цитата у односу на укупан број цитата у одређеној научној области. Утицај једног цитата добија већу вредност у научним областима у којима је вероватноћа да ће рад бити цитиран мања. SNIP се дефинише као количник просечног броја цитата по чланку из часописа и цитатног потенцијала у припадајућој научној области. Он тежи директном поређењу часописа из различитих научних области. Показало се да цитатни потенцијал часописа варира не само између научних категорија или дисциплина, већ и између часописа унутар исте научне категорије. На пример, часописи из области основних истраживања показују већи цитатни потенцијал од оних у примењеним или клиничким областима, часописи који покривају теме које се тек појављују од часописа из класичних дисциплина или часописа општијег карактера. SNIP коригује такве разлике [32]. Треба истаћи да је SNIP јавно доступан показатељ ком се слободно може приступити путем веб-адресе http://www.journalindicators.com/. Поређење између класичног фактора утицајности и SNIP-а дато је, на пример, у [33].
i10-индекс (i10-Index)
Овај параметар је увео Google Scholar, јула 2011. године. Он представља број публикација са најмање 10 цитата.
6.5 Евалуација истраживања и научника
Евалуацију истраживачких тимова, наставног кадра и читавих универзитета или институција у данашње време спроводе многе националне агенције. Као типичне представнике за спровођење овог поступка могли бисмо да наведемо Изузетност за истраживање у Аустралији (Excellence in Research for Australia – ERA), којим руководи Аустралијски савет за истраживање (Australiаn Research Council – ARC); Оквир за изузетност у истраживању[3] (Research Excellence Framework – REF) којим руководе четири тела која финансирају високо образовање у Великој Британији[4]; и Евалуација истраживачких и развојних јединица (Avaliação de Unidades de I&D) којим руководи Фондација за науку и технологију (Fundação para а Ciência e a Tecnologia – FCT) у Португалу[5]. Као главни циљеви ових националних евалуација обично се наводе (видети рецимо [34-36]):
Основа за селективно финансирање истраживања засновано на процењеном учинку.
- Одговорност за јавно улагање у истраживање и доказ јавне користи.
- Обезбеђивање информације за клијенте: студенте, индустрију, пословни сектор и владу.
- Идентификовање области од изузетног значаја увидом у пуни спектар научног учинка.
- Идентификовање истраживачке области у настајању и области којима је неопходна подршка.
- Пружање информације о резултатима поређења научног учинка у односу на референтне параметре на националном и међународном нивоу.
Табела 6.9. Часописи о композитним материјалима сортирани према њиховом фактору утицајности за 2011.
| Часопис | Издавач | Фактор утицајности |
|---|---|---|
| Composites Science and Technology | Elsevier | 2,863 3,556 2,940 |
| Composites Part A | Elsevier | 2.349 2,349 2,736 |
| Composite Structures | Elsevier | 2,036 2,033 3,148 |
| Composites Part B | Elsevier | 1,773 2,235 2,109 |
| Cement & Concrete Composites | Elsevier | 1,527 2,088 3,716 |
| Polymer Engineering and Science | Wiley | 1,296 1,557 1,100 |
| Journal of Composites for Construction | ASCE | 1,172 1,518 3,377 |
| Polymer Composites | Wiley | 0,998 1,237 0,770 |
| Journal of Composite Materials | Sage | 0,971 1,177 1,087 |
| J. of Thermoplastic Composite Materials | Sage | 0,865 1,034 0,967 |
| J. of Reinforced Plastics and Composites | Sage | 0,823 0,941 0,886 |
| Applied Composite Materials | Springer | 0,723 1,008 1,029 |
| Composite Interfaces | Brill | 0,573 0,681 0,292 |
| Mechanics of Composite Materials | Springer | 0,421 0,553 0,548 |
| Advanced Composite Materials | Brill | 0,358 0,480 0,442 |
Приликом вредновања истраживачких тимова, универзитета или научних установа најчешће се користе следеће методе [35]:
- стручна рецензија
- библиометријски приступ (евалуациона библиометрија)
- стручна рецензија која у обзир узима и библиометријске показатеље
Осврнимо се сада на сваки од ових приступа. Најтрадиционалнији вид методологије оцењивања јесте стручна рецензија, где се истраживачки учинак вреднује од стране изабраног тима стручњака. У складу са овим приступом, тим или институција мора да обезбеди унапред одређен број „репрезентативних“ научних саопштења и/или публикација, и при томе се вреднује само научни садржај датих података. Библиометријски приступ анализира библиометријске показатеље попут цитираности, обима објављених радова (тј. броја објављених научних радова у часописима, књига или радова са конференција) и фактора утицајности. Овај приступ углавном се примењује у природним наукама[6] и формалним дисциплинама[7], јер се резултати истраживања из ових области претежно објављују у међународним часописима и зборницима радова са конференција. Библиометријски приступ се ређе примењује у уметности[8], хуманистичким и већини друштвених наука, где књиге представљају публикације од највећег значаја. Стручна рецензија која у обзир узима и библиометријске показатеље представља мешавину класичне стручне рецензије и вредновања у складу са библиометријским показатељима. У складу са овим приступом анализирају се квалитет одабраних пројектних извештаја и/или научних публикација као и квантитативни показатељи у вези са публикацијама.
Осврнимо се сада детаљније на примену ових методологија у вредновању институција. Стручну рецензију није могуће применити на целокупан научни учинак институције из практичних разлога. Зато институција мора да обезбеди репрезентативне извештаје или радове из задатог временског периода. Тај процес селекције, баш као и људско расуђивање, узрок су неких уобичајених предности и мана овог приступа приказаних у табели 6.10. Треба истаћи да нас бројни приговори који би оваквом приступу могли бити упућени могу донекле обманути јер има врло снажних аргумената у прилог овом приступу.
Библиометријски приступ квантитативно вреднује следеће индикаторе [13]:
Апсолутне бројке:
- радове у индексираним часописима (Web of Science, Scopus);
- укупан број цитата;
- радове у врхунским часописима (нпр. одређених на основу рангирања, или оних чији фактор утицајности прелази одређени праг);
- број коаутора (→ сарадња);
- h-индекс (научна продукција);
- кумулативни фактор утицајности.
Релативне бројке:
- просечан број радова по години;
- број цитата по раду у односу на број цитата по раду у одређеној стручној области за неки период;
- број цитата по раду спрам минималне очекиване[9] цитираности;
- однос цитираних и нецитираних радова, упоређен са просеком у датој стручној области;
- рангирање унутар стручне области и референтне групе стручњака/колега на основу радова, цитираности, или броја цитата по раду.
Када се сагледају аргументи за и против стручне рецензије и библиометријских приступа, као што је то приказано у табелама 6.10 и 6.11, јасно је да се стручна рецензија која узима у обзир и библиометријске показатеље види као будућност евалуације институција и организација. Одговарајуће комбинације квалитативних (стручна рецензија) и квантитативних (библиометријских) приступа дефинитивно могу да буду компензација за многе наведене критике. Као што је Mуд [25] предложио, исход библиометријске анализе може се користити у дефинисању приступа стручне рецензије, или се рангирање на основу библиометријских индикатора може искористити да оправда оцену стручне рецензије (транспарентност процеса евалуације).
Овде треба поменути да се горе приказане методе оцењивања истраживања за институције могу на исти начин применити и у евалуацији појединаца. Међутим, треба бити обазрив приликом израчунавања одређених статистичких средњих вредности за појединце. Погледајмо једноставан пример који илуструје зашто нема смисла израчунавати фактор утицајности за појединачне чланке или научнике. Табела 6.12 приказује хипотетичку евалуацију у оквиру студијског програма, где су оцене од А+ до C- произвољно подељене. Као статистичка средња вредност за 10 оцена добијено је B. Да ли би сада било у реду да за студенте који су добили А или C кажемо да спадају у групу са просечно оценом B?
Табела 6.10 Најчешће навођене предности и критике на рачун стручне рецензије за институције
Предности
- Заиста узима у обзир истраживање и његов квалитет.
Kритике
- Тешко је наћи одговарајуће научнике (специјализована природа истраживања) који би прихватили обавезу (превише обавеза).
- Ограничавање на подскуп целокупне научне продукције доводи у питање општу валидност.
- Проблем и неефикасност приликом избора подскупа целокупне научне продукције: колико публикација по научнику, колико година узети у обзир, колико процената укупне научне продукције, шта пријавити?
- Непотпуна објективност (коректна процена): позитивна (склоност према већ успешним истраживачима; сличним приступима и идејама; умрежавање по „кумовском“ принципу) и негативна (истраживања високог ризика; конкуренција; непознати научници).
- Сукоб интереса.
- Недостатак опште доследности (тешко је радити поређења на глобалном нивоу): критеријуми се разликују од комисије до комисије.
- Подразумева врло високе директне трошкове и веома дуго траје.
- Не узима се у обзир продуктивност (квантитет научне продукције).
Делимично адаптирано из [35]
Табела 6.11 Најчешће навођене предности и критике на рачун библиометријског приступа у вредновању институција
Предности
- Омогућава евалуацију целокупне научне продукције (поузданост), а не само подскупа резултата, као у случају стручне рецензије.
- Избегавају се аномалије до којих може довести унутрашња селекција радова из часописа и извештаја истраживања (валидност).
- Допушта институцијама да расподеле средства на ефикасан начин приликом евалуације појединачних научника (функционалност).
- Исплатив је и не захтева много времена.
- Допушта да се у обзир узме и квантитет.
- Бројање може бити аутоматизовано до извесне границе.
- Евалуација је неутрална и дозвољава компаративно (на националном и међународном нивоу) вредновање.
Критикe
- Библиометријски индикатори (нпр. цитираност) могу се применити само код часописа и зборника са конференција, а не нпр. код патената.
- Нису сви часописи (зборници са конференција, књиге) индексирани у WoS-у или Scopus-у.
- На библиометријске индикаторе се може утицати извесним видовима манипулације.
- Цитати нису одраз квалитета. Они показују употребу, рецепцију, употребљивост, утицај и др. [13].
- Проблем цитираности: негативни цитати, претерано цитирање прегледних чланака, самоцитирање.
- Цитатна анализа је мање поуздан индикатор квалитета за радове новијег датума („накнадно признање“ [37]).
Делимично адаптирано из [35]
Табела 6.12 Исход евалуације разреда
| Ученик бр. | Оцена |
|---|---|
| 1 | А |
| 2 | B |
| 3 | A+ |
| 4 | C |
| 5 | C- |
| 6 | A- |
| 7 | B+ |
| 8 | C+ |
| 9 | C+ |
| 10 | B+ |
| 0 | B |
6.6. Рангирање универзитета на међународном нивоу
У данашње време постоје многа рангирања универзитета, било да је реч о националном или међународном нивоу. Три важна међународна система рангирања универзитета врше Higher Times Education (УК), QS Quacquarelli Symonds (УК) и Shanghai Ranking Consultancy[11] (Н. Р. Кина), види табелу 6.13.
Табела 6.13 Најважнији системи рангирања универзитета на међународном нивоу
| Назив | Евалуација |
|---|---|
| Times Higher Education World University Ranking http://www.timeshighereducation.co.uk/world-university-rankings/ | Првих 200 (+200) |
| QS World University Rankings http://www.topuniversities.com/university-rankings/world-university-rankings/ | Првих 400 (+300) |
| The Shanghai Jiao Tong Academic Ranking http://www.shanghairanking.com/ARWU2011.html | Првих 500 |
Сврха и намера ових међународних рангирања донекле се разликује у односу на национална рангирања и требало би да у складу са институцијама које их спроводе служе у следеће сврхе:
- Смернице за студенте основних и постдипломских студија приликом избора студијских програма за одређени степен (такође, пружање информација где студирати у иностранству).
- Смернице за припаднике академске заједнице приликом доношења одлука у вези са каријером.
- Обезбеђивање информација за истраживачке тимове ради проналажења нових партнера за сарадњу.
- Обезбеђивање информација које универзитетски менаџери користе за бенчмаркинг учинка и дефинисање стратешких приоритета.
- Помоћно средство које владе користе у одређивању националне политике (олакшавање реформи и покретање нових иницијатива).
Овде треба споменути да је за многе институције место на једној од ових ранг-листа једноставно питање престижа и/или међународног маркетинга. Са друге стране, нарочито у срединама у којима пословни фактор није укључен у образовање због одсуства школарина (нпр. у Францкуској или Немачкој), неке институције не придају много значаја овим међународним рангирањима, а неке чак једноставно одбијају да учествују у овој причи, тј. оне не дају никакве податке о својим институцијама.
Осврнимо се врло кратко у следећем сегменту на критеријуме које примењују ове три институције у састављању својих ранг-листа, види табелу 6.14. Свако од ова три рангирања покушава да изврши евалуацију квалитета наставе и истраживања, библиометријских фактора и репутације, дајући поменутим факторима различиту тежину и користећи тек донекле различите називе. Неки од критеријума су из категорије „пребројавања“, код којих се не придаје толико значаја фактору људског просуђивања, док друге критеријуме који се односе на „репутацију“ није једноставно вредновати. Уобичајени приступ приликом израде ових ранг-листа подразумева слање упитника[12] огромном броју „експерата“, и квалитетну повратну информацију, која се заснива на њиховом мишљењу и искуству. Наравно да је важно како се ови „експерти“ бирају и да ли ће се добити довољно квалитетних мишљења да би резултати били статистички релевантни. Фил Бати (Phil Baty), који уређује Times Higher Education World University Rankings, признао је да се у прошлости није водило рачуна о статистичкој релевантности и да објављени резултати можда и нису сасвим употребљиви [38]. Такође је интересантно напоменути да се сва рангирања у случају библиометријских индикатора ослањају на цитираност, без обзира на то да ли је реч о апсолутним/нормираним вредностима (Higher Times и QS), или на праћење научника са великим бројем цитата[13] (Shanghai Jiao Tong). Овде је вредна спомена и чињеница да је у случају Shanghai Jiao Tong Academic Ranking академског рангирања укупно 70% резултата добијено на основу изузетно захтевних критеријума (Нобелове награде и одликовања из стручне области (особље и алумни), истраживачи са великим бројем цитата и радови у часописима Nature и Science). Ово дефинитивно представља изузетан изазов за нове и институције у развоју, а у неким случајевима то и није могуће постићи.
Табела 6.15 показује примере рангирања неких институција из Сједињених Америчких Држава, Аустралије, Сингапура и Немачке. Поређење показује да бар институције у различитим системима рангирања имају сличан ранг, али не треба заборавити да таква рангирања одражавају само извесне критеријуме, и да она представљају неку врсту статистичке евалуације, коју спроводе пословне компаније.
Табела 6.14 Методологија евалуације за главна међународна рангирања универзитета
| Рангирање | Показатељи учинка | Тежина (%) |
|---|---|---|
| Times | Подучавање – наставно окружење | 30 |
| Higher | Истраживање – обим, приход и репутација | 30 |
| Education | Цитираност – утицај на истраживање (час. у WoS-у) | 30 |
| Међународна перспектива – особље, студенти, истраживање | 7,5 | |
| Приход од индустрије – иновације | 2,5 | |
| QS | Академска репутација (глобално испитивање/анкета) | 40 |
| Цитираност наставног кадра (час. у Scopus-у) | 20 | |
| Однос студента и наставног кадра | 20 | |
| Репутација послодавца (глобално испитивање/анкета) | 10 | |
| Удео студената из иностранства | 5 | |
| Удео наставног кадра из иностранства | 5 | |
| Shanghai Jiao Tong | Квалитет наставног кадра, кадар са Нобеловим наградама и одликовањима из стручне области | 20 |
| Научна продукција истраживача са високом цитираношћу | 20 | |
| Радови у часописима Nature и Science | 20 | |
| Радови у SCIE и SSCI | 20 | |
| Квалитет образовања алумни са Нобеловим наградама и одликовањима из стручне области |
||
| Учинак по глави становника | 10 | |
| Академски учинак по глави становника | 10 |
Набројани критеријуми су базирани на рангирањима из 2012.
Табела 6.15 Одабране институције и њихово место у међународном рангирању 2012.
| Институција | Ранг | ||
| HigherTimes | QS | Shanghai | |
| Институт за технологију у Калифорнији (Caltech) | 1 | 12 | 6 |
| Калифорнији (Caltech) | |||
| Универзитет у Харварду | 2 | 2 | 1 |
| Универзитет у Станфорду | 2 | 11 | 2 |
| Институт за технологију у Масачусетсу (MIT) | 7 | 3 | 3 |
| Универзитет у Мелбурну | 37 | 21 | 60 |
| Универзитет у Сиднеју | 58 | 38 | 96 |
| Универзитет Монаш | 117 | 60 | 151-200 |
| Универзитет у Њукаслу | 276-300 | 292 | 301-400 |
| Национални универзитет у Сингапуру | 40 | 28 | 102-150 |
| Технолошки универзитет у Нанјангу | 169 | 58 | 201-400 |
| Технички универзитет у Минхену | 88 | 54 | 47 |
| Универзитет у Ахену | 168 | 140 | 201-300 |
| Универзитет у Штутгарту | – | 209 | 201-300 |
| Технички универзитет у Брауншвајгу | – | 451-500 | 401-500 |
Литература
1. DeBellis N (2009) Bibliometrics and citation analysis: from the science citation index to cybermetrics. Scarecrow Press, Lanham
2. Pritchard A (1969) Statistical bibliography or bibliometrics? (Documentation notes). J Doc 25:348–349
3. Bibliometrics: a brief introduction (2012). http://lisstudycircle.blogspot.com/2010/ 10/bibliometrics-brief-introduction.html. (Приступљено 30. маја 2012)
4. Lock SP (1989) “Journalology”: Are the quotes needed? Conf Biol Eds Views 12:57–59
5. Nalimov VV, Mulchenko ZM (1969) Naukometriya. IzuchenieRazvitiyaNauki kak Informatsionnogo Protsessa (Scientometrics. Study of the development of science as an information process), Nauka, Moscow, (енглески превод: 1971. Washington, D.C.: Foreign Technology Division. U.S. Air Force Systems Command, Wright Patterson AFB, Ohio (NTIS, Report No. AD735- 634)
6. Nacke O (1979) Informetrie: Ein neuer Name für eine neue Disziplin (Informetrics. A new name for a new discipline). Nachrichten für Dokumentation 30:212–226
7. Tague-Sutcliffe J (1992) An introduction to informetrics. Inf Process Manag 28:1–3
8. Almind TC, Ingwersen P (1997) Informetric analyses on the world wide web: methodological approaches to ‘webometrics’. J Doc 53:404–426
9. Bossy MJ (1995) The last of the litter: “Netometrics”. In: Noyer J-M (ed) Les sciences de l’information: bibliométrie, scientométrie, infométrie. Presses Universitaires de Rennes, Rennes
10. Björneborn L, Ingwersen P (2004) Toward a basic framework for webometrics. J Am Soc Inf Sci Technol 55:1216–1227
11. Garfield E, Sher IH (1963) New factors in the evaluation of scientific literature through citation indexing. Am Doc 14:195–201
12. Gross PLK, Gross EM (1927) College libraries and chemical education. Science 66: 385–389
13. Pendlebury DA (2009) The use and misuse of journal metrics and other citation indicators. Arch Immunol Ther Exp 57:1–11
14. Bradshaw J, Witney M, Come S (1995) Basic internet tools. Open Learning Agency, Burnaby
15. NN (2005) Not-so-deep impact. Nature 435:1003
16. Monastersky R (2005) The number that’s devouring science. Chron High Educ 52:A. 12–A.17
17. Garfield E (1996) How can impact factors be improved? Br Med J 313:411–413
18. Garfield E (1999) Journal impact factor: a brief review. Can Med Assoc J 161:979–980
19. Garfield E (2006) The history and meaning of the journal impact factor. J Am Med Assoc 295:90–93
20. Hirsch JE (2005) An index to quantify an individual’s scientific research output. Proc Natl Acad Sci USA 102:16569–16572
21. Braun T, Glänzel W, Schubert A (2006) A Hirsch-type index for journals. Scientometrics 69:169–173
22. Schubert A, Glänzel W (2007) A systematic analysis of Hirsch-type indices for journals. J Informetrics 1:179–184
23. Olden JD (2007) How do ecological journals stack-up? Ranking of scientific quality according to the h-index no access. Ecosience 14:370–376
24. Jasco P (2010) Pragmatic issues in calculating and comparing the quantity and quality of research through rating and ranking of researchers based on peer reviews and bibliometric indicators from Web of Science, Scopus and Google Scholar. Online Inf Rev 34:972–982
25. Moed HF (2009) New developments in the use of citation analysis in research evaluation. Arch Immunol Ther Exp 57:13–17
26. Glänzel W, Moed HF (2002) Journal impact measures in bibliometric research. Scientometrics 53:171–193
Web of Science, and Google Scholar: strengths and weaknesses. FASEB J 22:338–342
27. Li J, Burnham JF, Lemley T, Britton RM (2010) Citation analysis comparison of Web of ScienceR, ScopusTM, SciFinderR, and Google Scholar. J Electron Resour Med Libr 7:196–217
28. Journal Citation Reports—Eigenfactor score (2012). http://0-admin-apps.webofknowledge.com.library.newcastle.edu.au/JCR/help/heigenfact.htm (Приступљено 14. авгу ста 2012)
29. Journal Citation Reports—Article influence score (2012). http://0-admin-apps.webofknowledge.com.library.newcastle.edu.au/JCR/help/heigenfact.htm. (Приступљено 14. августа 2012)
30. González-Pereira B, Guerrero-Bote VP, Moya-Anegón F (2010) A new approach to the metric of journals’ scientific prestige: the SJR indicator. J Informetrics 4:379–391
31. Falagas ME, Kouranos VD, Arencibia-Jorge R, Karageorgopoulos DE (2008) Comparison of SCImago journal rank indicator with journal impact factor. FASEB J 22:2623–2628
32.Moed HF (2010) Measuring contextual citation impact of scientific journals. J Informetrics 4:265–277
33. Leydesdorff L, Opthof T (2010) Scopus’s Source Normalized Impact per Paper (SNIP) versus a Journal Impact Factor based on fractional counting of citations. J Am Soc Inf Sci Technol 61:2365–2369
34. Sheil M (2008) Elements of a national research and innovative framework: the ERA initiative. AFR higher education conference, 01 March 2008. http://www.arc.gov. au/pdf/AFRA_HigherEducationSummit.pdf. (Приступљено 31. августа 2012)
35. Abramo G, D’Angelo CA (2011) Evaluating research: from informed peer review to bibliometrics. Scientometrics 87:499–514
36. Research Excellence Framework (2012).http://www.ref.ac.uk/. (Приступљено 31. авгу ста 2012) 37. Garfield E (1980) Premature discovery or delayed recognition—Why? Curr Content 21:5–12 38. Baty P (2010) Back to square one on the rankings front. The Australian, February 17. http://www.theaustralian.com.au/higher-education/opinion/back-to-square-oneonthe-rankings-front/story-e6frgcko-1225831101658. (Приступљено 12. септембра 2012)
Напомене
[1] Основна средства интернета су: телнет (даљинска веза са осталим системима), електронска пошта (електронски систем слања и примања порука), FTP – протокол за пренос датотека (за смештање и пренос датотека на удаљене локације и преузимање са њих), gopher (приступ Интернету посредством менија), www (world wide web) [14].
[2] Више о евалуацији научних радника и истраживања може се наћи у одељку 6.5.
[3] Ова евалуација ће заменити Поступак процене истраживања (Research Assessment Exercise – RAE) од 2014.
[4] Савет за финансирање високог образовања за Енглеску (Higher Education Funding Council for England – HEFCE), Шкотски савет за финансирање (Scottish Funding Council – SFC), Савет за финансијску помоћ високог образовања за Велс (Higher Education Funding Council for Wales – HEFCW) и Одељење за запошљавање и учење Северне Ирске (Department for Employment and Learning – DEL).
[5] Овде се мора напоменути да португалска фондација именује међународни и екстерни панел за евалуацију. Ова стратегија, која има за циљ спречавање свих врста националног „пријатељског умрежавања“, требало би да буде високо призната у научној заједници.
[6] Типичне дисциплине које припадају природним наукама јесу биологија, хемија, физика, наука о материјалима, геонауке, наука о атмосфери, океанографија и астрономија.
[7] Типичне дисциплине које припадају формалним наукама јесу математика, логика, статистика, теорија информација и теоријска информатика. Формалне науке се често супротстављају емпиријским наукама, односно природним и друштвеним наукама.
[8] Уметности се могу класификовати као извођачке уметности (плес, музика, позориште), визуелне уметности (цртање, архитектура, сликање, концептуална уметност и видео-игре) и књижевност.
[9] Минимална очекивана цитираност се одређује за часопис, одређену годину и одређени тип научног чланка [13].
[10] Да би рецензија била изводљива у целокупној продукцији морају се идентификовати репрезентативни резултати, а онда се рецензирају само ти одабрани резултати. Ако се не идентификује репрезентативан подскуп, резултати рецензије не морају бити поуздани (прим. М. Ш.).
[11] Shanghai Jiao Tong Academic Ranking такође је познат под називом Академско рангирање светских универзитета (Academic Ranking of World Universities – ARWU).
[12] Овде треба напоменути да ово није класичан процес стручног рецензирања, који је приказан у Одељку 6.5, где је основа мишљење неколицине експерата који врше евалуацију одабране публикације или извештаја о истраживању.
[13] Истраживаче са великим бројем цитата идентификовао је Thomson Reuters (Томсoн Ројтерс) између 2000. и 2008. на основу анализе радова који се налазе у бази Web of Science од 1981. до 2008. Почевши од децембра 2011, ови подаци се сада могу наћи и у сервисима ResearcherID (ИД истраживача) и Essential Science Indicators® (Основни научни индикатори).
