По-рано тази година френският лекар и микробиолог Дидие Раулт (Didier Raoult) развълнува медиите с противоречивата си препоръка на хидроксихлорохин за лечение на COVID-19.
Изследователят неведнъж посочва нарастващия си списък с публикации и високия брой цитати като доказателство за научния му принос, обобщени в неговия "h-индекс".
Противоречието около последните му проучвания е повод за изследване на слабостите на h-индекса, показател, който има за цел да определи продуктивността на един изследователя и значимостта на публикациите му, използван от много организации за оценка на учените за грантове или финансиране на изследователските им проекти.
Изобретен през 2005 г. от американския физик Джон Хирш, Hirsch-индексът или h-индексът, е основна справка за много изследователи в академичния свят. Той е особено популярен и широко използван в биомедицинските науки, област, в която огромният брой публикации прави всяка сериозна качествена оценка на работата на изследователите почти невъзможна. Този предполагаем показател за качество се е превърнал в огледало, пред което някои учени се възхищават на себе си или се подиграват на жалкия h-индекс на своите колеги и съперници.
Въпреки че експертите по библиометрия - клон на библиотечните и информационните науки, който използва статистически методи за анализ на публикациите - отдавна посочват съмнителната същност на този композитен показател, повечето изследователи не винаги разбират, че неговите свойства го правят недостатъчно валиден индекс за сериозна и етична оценка на качеството или научната значимост на публикациите.
Привържениците на h-индекса допускат елементарна логическа грешка. Те твърдят, че тъй като носителите на Нобелова награда обикновено имат висок h-индекс, мярката е валиден показател за индивидуалното качество на изследователите. Ако обаче високият h-индекс наистина може да бъде свързан с носителите на Нобелова награда, това по никакъв начин не доказва, че ниският h-индекс е задължително свързан с лоша изследователска работа.
Всъщност привидно нисък h-индекс може да крие висока научна значимост.
Ограничения на h-индекса
Определен от N брой статии от автор, които са получили най-малко N цитата, h-индексът е ограничен от общия брой публикувани статии. Например, ако един човек има 20 статии, всяка от които е цитирана 100 пъти, неговият h-индекс е 20 - точно колкото на човек, който също има 20 статии, но всяка е цитирана само 20 пъти. Но никой сериозен изследовател не би казал, че двамата имат равни постижения, защото техният h-индекс е един и същ.
Най-ироничното в историята на h-индекса е, че неговият изобретател е искал да противодейства на твърдението, че броят на публикуваните документи представя влиянието на изследователя. И затова той включва броя цитати на получените статии.
Но се оказва, че h-индексът на автора е силно свързан (до около 0,9) с общия му брой публикации. С други думи, именно броят на публикациите задвижва индекса повече от броя на цитиранията, показател, който остава най-добрата мярка за качеството на научните публикации.
Всичко това е добре известно на експертите по библиометрия, но може би по-малко на изследователите, мениджърите и журналистите, които се впечатлават от учени, които парадират със своя h-индекс.
Раулт срещу Айнщайн
В неотдавнашно разследване на научноизследователската дейност на Раулт от френския вестник Médiapart, изследовател, който е член на комисията за оценка на лабораторията на Раулт, заяви: „Това, което ме порази, бе манията на Дидие Раулт по неговите публикации. Няколко минути преди да започне оценяването на неговата лаборатория, първото нещо, което той показа на компютъра си, е неговият h-индекс".
Раулт също бе казал в списание Le Point през 2015 г., че „е необходимо да се преброят броя и импакта на публикациите на изследователите, за да се оцени качеството на тяхната работа“.
Затова нека разгледаме h-индекса на Раулт и да видим как се сравнява, да речем, с този на изследовател, който се смята за най-големия учен от миналия век: Алберт Айнщайн.
В базата данни на Web of Science Раулт има 2 053 статии, публикувани между 1979 и 2018 г., като е получил общо 72 847 цитата. Неговият h-индекс, изчислен от тези две числа, е 120. Знаем обаче, че стойността на този индекс може да бъде изкуствено завишена чрез автоцитати на автора - когато авторът цитира собствените си предишни статии. Базата данни показва, че сред общия брой цитати, приписани на статиите в съавторство с Раулт, 18 145 са от статии, на които той е съавтор. Тези самоцитати възлизат на общо 25 %. Ако се извадят, h-индексът на Раулт пада с 13 % до стойност 104.
Сега, нека да разгледаме случая с Айнщайн, който има 147 статии, изброени в базата данни на Web of Science между 1901 и 1955 г., годината на смъртта му. За своите 147 статии Айнщайн е получил 1564 цитата през живота си. От този общ брой цитати само 27 или оскъдните 1,7% са самоцитати. Сега, ако добавим цитатите, направени към статиите му след смъртта му, Айнщайн е получил общо 28 404 цитирания между 1901 и 2019 г., което му печели h-индекс от 56.
Ако трябва да разчитаме на така нареченото "обективно" измерване, осигурено от h-индекса, тогава сме принудени да заключим, че работата на Раулт има два пъти по-голямо научно въздействие от Айнщайн, бащата на фотона, Специалната и Общата теория на относителността, кондензацията на Бозе-Айнщайн и феномена на стимулираната емисия, на чийто принцип са изградени лазерите.
Или може би е по-просто (и по-добре) да се заключи, както вече се предполага, че този показател е фалшив?
Трябва да се отбележи значителната разлика в общия брой на цитатите, получени от всеки един от тези изследователи по време на кариерата им. Те очевидно са били активни в много различни периоди, а размерът на научните общности и следователно броят на потенциалните цитиращи автори значително нарасна през последния половин век.
Разликите в клоновете на науката и моделите на сътрудничество също трябва да бъдат взети под внимание. Например колективите, занимаващи се с теоретична физика са много по-малобройни, отколкото тези в микробиологията, а броят на съавторите на една статия е много по-малък, което се отразява на измерването на продуктивността и импакта на изследователите.
И накрая, важно е да се отбележи, че твърдението: „h-индексът на лице P е X“ няма никакво значение, тъй като стойността на индекса зависи от съдържанието на базата данни, използвана за неговото изчисляване. Би трябвало по-скоро да се каже: "h-индексът на човек P е X, в база данни Z". Следователно според базата данни на Web of Science, която съдържа само списания, считани за сериозни и доста популярни в научната област, h-индексът на Раулт е 120. От друга страна, в безплатната и следователно лесно достъпна база данни на Google Scholar, неговият h-индекс - този, който най-често се повтаря в медиите - достига до 179.
Индекс фетишизъм
Много научни общности почитат h-индекса и този фетишизъм може да има вредни последици за научните изследвания. Франция например използва Système d'interrogation, de gestion et d'analyse des public scientifiques, за да предостави изследователски грантове на своите лаборатории за биомедицинска наука. Тя се основава на броя на статиите, които публикува в така наречените списания с висок импакт фактор. Както съобщава вестник Le Parisien, неистовият темп на публикациите на Раулт позволява на неговата подопечна институция да печели между 3 600 и 14 400 евро годишно за всяка статия, публикувана от неговия екип.
Здравият разум трябва да ни учи да внимаваме с опростените и едномерните показатели. Забавянето на умопомрачителните темпове на издаване на научни публикации със сигурност би довело до това, че изследователите да загубят интерес към h-индекса. По-важното е, че изоставянето му ще допринесе за създаването на научни трудове, които ще бъдат по-малко на брой, но със сигурност по-надежни.
Източник:
Тази статия е преведена от The Conversation под лиценз Creative Commons. Прочетете оригиналната статия.
Автор: Stephen Harris
Коментари
Моля, регистрирайте се от TУК!
Ако вече имате регистрация, натиснете ТУК!
Няма коментари към тази новина !
Последни коментари