DOI: 10.21045/2071-5021-2018-62-4-11

Немцов А.В., Кузнецова-Морева Е.А.
Федеральный медицинский исследовательский центр психиатрии и наркологии, Московский научно-исследовательский институт психиатрии - филиал ФМИЦПН им. В.П. Сербского Минздрава России, Москва

PUBLCATION ACTIVITY OF SCIENTIFIC MEDICAL ORGANIZATIONS OF THE MINISTRY OF HEALTH OF THE RUSSIAN FEDETRATION
Nemtsov A.V., Kuznetsova-Moreva E.A.
V.P. Serbsky National Medical Research Centre for Psychiatry and Narcology, Ministry of Health of the Russian Federation, Moscow

Контактная информация: Немцов Александр Викентьевич, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Contacts: Nemtsov Alexander, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Information about author:
Nemtsov A.V., http://orcid.org/0000-0003-1150-5146
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Финансирование. Исследование не имело спонсорской поддержки.
Conflict of interests. The author declares no conflict of interest.
Acknowledgments. The study had no sponsorship.

Библиометрические показатели – это только инструмент,
а любой инструмент, от кувалды до атомной энергии,
должен использоваться по назначению
Юджин Гарфилд

Bibliometric measures are only a tool and like any tool, from a hammer to atomic power should be used for the purpose intended
Eugene Garfield

Резюме

Проведено наукометрическое исследование 51 научно-исследовательского института, подчиненных Министерству здравоохранения РФ. Изучены суммарно два показателя: общее количество публикаций и общее число цитирований. В основу исследования положено 860 тысяч цитирований, 200 тысяч публикаций и 27 тысяч авторов, зафиксированных в Российском индексе научного цитирования. Показано, что количество публикаций и их цитирования пропорционально количеству авторов (сотрудников), при том, что институты по количеству сотрудников различаются 150-кратно. Чтобы нивелировать это обстоятельство, дальнейшая работа проводилась на основе стандартизации абсолютного числа публикаций и цитирования количеством авторов (относительные показатели). Стандартизация привела к перестройке рейтингов институтов по публикациям и цитированию. Относительные показатели публикаций не зависят от абсолютного количества авторов, публикаций и цитирования. Эти показатели выравнивают институты по продуктивности авторов. Для институтов Министерства здравоохранения РФ характерно сравнительно низкое цитирование: 93% всех публикаций процитированы не более 10 раз. В том числе 112 тысяч публикаций или 53% от общего количества публикаций не были процитированы ни разу (нулевое цитирование). Значительное количество цитирований вносят публикации, процитированные более 50 раз: на 1,3% этих публикаций, приходится 41,2% цитирований. В институтах с небольшим количеством авторов (менее 400) относительный показатель цитирования существенно ниже, чем в институтах с большим количеством сотрудников.

Ключевые слова: наукометрия; институты; Минздрав РФ; публикации; цитирование; авторы

Abstract

A scientometric research of 51 scientific research institutes subordinate to the Ministry of Health of the Russian Federation has been conducted. The authors studied two indicators cumulatively: the number of publications and citations. The research was based on 860 thousand citations, 200 thousand publications and 27 thousand authors, recorded in the Russian index of scientific citation. The research showed that the number of publications and their citations is dependable upon the number of authors (employees), while the institutes differ in the number of employees 150-fold.

In order to neutralize this circumstance, further work was carried out on the basis of standardization of the absolute number of publications and citations by the number of authors (relative indices). Standardization resulted in reorganized ratings of institutes by publications and citations. The standardized indices of publications do not depend on the absolute number of authors, publications and citations. These indicators level the institutes by the authors' productivity. The institutes of the Ministry of Health of the Russian Federation are characterized by a relatively low citation: 93% of all publications are cited no more than 10 times, including 112 thousand publications or 53% of the total number of publications have not been cited at all (zero citation). The number of citations is mainly made up by publications cited over 50 times: 1.3% of such publications account for 41.2% of citations. In institutes with a small number of employees (less than 400), the relative citation rate is significantly lower compared to institutes with a large number of employees.

Keywords: scientometrics; research institutes; Ministry of Health of the Russian Federation; publications; citation; authors.

Введение

В результате индустриальной революции наука перестала быть только описательной и превратилась в мощную производительную силу. Ее продукт, трансформированный промышленностью, в значительной степени изменил форму существования людей и повлиял на окружающую среду, иногда, правда, опасным и даже драматическим образом. Помимо таких внешних обстоятельств, потребовавших контроля, у науки, как у сложного и многомерного явления, существуют внутренние задачи по организации, управлению и прогнозу собственной деятельности. Эти задачи привели к формированию науки о науке – науковедению, и ее составляющей – наукометрии, одна из задач которой количественная характеристика эффективности науки. Как показала многолетняя практика, лучшим способом такой оценки, как науки в целом, так и научных учреждений и их сотрудников, стал метод учета цитирования. Такое значение цитирования определяется тем, что главный продукт науки – публикация, которая позволяет донести до научного сообщества и практических учреждений результаты научной деятельности. Цитирование публикации позволяет учесть, во-первых, ее вхождение в научный оборот, и, во-вторых, широту и глубину этого вхождения. На основе изучения цитирования родилось много производных оценок, идет создание новых для более полного учета и оценки научной активности, и эта линия успешно развивается, преодолевая первоначальные трудности и ограничения.

Метод цитирования для оценки продуктивности науки обязан утверждением Юджину Гарфилду (Eugene Garfield, 1925-2017), который организовал Институт научной информации (США, 1961, Science Citation Index, ныне WEB of Science). Вслед за этим в мире возникло несколько мощных научных центров по изучению цитирования и других наукометрических показателей. В 2005 г. такой центр создан в России — Российский индекс научного цитирования (РИНЦ), который предоставляет большие возможности для изучения научной активности, научных сотрудников, журналов и научных учреждений в целом.

Оценка цитирования остается главным методом наукометрии, однако этот метод, как и всякий метод, имеет ограничения, что заставляет искать новые подходы в этом направлении. Признавая целесообразность наукометрического метода, Статистический институт ЮНЕСКО в качестве измерения научной деятельности предложил следующие показатели: общее количество публикаций, их цитируемость, количество полученных патентов.

В последнее время в области медицины и здравоохранения все чаще стали обращаться к широкому набору наукометрических показателей, определяя публикационную активность как инструмент капитализации научных достижений [10]. Вместе с тем отмечалось, что пока что мало публикаций, анализирующих научные тенденции в отечественной медицине, дающих полную картину медицинской науки, редко приводятся аналитические данные о публикационной активности научных коллективов [4,8].

Цель исследования

Дать общую картину состояния публикационной деятельности медицинских научных учреждений в России.

Задачи исследования

Описать и выявить свойства и особенности публикационной активности 51 медицинского научно-исследовательского учреждения по трем наукометрическим показателям: публикации, цитирование (точнее цитируемость), авторы.

Материал и методы

Объектом исследования были все научно-исследовательские учреждения, подчиненные Министерству здравоохранения РФ, перечень которых получен в РИНЦ на странице «Реестр организаций – Научные организации Министерства здравоохранения РФ (51)». Их список представлен названиями по РИНЦ, ранжированными по числу цитирований в РИНЦ (Приложение А). Половина организаций являются научными центрами, остальные институтами. Далее все будут именоваться институтами и обозначаться ради краткости числом в соответствие с порядковым номером в Приложении А, а Министерство здравоохранения РФ как Минздрав РФ.

Материалом для анализа послужили данные РИНЦ, где у каждого из институтов есть своя страница в РИНЦ, на которой более 100 показателей. В настоящей публикации анализировались четыре показателя:

1. Число публикаций,
2. Число цитирований публикаций.

В процессе работы важным для анализа оказался третий показатель в РИНЦ:

3. Число авторов в институтах,

и выявился новый:

4. Нулевое цитирование.

За пределами анализа остался ряд важных показателей, например, индекс Хирша и динамика публикационной активности.

В РИНЦ есть три источника данных: elibrary.ru, РИНЦ и ядро РИНЦ. Для настоящего исследования выбраны показатели, содержащиеся на elibrary в разделе «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ - распределение публикаций по числу цитирований». Материал работы составила исходная таблица 3927*51, три производные таблицы первого порядка того же объема и более 10 таблиц второго порядка, но меньшего размера (например, 51*102).

Первая зафиксированная публикация в РИНЦ относится к 1950 г. Последнее обращение 03.10 2017.

В качестве методов исследования служили: описательная статистика (сумма, минимум, максимум, медиана (Ме), средняя, квартили (LQ и UQ), корреляция по Спирмену и коэффициент детерминации в %, линейная и нелинейная регрессия, сравнение двух рядов по Манн-Уитни, сравнение нескольких групп по Крускел-Уоллису, медианный тест, кластерный анализ (единичные связи, эвклидовы расстояния).

Результаты

1. Абсолютные показатели

Общая характеристика основных показателей приведена в табл. 1.

Таблица 1

Основные характеристики публикационной деятельности 51 института, подчиненного Минздраву РФ.

Существенное несовпадение средней и медианы обусловлено тем, что распределение всех показателей резко асимметричны, а это значит, что медиана точнее обозначает центральную тенденцию (середину распределения) в сравнении со средней арифметической.

Первое, что обращает внимание в табл. 1, это большой разброс показателей отдельных институтов: 450-кратный в случае цитирований, почти 150-кратный по количеству публикаций и 150-кратный по числу авторов (условно сотрудников).

Такой разброс в первую очередь выдвигает вопрос, на основе чего описывать институты, строить их ряды или группировать? Первый и естественный ответ – на основе абсолютных показателей по образцу РИНЦ при составлении рейтингов институтов по цитированию (Приложение А). Для этого, однако, есть препятствие: корреляция количества публикаций (r=0,956, коэффициент детерминации 91%) и цитирований с (r=0,879 и 77%, рис. 1) с количеством авторов в институтах.

Рис. 1. Соотношение количества публикаций (темные кружки) и цитирований (светлые кружки) с количеством авторов в институтах (n=51). Сплошная линия и пунктир – линии регрессии публикаций и цитирований на автора.

Иначе говоря, главные показатели публикационной деятельности институтов – количество публикаций и цитируемость, напрямую зависят от количества авторов (условно сотрудников). Можно ли при этом сопоставлять институты, ориентируясь на абсолютные показатели? Например, как сравнивать публикационную активность двух институтов, где 23 и 3655 авторов (табл. 1)? Чтобы нивелировать различие, дальнейшая работа проводилась на основе стандартизации числа публикаций и цитирования количеством авторов, то есть на основе количества публикаций и цитирования, приходящихся на одного автора (относительные показатели).

2. Относительные показатели

Публикационная деятельность институтов, стандартизованная количеством авторов, представлена в табл. 2.

Таблица 2

Характеристики публикационной деятельности институтов (n=51), нормированные количеством авторов.

2а. Публикации

После стандартизации количества публикаций количеством авторов в институтах разброс резко сократился: со 150-кратного до 5-кратного (табл. 2), также пятикратно увеличилась однородность институтов по показателю (UQ-LQ)/Me. При этом форма распределения приблизилась к нормальной и, соответственно, сблизились медиана и средняя (таблица 2). Важно, что корреляция абсолютного и относительного количества публикаций была очень слабой (r=0,397, p=0,004, коэффициент детерминации 16%, n=51), а корреляция количества публикаций на одного автора с количеством авторов в институтах была незначимой (r=0,152, р=0,288). Рис. 2 иллюстрирует приведенные выше закономерности, но главным образом показывает, что публикационная продуктивность сотрудников многих малых институтов сравнивается или превосходит по этому показателю крупные институты. Это более всего коснулось институтов с количеством авторов мене 500.

Рис. 2. Абсолютное количество публикаций (серые столбики, ордината слева) и количество публикаций на одного автора (черные квадраты и тонкие столбики). Названия институтов по номерам в Приложении А. Кривые - сплошная и пунктирная – кубический полином для абсолютного и относительного количества публикаций.

Распределение институтов по количеству публикаций на одного автора после разделения на четыре группы соответственно медиане и двум квартилям представлено в табл. 1 (Приложение Б).

2б. Цитирование

Суммарно показатели институтов по цитированию представлены в табл. 1, из которой следует, что 4,2 цитирований приходится на одну публикацию и 32 - на одного автора. Распределение публикаций по цитированию всех институтов представлено в табл. 3, которая показывает, что по мере нарастания количества цитирований от 0 до 50 количество соответствующих публикаций прогредиентно уменьшается. Еще быстрее уменьшается это количество после значения 50 цитирований. Однако именно эти публикации приносят основное количество цитирований: на 1,3% публикаций, процитированных более 50 раз, приходится 41,2% цитирований.

Таблица 3

Распределение публикаций всех институтов (n=51) по количеству цитирований.

Как и в случае с публикациями исходные данные цитирования были стандартизованы количеством авторов, в результате чего разброс сократился почти в пять раз (табл. 1 и 2), хотя и оставался большим, 100-кратным (табл. 2). При этом размеры цитирования на автора зависят от количества авторов в институте (r=0,289, p=0,040, 8%). Эта зависимость выразилось также в том, что рейтинг институтов до и после стандартизации изменился мало (табл. 2, Приложение Б, корреляция рангов значима, r=0,670, p=0,000, 45%). Иначе говоря, публикации сотрудников больших институтов цитируются несколько чаще в отличие от сотрудников малых институтов.

Рис. 3. Количество цитирований (серые столбики, ордината слева) и количество цитирований на одного автора (черные квадраты и тонкие столбики). Названия институтов по номерам в Приложении А. Кривая сплошная и пунктирная – кубический полином для абсолютного и относительного количества цитирований.

В результате кластер-анализа все институты распределяются в три группы, более чётко по соотношению цитирования на одного автора с общим количеством цитирований (группы А, Б и В, рис. 4).

Рис. 4. Кластеризация институтов по соотношению цитирования на одного автора с общим количеством цитирований. А, Б и В – три группы институтов. Номера институтов в соответствие в Приложением А обозначены для группы А и Б, группа В – на рисунке не обозначены: 15, 16, 18, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51.

Все три группы имели статистически значимые различия по трем исходным параметрам (публикации, цитирование, авторы; Крускал-Уоллис, р=0,000-0,021). Важно, что исключение составил один показатель – нулевое цитирование (р=0,220). Не было различий по цитированию на автора между группами А и Б, и это позволило объединить эти группы для последующего анализа. Это допустимо еще и потому, что медианный тест для этой характеристики показал четкое отличие группы В от А и Б (р=0,001). Характеристика институтов трех кластеров в табл. 4.

Таблица 4

Характеристика институтов в трех группах (А, Б и В), полученных в результате кластеризации.

Таблица 4, как и рис. 4, показывает, что группы А и Б различаются сравнительно мало, только количественно и с небольшим разрывом. Большинство институтов (35 из 51 или 69%) составили третью компактную группу В (рис. 4). В этой группе 31 учреждение имели менее 400 авторов (от 23 до 377, четыре: 406, 605, 640 и 1253). В группах А и Б (суммарно 16 институтов или 31%) таких институтов было только два (335 и 336, р=0,000). Помимо количества сотрудников и связанных с этим показателей (публикации, цитирование) существенным отличием институтов группы В было низкое количество цитирований на одного автора (17,7 vs. 46,7 и табл. 4; статистического обоснования различия не требуется, так это свойство генеральной совокупности).

Распределение суммарного количества цитирований и публикаций всех институтов представлено на рис. 5. Первую позицию занимают публикации с нулевым цитированием. Вот почему на рис. 5 эта позиция пуста по цитированию (столбики) и заполнена по публикациям (кружки, n=111835). На вторую позицию приходятся публикации, процитированные однократно (29953 статей и 14,2% от всех цитирований). Максимум распределения приходится на 3-ю позицию – 2-кратное цитирование, 29953 публикаций, 7,9% от всех цитирований. После этого начинается равномерное снижение количества публикаций и цитирования. Медиана распределения приходится на 31 позицию, на которой зарегистрировано 190 публикаций, процитированных 30 раз (всего 190*30=5700 цитирований или 0,1% от общего).

Рис. 5. Распределение публикаций (кружки, правая логарифмическая шкала) и цитирования (столбики, левая шкала) всех институтов в зависимости от их цитирования (абсцисса, шкала неравномерная).

Подъем цитирования в правой половине графика определяется почти исключительно единичными публикациями с большим числом цитирований и, как правило, с большим количеством авторов. Последняя в этом ряду статья, процитированная 3927 раз, опубликована в The Lancet. У нее 102 автора, для одного из которых указано место работы в Москве (86 позиция в безалфавитном списке), а также в Оксфорде, где работает большинство его соавторов. Размеры цитирования этой одной статьи сравнимо со 101 статьей, каждая из которых процитирована 38 раз (3838 в сумме). Следует сказать, что сходную структуру авторов имеет бóльшая часть статей с очень высоким цитированием.

Кумулятивное распределение публикаций по количеству цитирований представлено в табл. 2 (Приложение Б). Таблица показывает, что 93% всех публикаций всех институтов процитированы не более 10 раз.

3. Нулевое цитирование

111835 или 53% от общего объема публикаций всех институтов не были процитированы ни разу (таблица 3). Разброс институтов по этому показателю был значительным: от 34,7% до 87,7% (таблица 3, Приложение Б), однако три группы институтов, выделенные ранее кластер-анализом (таблица 5) статистически не различаются по доле публикаций с нулевым цитированием, ни по Крускел-Уоллису (р=0,363), ни по медианному тесту (р=0,220). В попытке объяснить феномен нулевого цитирования на основе корреляции доли нулевого цитирования с другими показателями этого исследования представлены в таблице 5.

Таблица 5

Корреляция нулевого цитирования (доля в %) с другими показателями (n=51).

Все корреляции отрицательные, но значимые только с показателями цитирования (общим числом и на автора): чем меньше цитирование, тем больше публикаций с нулевым цитированием.

Обсуждение

Прежде всего, необходимо уяснить значение и смысл исходных и производных показателей, выбранных для описания публикационной деятельности научных институтов Минздрава РФ. Важно понять, какое отношение они имеют к оценке эффективности научной деятельности. Главной в этом должна была бы быть экономическая и/или социальная эффективность, но не нашлись источники, содержащие материалы для такой оценки институтов Минздрава РФ. Поэтому приходится пользоваться косвенными показателями, главными из которых являются публикации, а также их цитируемость. За отсутствием экономического и социального показателя эффективности примем информационный эффект научной работы. Условно будем считать количество публикаций продуктивностью, а цитируемость эффективностью публикационной деятельности институтов.

В работе выявилось, что число публикаций и цитирований жестко закоррелировано с количеством сотрудников, точнее, авторов, зарегистрированных в РИНЦ. Сделано это на основе корреляции, которая обычно выявляет только степень связи, но не зависимость переменных. Однако, в некоторых ситуациях коэффициент корреляции можно интерпретировать как показатель зависимости. Так, например, при корреляции количества публикаций с количеством авторов публикации могут зависеть от количества авторов, но не наоборот. Такая зависимость - тривиальная находка: чем больше авторов (сотрудников), тем больше публикаций (рис. 1, коэффициент детерминации 91%).

На первый взгляд было бы правильнее работать с показателем количества сотрудников, но, во-первых, получить его не удалось, ни в отдельных институтах, ни в Минздраве, а, во-вторых, состав сотрудников переменный, тем более на протяжении длительного времени (с 1950 г.), тогда как количество авторов четко привязано к публикации: фиксация нового автора происходит с регистрацией первой статьи с его участием. За пределами исследования остаются сотрудники институтов, которые никогда не публиковались, но это, скорее всего, относится к молодым, с небольшим научным стажем.

Нельзя быть уверенным, что все публикации, цитирования и авторы институтов учтены в РИНЦ, и не представляется, как это проверить для большого массива данных институтов, но персональные данные РИНЦ нескольких авторов показывают, что не учтены 4-6% публикаций.

Теперь следовало бы решить, что отражают размеры научного коллектива в учреждении. Только ли важность проблем, решаемых институтом? В условиях значительной бюрократизации науки трудно ответить на этот вопрос однозначно, на основе показателей РИНЦ это решить невозможно, а других научных данных по такому поводу нет. В этих условиях пришлось пойти по другому пути - нивелировать разницу в размерах коллективов посредством стандартизации количества публикаций количеством авторов. Этот относительный показатель более адекватно отражает публикационную деятельность учреждений, о чем раннее писали в [2]. Стандартизованный показатель условно можно обозначить как продуктивность авторов в отличие от продуктивности институтов (общее количество публикаций).

Стандартизация имела два важных последствия. Первое – резкое сокращение размаха варьирования: со 100-кратного до 5-кратного (таблица 2). Эта трансформация специально не исследовалась, но, несомненно, она привела к увеличению однородности совокупности и устойчивости значений признака, а это важно для дальнейшего исследования.

Второе – после стандартизации произошло изменение соотношения институтов по продуктивности. Это выразилось в том, что ранговая корреляция количества публикаций до и после стандартизации оказалась незначимой. О чем это свидетельствует? Количество публикаций в целом зависит от количества сотрудников в институтах, но продуктивность сотрудников не зависит от количества сотрудников (рис. 2 и табл. 1 в Приложении Б). Приходится признать, что продуктивность институтов более всего отражает размеры кадрового состава, иначе говоря, больше сотрудников, больше публикаций и наоборот. Отсюда следует, что оценивать продуктивность научного учреждения по суммарному количеству публикаций недостаточно, а может быть и неправильно. Тем более, что размеры научного коллектива не влияют на продуктивность отдельных сотрудников, хотя в большом учреждении можно было бы ожидать рост публикационной активности за счет увеличения внутренних горизонтальных связей. По-видимому, на продуктивность сотрудников влияют какие-то другие факторы, которые еще предстоит изучить. Такими факторами могут быть: творческий потенциал коллектива, организация научного производства, адекватная материальная оценка труда научных сотрудников. В качестве контрпродуктивных факторов могут выступать такие как негативная психологическая атмосфера в коллективе, сильная бюрократизация учреждения, а также занятость сотрудников в диагностической и лечебной работе, обязательной для институтов Минздрава РФ. Это важная функция институтов, но к науке она, как правило, не имеет отношения.

Прежде чем перейти к анализу цитируемости примем тезис - самое важное в научной публикации новое и доказательное знание. Оценку этого лучше всего делает независимое экспертное сообщество, состоящее из квалифицированных специалистов по теме научных публикаций. Первый автор имеет опыт организации такой работы [3] и знает трудности этого дела в наших условиях и то, что производительность такого сообщества невелика. В других условиях к этому прибавляется высокая стоимость работы. Ю.Гарфилд был первым, кто догадался сделать экспертным сообществом всех заинтересованных в теме научных работников, а мерой оценки – размеры цитирования (цитируемость). Идея оценки качества научного продукта посредством цитирования настолько прочно вошла в научный обиход, что уже невозможно игнорировать это явление, хотя возможности наукометрии небезграничны.

Издержки наукометрии велики, но достоинства значительно превосходят издержки: за счет утраты большой точности и глубины анализа появилась возможность оперировать большими числами, которые снижают влияние случайных факторов. Эти преимущества наукометрии особенно значимы в работе с публикациями институтов. Материал настоящей работы составили 860 тыс. цитирований, 200 тыс. публикаций и 27 тыс. авторов – это еще не big data, но на пути к ним.

Большой объем данных институтов нивелирует такое случайное явление как фальсификации. А скептикам и критикам наукометрии, которые на словах или в печати пугают фальсификацией цитируемости, следует знать, что РИНЦ предоставляет широкие возможности для выявления этого порока. Опорой для этого может служить раздел РИНЦ для институтов «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ – Распределение публикаций по: тематике, типу, журналам, организациям, авторам, годам, ключевым словам, числу цитирований и числу соавторов». Аналогичные разделы есть и на персональных страница РИНЦ. Все публикации, выявляющие фальсификации цитируемости, построены на основе данных РИНЦ (например, 5), которые доступны всем. При этом не следует забывать, что фальсификация потребует у фальсификатора не только времени, но и значительных организационных усилий, отчего такие фальсификации среди российских ученых в ближайшее время не станут массовым явлением в отличие от предприимчивых китайских коллег [6]. Но в Китае начинается борьба с этим явлением: 30 мая 2018 г. Государственный совет Китая объявил о новой радикальной системе повышения стандартов исследований в стране и правил публикаций [11]. Министерство науки Китая работает над составлением черного списка «хищных» журналов (predatory journal), публикация в которых закрывает доступ финансированию исследований и будет препятствовать работе в академической науке [12]. Пора начинать борьбу с фальсификацией науки и в России. Но пока что за пределами финансирования главная беда российской медицинской науки не фальсификации, а низкое качество публикаций, слабость их доказательной базы [4], в основе которых - низкая квалификация ученых. Это проблема не только российской медицинской науки [13], но в нашей стране она выступает более острее, чем в западной науке, где более остро стоит ответственность за фальсификации.

Цитируемость – разносторонняя характеристика научного процесса. Она, во-первых, объективный показатель внедрения в науку за счет включения публикации в научный оборот, и это «практически единственный «видимый» след научной коммуникации и механизма рождения нового знания» [5]. Одно-два-три цитирования за 5-7 лет не стоит обозначать высоким словом «внедрение», но более широкое цитирование повышает вероятность того, что содержащаяся в статье информация сгенерирует новую, а такая информация представляет наибольшую ценность. Во-вторых, частота цитирования - показатель широты или наоборот узости этого внедрения. Тем самым, в-третьих, цитирование – косвенный показатель эффективности научной работы. Тут требуется осторожность в понимании «эффективность» - не социальная или экономическая, но только информационная эффективность, как интерес научного сообщества к теме или результатам конкретной работы. Часто этот интерес обозначается словом «востребованность». Иначе говоря, цитирование отражает не столько качество публикации, сколько ее значимость для научного сообщества. Это в равной степени относится к публикациям научных сотрудников и научных учреждений.

Стандартизация цитирований количеством авторов вызвало уменьшение вариативности, но не столь значительное, как по публикациям (5-кратное vs. 30-кратного). Это может означать, что показатель числа цитирования на автора обладает большей чувствительностью к дифференциации институтов по значимости своих публикаций в сравнении с числом публикаций на автора (эффективность vs. продуктивность). Анализ такой дифференциации не входит в задачу настоящего исследования, это потребовало бы учета большого ряда дополнительных факторов, таких, например, как область медицинских исследований, количество специалистов и/или исследовательская активность в том или другом разделе медицины. Уже многократно показано, что все это влияет на количественные показатели цитирования [например, 4] и соответственно делает не вполне корректным сравнение учреждений разных профилей по цитированию. Задача упрощается, когда сравниваются профессионально сходные учреждения, как это было сделано в отношении шести психиатрических институтов [7].

Как сказано выше в задачу работы не входило сопоставление отдельных институтов. Предполагалось дать только общую картину публикационной активности научных учреждений Минздрава РФ, и только на основе трех показателей – количества публикаций, цитирования и авторов. Это важные, но далеко не единственно значимые характеристики. С методической точки зрения главным в общей картине были два обстоятельства. Первое – зависимость количества публикаций и цитирования от количества сотрудников в институтах. Размер сотрудников института не является научным феноменом, что потребовало исключить его из анализа с помощью относительных показателей. Второе - очень большая вариативность показателей, только отчасти обусловленная различием в количестве сотрудников. Это заставило произвести кластеризацию. При этом выделялись две, иногда три группы институтов. При самых разных наборах переменных в эти группы, как правило, входили одни и те же институты. Группы различались как по количеству институтов, так и по дисперсии: большая (компактная – группа В) и меньшая, но диспергированная (группа А+Б, рис. 4). Эти группы существенно различались также по количеству публикаций, цитирований и авторов (таблица 4). По результатам кластеризации самым существенным было то, что группа институтов с малым количеством авторов (до 400, медиана 203 автора, 35 из 51 института или 70%) имела низкий показатель цитируемости на одного автора (18 цитирований) по сравнению с крупными учреждениями (47 цитирований). При этом продуктивность была близкой (6-8 публикаций на одного автора, таблица 4). Факт вроде бы не красит малые институты, однако оценить его по-настоящему трудно – нужны дополнительные данные, например, степень нагрузки клинической работой, а главное – специализация институтов, как сказано выше.

В процессе работы пришло осознание большой правоты Ю.Гарфилда, сделавшего ставку на цитируемость в качестве главного наукометрического показателя эффективности работы ученых и научных учреждений. Именно цитирование наилучшим образом дифференцировало институты по их эффективности. К сожалению этого нельзя сказать про нулевое цитирование, результаты анализа которого не стали неожиданностью. Ранее высокая доля таких работ была обнаружена в публикациях 6 психиатрических институтов [6]. Недавно С.А.Трущелев при анализе 350 тысяч публикаций по психиатрии, неврологии и кардиологии, получил по сути дела сходный результат: 59%, 45% и 58% публикаций в этих отраслях медицины не были процитированы (обратная величина от доли процитированных в [9]).

В настоящей работе количество таких публикаций составило половину от всех (53%), а это 112 тысяч публикаций. Иначе говоря, половина работ научных сотрудников институтов Минздрава РФ не была процитирована. Это значит, что эти работы не вошли в научный оборот. Можно ожидать, что часть этих публикаций еще будет процитирована, но как показал анализ цитирования психиатрических учреждений [6], эта доля невелика (около 5%), и она будет перекрыта новыми публикациями с нулевым цитированием, количество которых, как правило, прогредиентно нарастает вместе ростом числа публикаций (Приложение В). Более того, по соотношению нарастания тех и других можно судить об эффективности работы институтов (Приложение В). Этот процесс для всех институтов Минздрава РФ еще предстоит исследовать, но уже сейчас видно, сколь важным является соотношение цитирования и нулевого цитирования для оценки деятельности научных учреждений. В этом контексте важно оценить роль индекса Хирша, который «смотрит» только вперед, притом близоруко, и «не видит», что у него «за спиной», а за спиной у него подавляющая часть публикаций и цитирования, в том числе нулевое.

Тут следует оговориться: в западных исследовательских учреждениях в области медицины также довольно высока доля нулевого цитирования. Для примера можно выбрать National Institute on Alcohol, Abuse and Alcoholism (NIAAA, США, Бетесда, один из институтов National Institutes of Health). В этом институте нулевое цитирование составляет 21,0%, из которых 5% приходятся на 2017-2018 гг. Это много, но все-таки не половина, и снижение цитирования началось только в 2018 г., что естественно, а до этого оно прогредиентно увеличивалось вплоть до 2017 г. (для сравнения см. Приложение В). Есть еще важное отличие NIAAA от среднестатистических показателей российских институтов (таблица 6). При этом следует отметить, что NIAAA «середняк» среди National Institutes of Health.

Таблица 6

Соотношение показателей публикаций, процитированных более 50 раз, из двух источников.

В отличие от цитирования нулевое цитирование существенно не различало группы (кластеры) институтов (таблица 4), хотя диапазон показателя был велик: от 35% до 88% (Приложение Б). Это связано с тем, что основная масса институтов (42 или 82%) по нулевому цитированию различалась сравнительно мало - от 40% до 60%. Нулевое цитирование не было связано с общим числом публикаций или авторов. Иначе говоря, низкая цитируемость – довольно устойчивый показатель научных медицинских учреждений, и с помощью наукометрических показателей не удалось объяснить этот феномен.

Переходя к выводам, следует помнить, что исходный материал настолько обширен и разнообразен, что любые обобщения, сделанные в работе, невольно будут содержать некоторые огрубления.

Выводы

1. Для научных институтов Минздрава РФ характерен большой разброс абсолютных показателей количества публикаций, цитирования и авторов: 450-кратный для цитирований, почти 150-кратный для публикаций и 150-кратный по числу авторов.
2. Объем публикаций институтов прямо пропорционален количеству авторов (условно сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.
3. Объем цитирования (цитируемость) публикаций институтов прямо пропорционален количеству авторов (сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.
4. Более адекватным показателем публикационной деятельности институтов служит количество публикаций и цитирований, стандартизованное количеством авторов.
5. Стандартизация резко сокращает разброс показателей отдельных институтов: в 30 раз для публикаций и в 5 раз для цитирования.
6. Стандартизованные показатели публикаций не зависят от абсолютного количества авторов, публикаций и цитирования. Эти показатели выравнивают институты по продуктивности авторов.
7. Для научных институтов Минздрава РФ характерно сравнительно низкое цитирование: 93% всех публикаций процитированы не более 10 раз.
8. В 93% публикаций входят 112 тысяч публикаций или 53% от всех, которые не были процитированы ни разу (нулевое цитирование).
9. Основное количество цитирований приносит небольшое количество публикации с большим цитированием. Так, на 1,3% публикаций, процитированных более 50 раз, приходится 41,2% цитирований.
10. В институтах с малым количеством сотрудников (меньше 400) относительный показатель цитирования существенно ниже, чем в институтах с бóльшим количеством сотрудников.
11. Состояние публикационной деятельности институтов Минздрава РФ нельзя признать удовлетворительным.

Библиография

1. Балацкий Е., Юревич М. Деформация научной этики в России. Можно ли ее измерить? Капитал страны. 2016, 27 мая. С. 5-15. URL: kapital-rus.ru/articles/article/deformaciya_nauchnoi_etiki_v_rossii/ (Дата обращения 17 июня 2018 г.)
2. Варшавский А., Маркусова В. Оценку эффективности российских фундаментальных учёных следует скорректировать. Науки и технологии РФ. [Интернет] 2009. URL: http://www.courier-edu.ru/cour0901/800.htm (Дата обращения 17 июня 2018 г.).
3. Голенков А.В., Кузнецова-Морева Е.А., Менделевич В.Д., Немцов А.В., Разводовский Ю.Е., Симонов А.Н., Шелыгин К.В. Качество исследовательских публикаций в психиатрии - экспертная оценка. Журнал неврологии и психиатрии им. С.С. Корсакова. 2017; 117 (11): 108-113.
4. Ивушкин А.А., Немцов А.В. Наукометрический анализ материалов российского и европейского съездов психиатров. Журнал неврологии и психиатрии им. С.С. Корсакова. 2009. 109 (8): 63–67.
5. Михайлов О.В. Цитирование и цитируемость в науке: Общие принципы цитирования. Современные количественные показатели цитируемости. Цитируемость и качество научной деятельности исследователя. Москва: ЛЕНАНД; 2017. 208 с.
6. Немцов А.В., Кузнецова-Морева Е.А. Публикационная деятельность и цитирование статей сотрудников институтов в области психиатрии и наркологии. Журнал неврологии и психиатрии им. С.С. Корсакова. 2016. 116 (10): 47-53. doi: 10.17116/jnevro2016116101
7. Немцов А.В., Трущелёв С.А., Краснов В.Н. Публикационная деятельность научно-исследовательских институтов в области психиатрии и наркологии в 2006-2013 гг. Журнал неврологии и психиатрии им. С.С. Корсакова. 2015. 115 (1): 85-90.
8. Стародубов В.И., Куракова Н.Г., Цветкова Л.А. Новые критерии результативности академической и вузовской медицинской науки в России. Социальные аспекты здоровья населения [электронный научный журнал]. 2011; 18 (2). URL: http://vestnik.mednet.ru/content/view/277/27/lang,ru (Дата обращения 17 июня 2018 г.)
9. Трущелев С.А. Управление научно-исследовательской деятельностью медицинских работников на основе наукометрического подхода: автореф. дис. д-ра мед. наук. Москва. 2017. 46 с.
10. Цветкова Л.А., Куракова Н.Г., Маркусова В.А. Публикационная активность как инструмент капитализации результатов исследований в области медицины и здравоохранения. Врач и информационные технологии. 2010; (6): 47-54.
11. China sets a strong example on how to address scientific fraud. [The editorial note]. Nature. 2018; 558, 162. Available from: https://www.nature.com/articles/d41586-018-05417-1 doi: 10.1038/d41586-018-05417-1
12. China introduces sweeping reforms to crack down on academic misconduct. [The editorial note]. Nature. 2018; 558, 171. Available from: https://www.nature.com/articles/d41586-018-05359-8 doi: 10.1038/d41586-018-05359-8
13. Ioannidis J.P.A. Why Most Published Research Findings Are False. PLOS. August 30. 2005. https://doi.org/10.1371/journal.pmed.0020124

References

1. Balatskiy E., Yurevich M. Deformatsiya nauchnoy etiki v Rossii. Mozhno li ee izmerit'? [Deformation of scientific ethics in Russia. Can it be measured?]. Kapital strany. Federal'noe internet-izdanie. 27 May 2016. p. 5-15. [Online] [cited 2018 Jun 17]. Available from: kapital-rus.ru/articles/article/deformaciya_nauchnoi_etiki_v_rossii/ (In Russian).
2. Varshavskiy А., Markusova V. Otsenku effektivnosti rossiyskikh fundamental'nykh uchenykh sleduet skorrektirovat' [Assessment of the efficiency of Russian fundamental scientists should be corrected]. Nauki i tekhnologii RF [Online] 2009 [cited 2018 Jun 17]. Available from: http://www.courier-edu.ru/cour0901/800.ht. (In Russian).
3. Golenkov А.V., Kuznetsova-Moreva E.А., Mendelevich V.D., Nemtsov А.V., Razvodovskiy Yu.E., Simonov А.N., et al. Kachestvo issledovatel'skikh publikatsiy v psikhiatrii - ekspertnaya otsenka [The quality of research publications in psychiatry – an expert assessment]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova 2017; 117(11): 108-113. (In Russian).
4. Ivushkin А.А., Nemtsov А.V. Naukometricheskiy analiz materialov rossiyskogo i evropeyskogo s"ezdov psikhiatrov [Scientometric analysis of materials of Russian and European congresses of psychiatrists]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova 2009; 109(8): 63–67. (In Russian).
5. Mikhaylov O.V. Tsitirovanie i tsitiruemost' v nauke: Obshchie printsipy tsitirovaniya. Sovremennye kolichestvennye pokazateli tsitiruemosti. Ttitiruemost' i kachestvo nauchnoy deyatel'nosti issledovatelya [Citation and citation in science: General principles of citation. Contemporary quantitative indicators of citation. Citation and the quality of the researcher’s scientific activity]. Moscow: LENАND; 2017. 208 p. (In Russian).
6. Nemtsov А.V., Kuznetsova-Moreva E.А. Publikatsionnaya deyatel'nost' i tsitirovanie statey sotrudnikov institutov v oblasti psikhiatrii i narkologii [Publication activity of the staff of scientific institutions and citation of articles of specialists in psychiatry and narcology]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova 2016; 116 (10): 47-53. doi: 10.17116/jnevro2016116101 (In Russian).
7. Nemtsov А.V., Trushhelyov S.А., Krasnov V.N. Publikatsionnaya deyatel'nost' nauchno-issledovatel'skikh institutov v oblasti psikhiatrii i narkologii v 2006-2013 gg [Publication activity of the staff of scientific institutions in the field of psychiatry and narcology in 2006-2013]. Zhurnal nevrologii i psikhiatrii im. S.S. Korsakova 2015; 115(1): 85-90. (In Russian).
8. Starodubov V.I., Kurakova N.G., Tsvetkova L.А. Novye kriterii rezul'tativnosti akademicheskoy i vuzovskoy meditsinskoy nauki v Rossii [New criteria for efficiency of academic and high school medical science in Russia]. Sotsial'nye aspekty zdorov'ya naseleniya [serial online] 2011 [cited 2018 Jun 17]; 18(2). Available from: http://vestnik.mednet.ru/content/view/277/27/lang,ru (In Russian).
9. Trushchelev S.А. Upravlenie nauchno-issledovatel'skoy deyatel'nost'yu meditsinskikh rabotnikov na osnove naukometricheskogo podkhoda [Management of research activity of health workers on the basis of scientometric approach]. Dr. Med Sci [thesis]. Moscow. 2017. 46 p. (In Russian).
10. Tsvetkova L.А., Kurakova N.G., Markusova V.А. Publikatsionnaya aktivnost' kak instrument kapitalizatsii rezul'tatov issledovaniy v oblasti meditsiny i zdravookhraneniya [Publication activity as a tool to capitalize research outcomes in medicine and health care]. Vrach i informatsionnye tekhnologii 2010; (6): 47-54. (In Russian).
11. China sets a strong example on how to address scientific fraud. The editorial note. Nature. 2018; 558, 162. doi: 10.1038/d41586-018-05417-1 Available from: https://www.nature.com/articles/d41586-018-05417-1
12. China introduces sweeping reforms to crack down on academic misconduct. The editorial note. Nature. 2018; 558, 171. doi: 10.1038/d41586-018-05359-8. Available from: https://www.nature.com/articles/d41586-018-05359-8
13. Ioannidis J.P.A. Why Most Published Research Findings Are False. PLOS. - Published: August 30, 2005. Available from: https://doi.org/10.1371/journal.pmed.0020124

Приложение А

Научные учреждения Министерства здравоохранения РФ (n=51)

Последнее обращение 03.10 2017 г. в РИНЦ

Приложение Б

Таблица 1

Распределение институтов по количеству публикаций на одного автора в соответствие с медианой и квартилями распределения.

*Номер института соответствует названию института в приложении А.
**Порядковый № в ряду институтов после стандартизации (рейтинг)
***Порядковый № в ряду институтов до стандартизации (рейтинг).

Таблица 2

Кумулятивное распределение публикаций по количеству цитирований.

Таблица 3

Распределение институтов по количеству цитирований на одного автора в соответствие с медианой и квартилями распределения.

*Номер института соответствует названию института в приложении А.
**Порядковый № в ряду институтов после стандартизации (рейтинг)
***Порядковый № в ряду институтов до стандартизации (рейтинг).

Таблица 4

Распределение институтов по нулевому цитированию в соответствие с медианой и квартилями распределения.

*№ п/п
** № института в Приложении А.

Приложение В

Значение роста нулевого цитирования для оценки эффективности работы научных учреждений.

На рисунке представлены два института одного профиля (А и Б). Показана динамика роста количества публикаций, процитированных (Ц) и непроцитированных (нулевое цитирование, 0-Ц). Различие размерности шкал обусловлено различием количества сотрудников в двух институтах: в институте Б их значительно больше, однако относительная динамика Ц публикаций сходна. Главное различие институтов состоит в скорости нарастания количества публикаций с нулевым цитированием. Понятно, что более быстрое нарастание нулевого цитирования в институте Б по сравнению с институтом А свидетельствует о менее успешной публикационной деятельности института Б.

Рисунок представляет интерес еще и потому, что обнаруживает общее свойство российских медицинских публикаций: большой период снижения цитируемости – 6-8 последних лет.

Дата поступления: 17.06.2018 г.

Добавить комментарий

Пожалуйста оставляйте комментарии только по теме. Вы можете оставить свой комментарий любым браузером кроме Internet Explorer старше 6.0
Имя:
E-mail
Комментарий:
Код:*