DOI: https://dx.doi.org/10.21045/2071-5021-2019-65-2-10
Немцов А.В., Кузнецова-Морева Е.А.
Федеральный медицинский исследовательский центр психиатрии и
наркологии им. В.П. Сербского Минздрава России, Московский
научно-исследовательский институт психиатрии - филиал ФМИЦПН, Москва,
Россия
Резюме
Цели. Свойства индекса Хирша и его возможности для оценки деятельности научно-исследовательских институтов.
Материал. Использовали данные РИНЦ 51 научно-исследовательских институтов Минздрава РФ с 1950 г. по 03.10.2017. (всего 210739 публикаций, 867318 цитирований, 26941 авторов и 51 значение ИХ).
Результаты. Суммарный индекс Хирша для всех НИИ составил 256: 256 публикаций процитированы 256 и более раз. Эти 256 публикаций составили 0,12% от всех публикаций. Публикации, соответствующие индексы Хирша отдельных институтов, составляли в среднем 1,4% от всех публикаций. Исходный индекс Хирша отдельных институтов колебался от 5 до 101 и хорошо коррелировал с общим количеством публикаций и цитирования.
Показано, что индекс Хирша институтов существенно зависит от количества авторов, но эта зависимость криволинейна: с увеличением количества авторов рост индекс Хирша сначала замедляется, а, превысив уровень 500 авторов, прекращается. Чтобы исключить влияние этого фактора, все показатели были нормированы количеством авторов, в том числе индекса Хирша (индекс Хирша /Авторы).
Рейтинг институтов по индекс Хирша/Авторы существенно изменился, особенно сильно понизив его для институтов с количеством авторов более 500. Корреляция индекс Хирша/Авторы с нормированным количеством публикаций отсутствовала, с нормированным количеством цитирования была слабой и отрицательной, но значимой и отрицательной с общим количеством авторов.
Заключение. Сделан вывод, что исходный индекс Хирша не может служить характеристикой качества научной работы институтов. индекс Хирша/Авторы отражает только высокоцитируемые публикации, которые составляют небольшую долю от всех.
Ключевые слова: индекс Хирша, институты научно-исследовательские, авторы, рейтинги институтов.
Контактная информация: Немцов Александр Викентьевич, email:
Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Финансирование. Исследование не имело спонсорской поддержки.
Для цитирования: Немцов
А.В., Кузнецова-Морева Е.А.
Индекс
Хирша как объект исследования на
материале научно-исследовательских
институтов Минздрава РФ. Социальные
аспекты здоровья населения [сетевое
издание] 2019; 65(2). URL:
http://vestnik.mednet.ru/content/view/1064/30/lang,ru/
DOI:
10.21045/2071-5021-2019-65-2-10
Nemtsov A.V., Kuznetsova-Moreva E.A.
V.P. Serbsky National Medical Research Centre for Psychiatry and Narcology, Ministry of Health of the Russian Federation, Moscow, Russia
Abstract
Purpose. To study features of the Hirsch Index (h-index) and its potential for evaluating performance of research institutes.
Material. We used data of 51 research institutes of the Ministry of Health of the Russian Federation for the period from 1950 to 03.10.2017. (a total of 210739 publications, 867318 references, 26941 authors and 51 h-index values).
Results. The total h-index of all research institutes added up to 256: 256 publications cited 256 times or more. These 256 publications accounted for 0.12% of all publications. Publications and relevant h-index of individual institutions equaled to an average of 1.4% of all publications. The original h-index of individual institutions ranged from 5 to 101 and correlated well with the total number of publications and references.
The study shows that the h-index of institutions significantly depends upon the number of authors, however, this dependence is curvilinear: with an increase in the number of authors the growth of h-index slows down at first, and then, exceeding the level of 500 authors, stops. To eliminate impact of the “number of authors” factor, all indicators were normalized by the number of authors, including the Hirsch index (h-index/authors).
The rating of institutes by h-index/authors has changed significantly, especially greatly lowering it for institutions with more than 500 authors. The h-index/authors did not correlate with the normalized number of publications, weakly correlated with the normalized number of references, but the correlation was significant and negative with the total number of authors.
Conclusion. The study concludes that the initial h-index cannot serve as a characteristic of the quality of scientific work of the institutes. H-index/authors reflects only highly cited publications, which account for just a small share of all publications.
Keywords: Hirsch index, research institutes, authors, institute ratings
Corresponding author: Nemtsov Alexander, email:
Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Information about author:
Nemtsov A.V., http://orcid.org/0000-0003-1150-5146, email:
Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Kuznetsova-Moreva E.A., http://orcid.org/0000-0003-2872-1507,
Acknowledgments. The study had no sponsorship.
Conflict of interests. The authors declare no conflict of interest.
For citation: Nemtsov
A.V., Kuznetsova-Moreva E.A. Hirsch index as object of study based on
the materials of research institutes of the Ministry of Health of the
Russian Federation.
Social'nye
aspekty zdorov'a naselenia / Social
aspects of population health
[serial online] 2019; 65(2). Available from:
http://vestnik.mednet.ru/content/view/1064/30/lang,ru.
(In
Rus.). DOI:
10.21045/2071-5021-2019-65-2-10
а любой инструмент, от кувалды до атомной энергии,
должен использоваться по назначению
Юджин Гарфилд
Введение
В середине XX века начался экспоненциальный рост науки и, соответственно, увеличение ее продукта в виде публикаций, оценка которых стала неподъемной для прежних методов (экспертный, коллегиальный). Кроме того в условиях такого роста наука стала трудноуправляемой из-за неохватности ее ландшафта. На эти вызовы наука ответила созданием наукометрии с ее количественными методами изучения и оценки науки как информационного процесса [1].
Качественно новый поворот наукометрии придал Ю. Гарфилд в 1955 г., сделав ставку на цитирование, как основной наукометрический показатель. Он предложил новый метод оценки - индекс цитирования (суммарное количество цитирований всех статей автора или организации [2]). Этот показатель получил широкое распространение. Но развитие науки потребовало более чувствительных индикаторов. Одним из них стал Индекс Хирша (ИХ), который явился значительной вехой в методах оценки научной деятельности. ИХ (h-индекс) был предложен Хорхе Хиршем в 2005 г. [3] в качестве меры продуктивности ученого, основанной на распределении цитирования его работ с прицелом на самую цитируемую его часть. Х.Хирш исходил из того, что критерий оценки с помощью одного числа предпочтительнее, это во-первых, а во-вторых, этот показатель содержит в себе информацию как о продуктивности ученого (число публикаций), так и о востребованности его работ (число цитирований). При этом нужно отдать должное Х. Хиршу, который считал, что его индекс дает только грубую оценку профиля ученого, и ее применение возможно только в ограниченных рамках. Несложная теоретическая подоплека и простота вычисления сделали ИХ самым распространенной оценкой научной деятельности, как ученых, так и их коллективов. Однако в результате широкого использования ИХ выявились слабые стороны этого показателя, особенно в связи с некорректной его интерпретацией. К тому же ИХ является только статистическим показателем, он не может объективно отражать качество публикаций, а значит и уровень ученого. В результате накопилось большое количество нареканий на этот метод, в частности потому, что ИХ стал инструментом принятия административных решений относительно значимости ученых или важности тех или других исследований. В результате этого в науке, в том числе медицинской, произошел сдвиг мотивации с поиска нового знания, главной задачи науки, на достижение показателей, одним из которых является ИХ. А это в свою очередь породило искусственные, манипулятивные приемы повышения ИХ. Все это породило многочисленные попытки модифицировать ИХ, начиная с самого Х.Хирша [4], и до того [5,6,7,8]. Пока что признать эти попытки удачными нельзя, так как им не удалось потеснить ИХ, который остается доминирующим.
Это одна сторона дела, а другая состоит в том, что наука, количество ученых и публикаций разрослось так, что стало неохватным. Это требует сравнительно простых инструментов для оценки деятельности ученых, научных организаций и науки в целом. Вот почему ИХ продолжает быть общепринятой мерой и главным показателем успешной научной деятельности.
В этих условия важно оценить истинное место ИХ в библиометрии, исследовать его возможности и недостатки. Такие исследования проводились многократно (например, обзоры, [9.10], но, почти исключительно, на англоязычном материале, чаще всего в отношении отдельных авторов или научных журналов [9]. Между тем наукометрия исследовательских учреждений, хотя еще слабо развита, но дает дополнительные аналитические возможности благодаря большим числам, которые позволяют более четкого проявиться закономерностям. Это тем более важно, если эти учреждения принадлежат к одной сфере человеческой деятельности, в данном случае, к медицине.
Цели исследования
Оценить 1) спектр возможностей ИХ на основе материала научно-исследовательских учреждений и 2) публикационную деятельность этих учреждений в связи с ИХ.
Материал и методы
Объектом исследования были все научно-исследовательские учреждения, подчиненные Минздраву РФ (n=51), перечень которых получен в РИНЦ на странице «Реестр организаций – Научные организации Министерства здравоохранения РФ (51)». Список названий учреждений по РИНЦ представлен в Приложении (таблица 1). Ранжирование в этом списке сделано по числу цитирований в РИНЦ. Половина организаций являются научными центрами, остальные институтами. Далее все учреждения будут именоваться институтами и обозначаться ради краткости числом в соответствие с порядковым номером в таблица 1 Приложения.
Материалом для анализа послужили данные РИНЦ, где у каждого из институтов есть собственная страница, на которой более 100 показателей, статических или динамических.
В РИНЦ есть три источника данных: РИНЦ, elibrary.ru и ядро РИНЦ, которые различаются принципами и строгостью отбора публикаций. Для настоящего исследования ИХ взят в основной базе данных elibrary.ru, остальные - в дополнительном разделе «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ - распределение публикаций по числу цитирований».
В настоящей публикации анализировались пять показателей:
- ИХ
- Общее число публикаций,
- Общее число цитирований,
- Общее число авторов,
- Количество публикаций, ни разу не процитированных
В нашем материале первая зафиксированная публикация в РИНЦ относится к 1950 г. Последнее обращение 03.10 2017.
В качестве методов исследования служили: описательная статистика (сумма, минимум, максимум, медиана, средняя), корреляция по Спирмену, сравнение двух рядов (групп) по Манн-Уитни, линейная регрессия и плавающая средняя LOWESS.
Результаты
А. Основные характеристики институтов
Для общей характеристики институтов и анализа ИХ полезно объединить (суммировать) показатели и таким образом создать «объединенный институт» Минздрава РФ по показателям публикаций и цитирования. Суммарное распределение публикаций и цитирования представлено на рис. 1, а их табличное распределение показывает, что обобщенный ИХ равен 256. Это означает, что 256 публикаций имеют 256 и больше цитирований. Эти публикации составляют 0,12% всех, соответственно ниже ИХ располагается 99,88% публикаций. В эту часть входят публикации, ни разу не процитированные (53,1%). Стоит отметить, что 1 раз процитированы 14,2% публикаций, 2-3 раза 13,2%, 4-10 раз 12,6%, 11-50 раз – 5,9% и более 50 раз – 1,0% всех публикаций всех институтов МЗ РФ, включая те, которые составляют ИХ.
Рис. 1. Суммарное распределение публикаций 51 института по их цитированию (толстая линия) и по сумме цитирований этих публикаций (тонкая линия). На абсциссе обозначены только публикации со значимыми величинами цитирования (после 228 позиции публикации идут с пропусками по цитированию). Реперные точки отмечены квадратами.
Если вернуться от суммарных показателей к отдельным институтам, то их характеристики приведены в таблице 1.
Таблица 1
Количественные характеристики основных показателей 51 института.
| Показатели | n | Сумма* | Средняя | Медиана | Минимум | Максимум | |
| 1 | ИХ | 51 | - | 38,2 | 25,0 | 5 | 101 |
| 2 | Публикации | 51 | 210739 | 4132,1 | 2000,0 | 175 | 25162 |
| 3 | Цитирования | 51 | 867318 | 17006,2 | 6017,0 | 176 | 78827 |
| 4 | Авторы | 51 | 26941 | 528,3 | 287,0 | 23 | 3655 |
| 5 | Публикации с нулевым цитированием | 51 | 111835 | 8728,2 | 3519 | 115 | 42718 |
| 6 | Доля ИХ в общем числе публикаций (%) | 51 | - | 1,64 | 1,40 | 0,30 | 5,95 |
*Сумма 1 и 6 позиции не имеет смысла.
Разброс показателей очень велик, в том числе для ИХ (таблица 1, рис. 2). Различие средних и медиан определяется тем, что распределения всех показателей существенно отличаются от нормального. При этом медиана всегда меньше средней, что свидетельствует об асимметрии распределений в сторону малых значений. ИХ который имеет двухмодальное распределение (рис. 2) с модами 15 (ИХ до 40, n=34) и 65 (ИХ более 50, n=16). Эти две группы институтов существенно различаются по ИХ (Манн-Уитни, p<0,000).
Рис. 2. Распределение индекса Хирша (черные столбики) и среднего количества сотрудников (авторов) для каждой позиции ИХ (серые столбики) 51 института Минздрава РФ.
В связи с тем, что распределение всех переменных существенно отличается от нормального, в дальнейшем были использованы методы непараметрической статистики.
Б. ИХ и общее число публикаций и цитирований
ИХ зависит как от общего числа публикаций (r=0,858, p=0,000), так и цитирований (r=0,972, p=0,000). Однако эта зависимость криволинейна: с ростом числа публикаций и цитирования ИХ прирастает все медленнее. Свыше 5000-6000 публикаций и 30000-40000 цитирований прирост ИХ останавливается (рис.3, А и Б).
Рис. 3. Соотношение ИХ с общим числом публикаций (А) и цитирований (Б) 51 института Минздрава РФ. Жирная линия – кубический полином, пунктир – доверительный интервал 95%. На А показатели трех институтов за пределами графика (более 13, 19 и 25 тысяч публикаций и соответственно ИХ 84, 58, 87).
Б. ИХ и общее число авторов
Ранее было показано, что количество публикаций, цитирований и публикаций с нулевым цитированием зависит от количества авторов (сотрудников): эти показатели тем больше, чем больше сотрудников в институтах [11]. Эта закономерность воспроизвелась также в отношении ИХ: чем больше в институте авторов, тем больше ИХ института (рис. 2). Иначе говоря, чем больше сотрудников в институте, тем выше вероятность, что будет больше высокоцитируемых публикаций. Однако эта зависимость имеет непрямолинейный характер (рис. 3), и перелом функции происходит на уровне 500 авторов (сотрудников), который делит совокупность институтов на две группы по количеству авторов: меньше 500 сотрудников (n=35) и больше 500 сотрудников (n=16, рис. 3). Каждую из этих групп можно описать линейной функцией. В первой (до 500 авторов), ИХ существенно ниже (Ме=21) и зависит от количества авторов (r=0,670; p=0,000), во второй группе (более 500 авторов) ИХ выше (Ме=69,5, р=0,000) и корреляционная зависимость отсутствует (r=0,296; p=0,283, рис. 4).
Рис. 4. Соотношение индекса Хирша и количества авторов (сотрудников) в институтах (большие кружки, изогнутый пунктир – кубический полином). Первая группа институтов (до 500 авторов) дополнительно помечена треугольниками, вторая (более 500 авторов) – крестиками. Прямые линии – линейные регрессии двух групп. Институт с 3655 авторами за пределами графика.
Количество сотрудников и, соответственно, авторов - административный, а значит вненаучный фактор. Вот почему для дальнейшего анализа пришлось «очистить» ИХ, как и другие показатели, от показателя количества авторов. Для этого все показатели были нормированы количеством авторов. Нормирование привело к тому, что исходные показатели институтов (ИХ, количество публикаций и цитирований) уже не содержат в себе информации о количестве сотрудников. Этот показатель отражает цитирование среднестатистического автора (сотрудника) этих же институтов, а поэтому точнее отражают истинную публикационную деятельность институтов.
После нормирования распределение ИХ приняло мономодальную, близкую к гамма-распределению форму (рис. 5, оценивание по χ2 р=0,036, по Колмогорову-Смирнову d = 0,065).
Рис. 5. Распределение индекса Хирша до (пунктир) и после нормирования количеством авторов (сотрудников, сплошная линия).
Изменилось также распределение нормированного ИХ по отношению количества авторов (рис. 6, сравни с рис. 3). При этом и в первой группе (до 500 авторов, n=35, r=-0,4324; p=0,010), и во второй (более 500 авторов, n=16, r= -0,579; p=0,024) нормированный ИХ отрицательно коррелирует с количество сотрудников: чем больше сотрудников, тем меньше высокоцитируемых публикаций. Эти и другие показатели двух групп представлены в таблице 2.
Рис. 6. Соотношение нормированного индекса Хирша с количеством авторов (сотрудников) в институтах (большие кружки, изогнутый пунктир – LOWESS). Первая группа институтов (до 500 авторов) дополнительно помечена треугольниками, вторая (более 500 авторов) – крестиками. Прямые линии – линейные регрессии двух групп. Показатели института с 3655 авторами за пределами графика.
Таблица 2
Основные показатели двух групп институтов, различающихся по количеству авторов (сотрудников) – до и более 500.
| Показатели | 1-я группа (<500, n=35) | Различие медиан, р= | 2 группа (>500, n=16) | ||||
|
Меди- ана |
Мини- мум |
Макси- мум |
Медиа- на |
Мини- мум |
Макси- мум |
||
| Исходные показатели | |||||||
| Общее число авторов | 203 | 23 | 486 | 0,000 | 1040 | 604 | 3655 |
| Общее число публикаций | 1487,0 | 175 | 4992 | 0,000 | 8114,5 | 2958 | 25162 |
| Общее число цитирований | 3556 | 176 | 52340 | 0,000 | 36591 | 9041 | 78827 |
| ИХ по всем публикациям | 21,0 | 5 | 101 | 0,000 | 69,5 | 24 | 96 |
| Нормированные (средневзвешенные) показатели | |||||||
| Публикации на автора | 7,00 | 2,80 | 12,87 | 0,281 | 7,62 | 3,28 | 14,28 |
| Цитирование на автора | 21,0 | 1,13 | 107,7 | 0,000 | 29,8 | 11,17 | 70,5 |
| Индекс Хирша на автора | 0,13 | 0,03 | 0,31 | 0,000 | 0,06 | 0,02 | 0,13 |
| Нулевое цитирование на автора | 4,06 | 1,59 | 7,08 | 0,553 | 4,01 | 1,28 | 8,04 |
Как видно исходные показатели хорошо различают группы с пятикратным различием авторов (сотрудников): все эти показатели преобладают в больших институтах. После нормирования большие институты (более 500 сотрудников) практически сравнялись с малыми по количеству публикаций, их преобладание по цитированию существенно уменьшилось, а ИХ стал больше в малых институтах. Важно отметить, что ИХ до и после нормирования не коррелировали между собой (таблица 3, рис. 7, таблица 2 Приложения).
Рис. 7. Распределение институтов по индексу Хирша до нормирования (черные столбики; институты ранжированы по этому показателю) и после нормирования (серые столбики). Черная и серая изогнутые линии – полином четвертой степени для соответствующих распределений.
Нормирование показателей также привело к тому, что корреляционные отношения ИХ с остальными показателями существенно изменились (таблица 3).
Таблица 3
Корреляция индекса Хирша с основными наукометрическими показателями до (ИХ) и после нормирования (ИХ/А) показателей количеством авторов.
| № п/п | n | Корреляция по Спирмену | р= | Различие коэффициентов корреляции до и после нормирования (3) р= | |
| 1 | 2 | 3 | 4 | ||
| До нормирования | |||||
| 1 | ИХ vs. количество публикаций | 51 | 0,858 | 0,000 | |
| 2 | ИХ vs. количество цитирований | 51 | 0,972 | 0,000 | |
| 3 | ИХ vs. количество авторов | 51 | 0,819 | 0,000 | |
| 4 | ИХ vs. количество публикаций с нулевым цитированием | 51 | 0,799 | 0,000 | |
| 5 | ИХ vs. количество публикаций, процитированных более 0 раз, но меньше ИХ | 51 | 0,895 | 0,000 | |
| После нормирования количеством авторов | |||||
| 6 | ИХ vs. ИХ/А | 51 | -0,174 | 0,221 | - |
| 7 | ИХ/А vs. публикации/авторы | 51 | 0,212 | 0,136 | 0,000 |
| 8 | ИХ/А vs. цитирование/авторы | 51 | -0,313 | 0,025 | 0,000 |
| 9 | ИХ/А vs. Количество авторов | 51 | -0,691 | 0,000 | 0,000 |
После нормирования показателей существенно изменились все отношения меду ними. Первое – корреляция показателей после нормирования существенно уменьшилась, а в двух случаях, оставаясь значимой, изменила знак. Важнее то, что ИХ до и после нормирования не коррелируют (таблица 3-6), а это свидетельство тому, что они совсем разные показателя. Важно и то, что нормированный авторами ИХ отрицательно коррелирует с количеством авторов ((таблица 3-9). Иначе говоря, чем больше авторов (сотрудников) в учреждении, тем ниже показатель ИХ на автора, т.е. меньше высокоцитируемых публикаций. Слабая отрицательная корреляция связала нормированные ИХ с цитированием, но это понятно (см. обсуждение). И наконец, исчезла корреляция нормированного ИХ с нормированным количеством публикаций, как в целом (таблица 3-7), так и с нулевым цитированием. Но дело не столько в изменении знака корреляции ИХ с количеством авторов, сколько в том, что показатели разных институтов вели себя по-разному в зависимости от количества сотрудников (до и более 500, рис. 5).
В. ИХ и публикации, различающиеся по цитированию
В первой части работы (рис. 1) показано, что ИХ отражает только 0,12% публикаций всех институтов. Почти все лежат ниже ИХ, а это 99,88%. Для отдельных институтов этот показатель лишь немного больше (0,3-6,0%, в среднем 1,4%), т.е. подавляющее количество публикаций лежат за пределами ИХ. Естественен вопрос: находят ли отражение эти публикации в ИХ?
Всю совокупность публикаций по их цитированию можно разделить, по меньшей мере, на три части: первая - равна и больше ИХ (0,1%, П1ц≥ИХ), вторая - процитированные от 1 раза до уровня ИХ (46,8%, 0<П2ц<ИХ) и третья - ни разу не процитированные (53,1%, П3ц=0). Эти три части соотносятся как 1:381:443. Представляет интерес, как нормированный ИХ (ИХ/А) коррелирует с двумя другими частями распределения, а эти две части публикаций коррелируют между собой (таблица 4).
Корреляция ИХ/А с двумя другими группами публикаций, а также с их суммой оказалась незначимой, в отличие от ИХ, который хорошо коррелирует с исходными данными (таблица 3, позиции 4 и 5). В отличие от этого две группы, процитированные меньше ИХ, коррелировали меду собой.
Таблица 4
Корреляция индекса Хирша, нормированного количеством авторов (ИХ/А), с публикациями с нулевым цитированием (П3ц), процитированных 1 и более раз, но менее ИХ (П2ц) и количеством публикаций, процитированных меньше ИХ (П2ц+ П3ц), а также публикаций с нулевым цитированием (П3ц) и процитированных 1 и более раз, но менее ИХ (П2ц).
| n= | r | р= | |
| ИХ/А vs. П3ц | 51 | 0,071 | 0,620 |
| ИХ/А vs. П2ц | 51 | 0,235 | 0,096 |
| ИХ/А vs. П2ц+ П3ц | 51 | 0,212 | 0,135 |
| П2ц vs. П3ц | 51 | 0,471 | 0,001 |
Г. Высокоцитируемые публикации
В нашем материале большой разброс публикаций по цитированию (от 0 до 3446 цитирований), из которых 256 публикаций процитированы 256 и более раз. Они составляют ИХ. Чтобы иметь общее представление об этих работах, выберем 20 самых цитируемых публикаций. Две публикации были монографиями на русском, остальные – научными статьями по-английски, две из которых были обзорами. 19 статей относились к разделу «медицина», одна – к разделу «химия». 18 публикаций - клинические работы, из которых 2 – базовые исследования. Три статьи имели от 3 до 6 авторов, 12 публикаций – от 15 до 45 авторов и пять – более 300 авторов. Другие характеристики 20 публикаций приведены в таблице 5.
Таблица 5
Характеристика 20 самых цитируемых публикаций 51 института Минздрава РФ.
| Показатели | Медиана | Минимум | Максимум | |
| 1 | Кол-во авторов | 30 | 3 | 415 |
| 2 | Кол-во центров | 23 | 2 | 143 |
| 3 | Цитирований по РИНЦ | 1561 | 997 | 3446 |
| 4 | Цитирований по Scopus | 2552 | 0,0 | 5128 |
| 5 | Цитирований по Web of Science | 1499 | 0,0 | 4489 |
| 6 | Норма цитируемости по журналу* | 14,4 | 0,0 | 717,7 |
| 7 | Норма цитируемости по направлению** | 396,8 | 48,4 | 999,9 |
*Норма цитируемости по журналу, это цитируемость, нормализованная по журналу, рассчитывается путем деления числа цитирований, полученных данной статьей, на среднее число цитирований, полученных статьями такого же типа в этом же журнале, опубликованных в этом же году. Показывает, насколько уровень данной статьи выше или ниже среднего уровня статей журнала, в котором она опубликована.
**Норма цитируемости по направлению, это нормализованная по тематическому направлению, рассчитывается путем деления числа цитирований, полученных данной публикацией, на среднее число цитирований, полученных публикациями такого же типа этого же тематического направления, изданных в этом же году. Показывает, насколько уровень данной публикации выше или ниже среднего уровня других публикаций в этой же области науки.
Обсуждение
Исследование ИХ представляется важным, поскольку это показатель остается главным или самым употребимым при оценке деятельности ученых, несмотря на большое число справедливых и несправедливых нареканий. Благодаря РИНЦ уже 10 лет ИХ стали использовать для оценки работы научных учреждений в России. Это одна сторона дела – оценочная, а другая – исследовательская, и состоит она в том, что ИХ институтов дает большие возможности для его наукометрического (статистического) исследования благодаря большим числам, в первую очередь числам публикаций и цитирования. Это пока не big data, но на пути к этому новому и многообещающему движению научной мысли.
Переходя к анализу результатов работы, следует напомнить, что цитируемость публикации – единственное свидетельство того, что, по меньшей мере, прочитано ее название, но и это важно для ориентировки в тематике. С ростом числа цитирований возрастает вероятность того, что прочитано не только название, но и вся статья. Еще важнее, что статья вошла в научный оборот, и в этом ее вклад в науку. У непроцитированной статьи вероятность быть прочитанной ничтожна, а результативность ее равна нулю. Тут уместно перефразировать Петра Леонидовича Капицу «Непроцитированный <неопублиованный> результат означает отсутствие всякого результата». Все это определяет большое значение цитируемости для оценки научной деятельности. Главным ее показателем в настоящее время выступает ИХ.
Важно помнить, что ИХ имеет двойную размерность. Первая – количество публикаций на уровне и выше ИХ (≥ИХ), вторая размерность - количество цитирований одной публикации на уровне ИХ. У ИХ имеется также относительно точная интерпретация – самые цитируемые публикации, цитирование которых равно или больше ИХ. Наконец ИХ несет оценочную нагрузку как индикатор публикационной активности ученого/учреждения, но никак не качества публикаций ученого/учреждения. Имплицитно, в неявной форме предполагается, что количество самых цитируемых публикаций, т.е. ≥ИХ, отражает качество научной деятельности ученого/учреждения. Прямых доказательств этому нет, есть косвенные свидетельства. В своей оригинальной публикации Хорхе Хирш указывал, что нобелевские лауреаты, несомненные производители качественной научной продукции, имеют самые высокие ИХ [3]. Он рассчитал для лауреатов по физике среднее значение ИХ, которое составило 35. Сейчас это показатель порядка 60 [9]. Было показано, что этот показатель успешно работает и на более низком уровне науки [12]. Пока что нет прямых доказательств зависимости качества публикаций от величины ИХ, но нет и других простых и удобных методов оценки научной деятельности ученого/учреждения в условиях массового и все нарастающего производства научной продукции. Для примера, в 2018 году ученые по всему миру опубликовали рекордное количество научных работ - более 1,6 мллионов, и число их выросло на 5 % по сравнению с предшествующим годом [13]. Как оценить такой поток, хотя бы приблизительно? В этих условиях приходится прибегать к помощи количественных библиометрических методов, один из которых ИХ. Но именно потому, что поток так велик, а ИХ широко распространенная оценка, важно знать возможности и ограничения этого метода. А это метод, и только метод.
Помимо количественной у ИХ есть полезная техническая функция, позволяющая унифицировать определение порога для выявления самых цитируемых публикаций. Тут надо отметить, что выше этого порога располагаются публикации, которые, выражаясь фигурально, ИХ «видит». Правда, ИХ видит их близоруко – для него не имеет значения, как далеко по цитированию вырвались публикации-лидеры, для него единственно важно, сколько публикаций достигло и преодолело порог. При этом важны два обстоятельства: с одной стороны количество публикаций, определяющих ИХ, невелико, а с другой ИХ остается одним из показателей, определяющих эффективность работы, как научных учреждений, так и сотрудников.
Исходя из этого в настоящей статье в процессе работы общие задачи, сформулированные выше, были конкретизированы:
1) какова в общей массе доля работ, определяющих ИХ институтов, и, соответственно, какова доля работ находится ниже ИХ («за спиной» ИХ),
2) как соотносится ИХ с тем, что у него за спиной, «видит» ли что-нибудь и что видит ИХ «за своей спиной». На пути решения этих задач были получены и другие интересные факты, относительно ИХ.
Так, выяснилось, что ИХ отражает не только количество высокоцитируемых публикаций, но также содержит информацию о количестве авторов (условно сотрудников) институтов. Это не все сотрудники, за пределами исследования остались те из них, кто не имеет ни одной публикации, а значит, не учтен в РИНЦ. Скорее всего, это относится к начинающим сотрудникам без публикаций, а их число невелико. Количество сотрудников (авторов) – это административный показатель. Как было показано выше, он имеет отношение к общей производительности коллектива – чем больше сотрудников в учреждении, тем больше публикаций (таблица 3, позиция 1). Однако ИХ имеет мало отношения к научной работе, поскольку производителем публикаций является не институт (учреждение), но автор (сотрудник/сотрудники института). Только сотрудник или их небольшая группа способны подготовить публикацию и стать ее автором/авторами. Важно и то, как сравнивать институты по производительности их сотрудников, если в одном 23, а в другом 3655 сотрудников (таблица 1). Все это подвело к тому, что информация о количестве сотрудников в учреждении должна быть исключена из ИХ. Это было сделано на основе нормирования (деления) основных показателей на количество сотрудников. В результате нормировки был получен средневзвешенный ИХ публикационной активности сотрудника конкретного института (таблица 2 Приложения). Представляется, что только такой нормированный показатель может быть реальной характеристикой производительности научного учреждения. Ранее А.Варшавский и В.Маркусова уже производили сравнение научной деятельности России и ряда стран в целом или учреждений (РАН и его аналог во Франции) по количеству статей и ссылок из расчёта на одного исследователя [14]. Вслед за А.Варшавским и В.Маркусовой другие исследователи также использовали этот подход [15,16]. По-видимому, эти авторы сочли, что именно этот показатель более адекватная оценка публикационной деятельности. Это касается и других наукометрических показателей, по меньшей мере, количества публикаций и цитирования, которые были исследованы ранее [11]. А.Д.Полянин утверждает, что «нормированные индексы цитируемости являются существенно более точными наукометрическими показателями эффективности деятельности научных работников» [17]. Несмотря на все это, исходный ИХ институтов продолжает фигурировать в качестве показателя деятельности научных учреждений.
Процедура нормирования привела к тому, что нормированный ИХ не коррелирует с исходным ИХ. Более того такой ИХ отрицательно коррелирует с количеством авторов (сотрудников) в институтах (таблица 2). Из этого следует первый важный вывод: ИХ более всего отражает количество авторов в институте, а не продуктивность учреждения. Можно считать, что нормированный ИХ отражает среднюю активность сотрудника института по производству высокоцитируемых публикаций. В таком виде ИХ может служить показателем публикационной активности учреждения и способом сравнения институтов с разным количеством сотрудников.
Второй вывод на подступах к основной теме: в соответствие с нормированным ИХ в институтах с большим количеством сотрудников (более 500) производство высокоцитируемых публикаций ниже, чем в институтах с меньшим количеством сотрудников. Это четко проявилось при сравнении корреляционных полей с исходным ИХ (рис. 3) и после его нормирования (рис. 5): новый ИХ группы институтов, в которой больше 500 сотрудников, стал существенно меньше, чем в группе, в которой меньше 500 сотрудников. Более того, зависимость продуктивности от количества сотрудников проявилась и внутри каждой из двух групп (до и более 500 сотрудников). Следует подчеркнуть, что эти выводы сделаны на большом материале: более 50 институтов, более 200 тысяч публикаций, более 800 тысяч цитирований. Пока у авторов нет объяснения: почему увеличение количества сотрудников приводит к уменьшению их цитируемости их работ.
Сказанное до сих пор относилось к институтам в связи с ИХ, а теперь можно перейти к анализу собственно ИХ, который является главной целью исследования. Этот показатель отражает количество высокоцитируемых публикаций и в научной практике стал главной оценкой публикационной деятельности ученых и научных учреждений. Эта позиция ИХ задает ряд вопросов. По праву ли такая роль доверена ИХ? В какой мере ИХ отражает публикационную, а тем более научную деятельность учреждения? Решать эти вопросы можно разными путями, мы выбрали два: какова доля публикаций, определяющих ИХ, и содержит ли ИХ наукометрическую информацию об остальных публикациях.
Доля ИХ оказалась невелика, всего 0,1% или 1:1000 всех публикаций или несколько больше для отдельных институтов. Само по себе это не исключает того, что в этой небольшой части может содержаться информация о целом. Очевидно, что исходный ИХ для этого не годится, так как зашумлен информацией о количестве авторов (сотрудников). Но и нормированный ИХ не коррелирует с нормированным количеством публикаций, а с цитированием коррелирует слабо и отрицательно (таблица 2), что естественно, так как оба делят один источник – массив цитирования, и чем больше один показатель, тем меньше другой. Нормированный ИХ также не отражал количество публикаций с нулевым цитированием или процитированных меньше ИХ (таблица 3). Иначе говоря, ИХ отражает только 1:1000 всех публикаций, но мало что «знает» об основной массе публикаций. Это возвращает к вопросу: можно ли по одной тысячной всех публикаций доверять ИХ оценку публикационной деятельности научного учреждения?
Отвечая на этот вопрос, следует уверенно сказать, что не следует использовать обычный (исходный) ИХ для оценки публикационной деятельности научных учреждений, и только с осторожностью – нормированный (средневзвешенный) ИХ. К удивлению и сожалению, среди многочисленных данных РИНЦ такого показателя нет, но по данным, которые есть в РИНЦ его легко рассчитать (таблица 1 Приложения). Дополнительно в РИНЦ на главной странице институтов есть такие важные показатели как
1) «Среднее число публикаций в расчете на одного автора» (П/А)
2) «Среднее число цитирований в расчете на одну публикацию (Ц/П)
3) «Среднее число цитирований в расчете на одного автора» (Ц/А)
Эти показатели мало принимаются во внимание в отличие от ИХ. Представляется, что именно эти показатели, а не ИХ, должны лечь в основу наукометрической оценки деятельности институтов: первый (П/А) как оценка продуктивности института, второй (Ц/П) как условная оценка эффективности института. Этот второй показатель по сути дела является частным от деления (Ц/А):(П/А). Возможно, потребуется дополнительное исследование свойств этих двух показателей, чтобы окончательно утвердиться в их преимуществах перед ИХ, а нормированный ИХ (ИХ/А) использовать .
Есть еще одна задача: выяснить, насколько результаты анализа ИХ институтов, полученные при анализе большого массива данных, можно распространить на ИХ отдельных исследователей, располагающих сравнительно с институтами небольшим количеством публикаций. Работа на материале публикаций отдельных ученых-химиков показала, что корреляция между ИХ и общим числом публикаций, как и общим числом процитированных статей отсутствует [18]. Исходя их этих двух результатов легко предположить, что ИХ не будет коррелировать также с нецитированными работами (работы с нулевым цитированием). Иначе говоря, соотношение индивидуального ИХ с количественными характеристиками публикаций соответствует тому, что было обнаружено при анализе ИХ институтов. Есть еще одно совпадение, форма зависимости ИХ от общего числа цитирований: ее уменьшение с ростом ИХ [15] (для институтов рис. 3).
Главное отличие материала институтов и отдельных сотрудников состоит в том, что в случае отдельных исследователей нормирования не потребуется – ИХ и другие показатели ученого уже нормирован единицей, если у публикации один автор.
Выводы
- Исходный ИХ научно-исследовательских институтов МЗ РФ имеет большой, 20-кратный разброс.
- Исходный ИХ научно-исследовательских институтов МЗ тем больше, чем больше авторов (сотрудников) в институте. Эта зависимость не наблюдается, если количество авторов превышает 500.
- Исходный ИХ научно-исследовательских институтов МЗ главным образом определяется количеством авторов (сотрудников) в институте, что делает институты с разным количеством сотрудников несравнимыми.
- Зависимость исходного ИХ научно-исследовательских институтов от количества авторов вносит ошибку в оценку качества работы институтов.
- Нормированный авторами (средневзвешенный) ИХ следует считать более адекватной оценкой научной работы институтов, но он отражает лишь небольшую часть публикаций, хотя и самых востребованных.
- Нормированный авторами (средневзвешенный) ИХ существенно перестроил рейтинг институтов, снизив его преимущественно для институтов с большим количеством авторов (более 500).
- Представляется, что более адекватной оценкой научной деятельности институтов должны стать два показателя, представленных в РИНЦ: «Среднее число публикаций в расчете на одного автора» как оценка продуктивности института и «Среднее число цитирований в расчете на одну публикацию» как условная оценка эффективности института.
Библиография
- Евстигнеев В. А. Наукометрические исследования в информатике. [Internet]. URL: http://www.computer-museum.ru/books/n_collection/investigat.htm (Дата обращения: 19.01.2019).
- Garfield E. Citation indexes for science. A new dimension in documentation through association of ideas. Science. 1955; 122(3159): 108-111.
- Hirsch J. An index to quantify an individual’s scientific research output that takes into account the effect of multiple coauthorship. Scientometrics 2010; 85 (3): 741-754.
- Hirsch J. An index to quantify an individual’s scientific research output that takes into account the effect of multiple coauthorship. Scientometrics 2010; 85 (3): 741-754.
- Попов С. Как улучшить индекс Хирша. Троицкий вариант. 2010; (56): 3-14.
- Egghe, Leo Theory and practice of the g-index. Scientometrics. 2006; 69(1): 131-152. doi:10.1007/s11192-006-0144-7
- Kosmulski, M. I-a bibliometric index. Forum Akademickie 2006; 11: 31.
- Prathap, G. Hirsch-type indices for ranking institutions' scientific research output. Current Science 2006; 91 (11): 1439.
- Михайлов О.В. Цитирование и цитируемость в науке: Общие принципы цитирования. Современные показатели цитируемости. Цитируемость и качество научной деятельности исследователя. Москва: Ленанд; 2017. 208 с.
- Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого. Управление большими системами. 2013; (Специальный выпуск 44: Наукометрия и экспертиза в управлении наукой): 262-278.
- Немцов А.В., Кузнекцова-Морева Е.А. Публикационная деятельность научных медицинских организаций Министерства здравоохранения РФ. Социальные аспекты здоровья населения [электронный научный журнал] 2018; 62(4). URL: http://vestnik.mednet.ru/content/view/1002/30/lang,ru/. (Дата обращения: 19.01.2019).
- Бедный Б., Миронос А., Серова Т. Продуктивность исследовательской работы аспирантов (наукометрические оценки). Высшее образование в России 2006; (7): 20–36.
- Makri An. Pakistan and Egypt had highest rises in research output in 2018. Nature 21 December 2018; Correction 27 December 2018. doi: 10.1038/d41586-018-07841-9 https://www.nature.com/articles/d41586-018-07841-9 (Дата обращения: 19.01.2019).
- Варшавский А., Маркусова В. Оценку эффективности российских фундаментальных учёных следует скорректировать. [Интернет]. Наука и технологии РФ. URL: http://www.courier-edu.ru/cour0901/800.htm (Дата обращения: 19.01.2019).
- Никитушкин В.Г., Германов Г.Н., Корольков А.Н. Рейтинг институтов МГПУ по данным публикационной активности сотрудников. Ученые записки университета имени П.Ф.Лесгафта. 2015; 124(8): 148-155.
- Польдин О. В. , Матвеева Н. Н. , Стерлигов И. А. , Юдкевич М. М. Публикационная активность вузов: эффект проекта «5–100». Вопросы образования. 2017; (2): 10-35.
- Полянин А.Д Недостатки индексов цитируемости и Хирша. Индексы максимальной цитируемости. EqWorld. Мир математических уравнений. [Интернет]. 2014. URL: http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf ((Дата обращения: 19.01.2019).
- Федоров П.П., Попов А.И. Взаимосвязь показателей цитирования российских учёных. Вестник Российской Академии наук. 2014; 84 (3): 28-38.
References
- Evstigneev V.А. Naukometricheskie issledovaniya v informatike [Scientometric studies in computer science]. [Online]. 2018 [cited Jan 19]. Available from: http://www.computer-museum.ru/books/n_collection/investigat.htm. (In Russian).
- Garfield E. Citation indexes for science. A new dimension in documentation through association of ideas. Science. 1955; 122(3159): 108-111.
- Hirsch J. An index to quantify an individual’s scientific research output that takes into account the effect of multiple co-authorships. Scientometrics 2010;. 85 (3): 741-754.
- Hirsch J. An index to quantify an individual’s scientific research output that takes into account the effect of multiple co-authorships. Scientometrics 2010; 85 (3): 741-754.
- Popov S. Kak uluchshit' indeks Khirsha [How to improve the Hirsch index]. Troitskiy variant 2010; (56): 3-14. [Online]. Available from: https://trv-science.ru/2010/06/22/kak-uluchshit-indeks-xirsha/ (In Russian).
- Egghe, Leo Theory and practice of the g-index. Scientometrics. 2006; 69(1): 131-152. doi:10.1007/s11192-006-0144-7
- Kosmulski, M. I-a bibliometric index. Forum Akademickie. 2006; 11: 31.
- Prathap, G. Hirsch-type indices for ranking institutions' scientific research output. Current Science. 2006; 91 (11): 1439.
- Mikhaylov O.V. Tsitirovanie i tsitiruemost' v nauke: Obshchie printsipy tsitirovaniya. Sovremennye pokazateli tsitiruemosti. Tsitiruemost' i kachestvo nauchnoy deyatel'nosti issledovatelya [Citing and quoting in science: General principles of citation. Current citation rates. Citation and the quality of scientific research]. Moscow: Lenаnd. 2017. 208 p. (In Russian).
- Shtovba S. D., Shtovba E. V. Obzor naukometricheskikh pokazateley dlya otsenki publikatsionnoy deyatel'nosti uchenogo [Review of scientometric indicators to assess the publication activity of a scientist]. Upravlenie bol'shimi sistemami. 2013. (Spetsial'nyy vypusk 44: Naukometriya i ekspertiza v upravlenii naukoy): 262-278.(In Russian).
- Nemtsov A.V., Kuznektsova-Moreva E.A. Publikatsionnaya deyatel'nost' nauchnykh meditsinskikh organizatsiy Ministerstva zdravookhraneniya RF [Publication activities of scientific health institutions of the Health Ministry of the Russian Federation]. Sotsial'nye aspekty zdorov'ya naselenia [serial online] 2018 [cited 2019 Jan 19]; 62(4). Available from: http://vestnik.mednet.ru/content/view/1002/30/lang,ru/. (In Russian).
- Bednyy B., Mironos A., Serova T. Produktivnost' issledovatel'skoy raboty aspirantov (naukometricheskie otsenki) [The productivity of research work of graduate students (scientometric assessment)]. Vysshee obrazovanie v Rossii 2006; (7): 20–36. (In Russian).
- Makri An. Pakistan and Egypt had highest rises in research output in 2018. Nature 21 December 2018; Correction 27 December 2018. [Online]. 2018 [cited Jan 19]. Available from: https://www.nature.com/articles/d41586-018-07841-9. doi: 10.1038/d41586-018-07841-9
- Varshavskiy A., Markusova V. Otsenku effektivnosti rossiyskikh fundamental'nykh uchenykh sleduet skorrektirovat' [The assessment of the effectiveness of Russian fundamental scientists should be corrected]. Nauka i tekhnologii RF. [Online] 2018 [cited 2019 Jan 19]. Available from: www.strf.ru/organization.aspx?CatalogId=221&d_no=17296 (In Russian).
- Nikitushkin V.G., Germanov G.N., Korol'kov A.N. Reyting institutov MGPU po dannym publikatsionnoy aktivnosti sotrudnikov [Rating of MGPU institutes according to the publication activity of employees]. Uchenye zapiski universiteta imeni P.F.Lesgafta 2015; 124(8): 148-155. (In Russian).
- Pol'din O. V. , Matveeva N. N. , Sterligov I. A. , Yudkevich M. M. Publikatsionnaya aktivnost' vuzov: effekt proekta «5–100»[Publication activity of universities: effect of the «5–100» project]. Voprosy obrazovaniya 2017; (2): 10-35. (In Russian).
- Polyanin A.D Nedostatki indeksov tsitiruemosti i Khirsha. Indeksy maksimal'noy tsitiruemosti [Disadvantages of citation indices and Hirsch index. Maximum citation indices]. EqWorld. Mir matematicheskikh uravneniy. [Online]. 2014 [cited Jan 19]. Available from: http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf (In Russian).
- Fedorov P.P., Popov A.I. Vzaimosvyaz' pokazateley tsitirovaniya rossiyskikh uchenykh [The relationship of citation indicators of Russian scientists] Vestnik Rossiyskoy Akademii nauk 2014; 84 (3): 28-38. (In Russian).
Приложения
Таблица 1
Научные учреждения Министерства здравоохранения РФ на 03.10 2017.
№ п/п* обозначение института в тексте статьи
Таблица 2
Индекс Хирша до (ИХ) и после нормирования количеством авторов (ИХ/А) а также ранговые значения этих показателей. Номер института соответствует названию в таблице 1 Приложения.
| Институт № | Индекс Хирша | Ранги | ||
| ИХ | ИХ/А | ИХ | ИХ/А | |
| 1 | 92 | 0,050 | 3 | 43 |
| 2 | 84 | 0,023 | 5 | 51 |
| 3 | 46 | 0,137 | 16 | 14 |
| 4 | 87 | 0,090 | 4 | 29 |
| 5 | 58 | 0,034 | 14 | 48 |
| 6 | 96 | 0,075 | 2 | 34 |
| 7 | 65 | 0,063 | 13 | 38 |
| 8 | 82 | 0,090 | 6 | 30 |
| 9 | 69 | 0,111 | 10 | 23 |
| 10 | 101 | 0,208 | 1 | 5 |
| 11 | 80 | 0,082 | 7 | 33 |
| 12 | 67 | 0,199 | 11 | 6 |
| 13 | 57 | 0,044 | 15 | 46 |
| 14 | 70 | 0,062 | 9 | 40 |
| 15 | 34 | 0,090 | 22 | 28 |
| 16 | 37 | 0,030 | 18 | 50 |
| 17 | 77 | 0,127 | 8 | 18 |
| 18 | 34 | 0,147 | 23 | 13 |
| 19 | 66 | 0,063 | 12 | 39 |
| 20 | 24 | 0,037 | 28 | 47 |
| 21 | 40 | 0,066 | 17 | 36 |
| 22 | 37 | 0,121 | 19 | 21 |
| 23 | 37 | 0,182 | 20 | 7 |
| 24 | 23 | 0,152 | 29 | 10 |
| 25 | 27 | 0,107 | 25 | 24 |
| 26 | 20 | 0,072 | 35 | 35 |
| 27 | 35 | 0,148 | 21 | 11 |
| 28 | 29 | 0,101 | 24 | 25 |
| 29 | 14 | 0,048 | 44 | 44 |
| 30 | 22 | 0,306 | 30 | 1 |
| 31 | 25 | 0,062 | 26 | 41 |
| 32 | 18 | 0,129 | 39 | 17 |
| 33 | 22 | 0,060 | 31 | 42 |
| 34 | 16 | 0,046 | 42 | 45 |
| 35 | 22 | 0,095 | 32 | 26 |
| 36 | 20 | 0,256 | 36 | 3 |
| 37 | 25 | 0,163 | 27 | 9 |
| 38 | 21 | 0,095 | 33 | 27 |
| 39 | 21 | 0,164 | 34 | 8 |
| 40 | 18 | 0,148 | 40 | 12 |
| 41 | 18 | 0,063 | 41 | 37 |
| 42 | 13 | 0,125 | 45 | 20 |
| 43 | 19 | 0,126 | 37 | 19 |
| 44 | 11 | 0,129 | 46 | 16 |
| 45 | 16 | 0,084 | 43 | 31 |
| 46 | 5 | 0,032 | 50 | 49 |
| 47 | 9 | 0,083 | 47 | 32 |
| 48 | 19 | 0,119 | 38 | 22 |
| 49 | 5 | 0,217 | 51 | 4 |
| 50 | 7 | 0,259 | 48 | 2 |
| 51 | 7 | 0,137 | 49 | 15 |
Дата поступления: 13.01.2019