ЭВОЛЮЦИЯ СИСТЕМ И МЕТОДОЛОГИИ МЕЖДУНАРОДНЫХ РЕЙТИНГОВ УНИВЕСИТЕТОВ |
15.04.2015 г. | ||||||
Вялков А.И., Мартынчик С.А., Глухова Е.А., Орлова Н.А.
EVOLUTION OF SYSTEM AND METHODOLOGY OF INTERNATIONAL UNIVERSITY RANKINGS Контактная информация: Мартынчик Светлана Александровна, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script Contacts: Svetlana A. Martynchik, Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script Резюме. В работе представлена эволюция систем и методологии международных рейтингов университетов, с ориентацией на университеты с эффективной структурой управления и международной академической репутацией, способных соответствовать мировым тенденциям развития и мобильно реагировать на глобальные изменения. Показано, что для большинства российских университетов характерны низкая глобальная академическая репутация, слабая интернационализация, неэффективная система управления. Показано также, что перспективы вхождения российских университетов в первую сотню мировых рейтингов среди научно-образовательных центров зависят от выбора системы и методологии международного рейтинга. Предмет исследования - системы международного рейтинга, индикаторы эффективности деятельности университетов, наукометрические показатели. Целью исследования явилось проведение обзора литературных источников по вопросам развития систем и модификации методологии международных рейтингов университетов. Показано, что в качестве метода проведения работ использован контент-анализ отечественных и международных публикаций, ориентированных на повышение конкурентоспособности российских университетов. Продемонстрировано, что проект Министерства образования и науки «5-100», ориентированный на продвижение 5 российских университетов в первую сотню мировых рейтингов вузов среди мировых научно-образовательных центров, рассматривается как инструмент повышения конкурентоспособности ведущих российских университетов в мировом научно-образовательном пространстве. Показано, что перспективы вхождения ведущих российских университетов на глобальные позиции зависят от выбора системы международного рейтинга. Представлены барьеры входа российских вузов в системы мирового рейтинга по позициям: академическая репутация, репутация среди работодателей, соотношение студентов и преподавателей, цитируемость работ на одного преподавателя, количество иностранных преподавателей и студентов, количество публикаций и цитирований, индексируемых в международных наукометрических базах. Показано, что методология системы авторитетного рейтинга Times Higher Education World University Rankings (THE WUR) — одного из трех наиболее признанных глобальных рейтингов университетов, наряду с рейтингами ARWU (Academic Ranking of World Universities) и QS (Quacquarelli Symonds) претерпела изменения. Новая модификация составления рейтинга связана с использованием библиометрической информации на платформе Scopus и методик оценки количественно-качественных показателей SciVal. Показано, что переход на более продвинутую методику обусловлен новыми подходами к междисциплинарному сравнению и сравнению разных субъектов оценки, ориентированных на нормализацию наукометрических показателей. Ключевые слова: международные рейтинги университетов; наукометрические базы; показатели эффективности деятельности; наукометрические показатели; публикационная и инновационная активность; научно-педагогические работники. Abstract. The paper presents evolution of the systems and methodology of international university rankings, with a focus on universities with effective management structure and international academic reputation, that are able to comply with global development trends and flexible to respond to global changes. The paper shows that the majority of the Russian universities are characterized by low global academic reputation, weak internationalization, and inefficient management system. The document also points out that prospects for the Russian universities to enter the top 100 world rankings among the scientific and educational centers depend on the choice of the system and methodology of international rankings. The research subject covers the international ranking system, performance indicators of universities, and scientometric indicators. The purpose of the study was to review literature on systems’ development and modification of international university rankings methodology. Methods included content analysis of domestic and international publications aimed at improving competitive capacity of the Russian universities. The paper demonstrates that the "5-100" project of the Ministry of Education and Science, focused on advancing five Russian universities in the first hundred of the world rankings of universities among the world's scientific and educational centers, is seen as a tool to improve competitive capacities of the leading Russian universities in the world scientific and educational sphere. It is shown that the prospects of the leading Russian universities to enter the global rankings depend on the choice of the international rankings. The study presents barriers the Russian universities face to enter the world rankings with a breakdown on the following: academic reputation, reputation among employers, the ratio between students and teachers, cited papers per teacher, the number of foreign teachers and students, the number of publications and citations indexed in international scientometric databases. The study shows that methodology of the Times Higher Education World University Rankings (THE WUR), which is one of the three most recognized global university rankings along with ARWU (Academic Ranking of World Universities) and QS (Quacquarelli Symonds) ratings, has undergone changes. The new modification of the ranking is associated with the use of bibliometric information at the Scopus platform and valuation techniques of quantitative and qualitative indicators SciVal. Transition to a more advanced technique is caused by new approaches to interdisciplinary comparison and comparison of different subjects of evaluation aimed at normalization of scientometric indicators. Keywords. International university rankings; scientometric database; performance indicators; scientometric indicators; publication and innovation activity; scientific and pedagogical workers. В последнее время интерес к разработке методологии международных рейтингов университетов увеличивается во всем мире. Международные рейтинги университетов ориентированы не только на абитуриентов, студентов, но и на политическое руководство стран мира [4,6,14]. Так, по решению Правительства Российской Федерации весной 2013 г. был образован Совет по повышению конкурентоспособности ведущих университетов Российской Федерации - постоянно действующий международный совещательный орган, созданный для рассмотрения вопросов развития ведущих российских университетов [12]. Совет рассматривает отчеты вузов по реализации планов мероприятий, дает предложения по объемам финансирования, а также готовит для Министерства образования и науки России рекомендации по выполнению мероприятий Проекта продвижения 5 российских университетов в первую сотню мировых рейтингов вузов среди мировых научно-образовательных центров. Помимо вхождения не менее 5 российских университетов в первую сотню мировых рейтингов вузов, ключевым результатом Проекта должно стать появление в России к 2020-му году современных университетов-лидеров с эффективной структурой управления и международной академической репутацией, способных соответствовать мировым тенденциям развития и мобильно реагировать на глобальные изменения. 8 июля 2013 г. Минобрнауки России официально объявило о результатах конкурса на получение субсидии для вхождения в мировые рейтинги университетов. Среди победителей конкурсного отбора на предоставление государственной поддержки 15 российских университетов, получивших бюджетное финансирование на повышение своих позиций в мировом рейтинге высших учебных заведений [13]. В состав 15 российских университетов входят:
Университеты-участники Проекта отчитываются о выполнении своих программ повышения конкурентоспособности перед международным Советом и Министерством образования и науки Российской Федерации. Важными условиями предоставления университетам субсидии является выполнение ими планов мероприятий «дорожных карт», в том числе вхождение в мировые рейтинги университетов, а также обеспечение университетами софинансирования из внебюджетных средств. Перспективы вхождения 15 ведущих университетов в топ 500 зависят от выбора системы и методологии международного рейтинга [1,5,13]. Актуальность проблемы связана с необходимостью изучения системы показателей для вхождения на глобальные позиции для российских вузов при составления мирового рейтинга (барьеры входа, показатели результативности деятельности, наукометрические показатели и методика их нормализации). Цель исследования – изучение отечественных и международных источников литературы по проблемам развития систем и модификации методологии международных рейтингов университетов. В качестве метода проведения работ использован контент-анализ отечественных и международных публикаций, ориентированных на повышение конкурентоспособности российских университетов. В настоящее время единой системы мирового рейтинга университетов нет. Методология системы мирового рейтинга постоянно совершенствуется. Times Higher Education World University Rankings (THE WUR) — один из трех наиболее признанных глобальных рейтингов университетов, наряду с рейтингами ARWU (Academic Ranking of World Universities) и QS (Quacquarelli Symonds). Среди наиболее известных и значимых на сегодняшний день рейтингов лучших вузов мира можно отметить следующие [3,9]:
Именно на эти рейтинги обращают внимание работодатели во всем мире, рассматривая кандидатуры претендентов на рабочие места. Место вуза в рейтингах определяет уровень высшего образования и научно-инновационной деятельности и базовую зарплату выпускников. Рейтинги лучших вузов мира оценивают разные параметры: от качества официальных сайтов до репутации среди работодателей, поэтому результаты их не совпадают. Наиболее авторитетным рейтингом является рейтинг Thimes Higher Education (THE) Индикаторы эффективности деятельности университета в рейтинге THE (13) группировались в пяти областях [1,9]: 1. Обучение: среда обучения (30 процентов от общего рейтинговой оценки). 2. Исследование: объем, доход и репутация (30 процентов). 3. Цитирование: исследование влияния (30 процентов). 4. Доход: инновации (2,5 процентов). 5. Международные коллаборации: сотрудники, студенты и научные исследования (7,5 процента). Критерием включения в мировой рейтинг является не менее 1000 публикаций в период между 2008 и 2012 (200 статей в год). Рейтинг составляется, исходя из 13 показателей, каждый из которых вносит свой вклад в окончательную оценку:
Издателем данного рейтинга является британская компания TES Global. С 2004 по 2009 гг. рейтинг выходил под совместным брендом “THE-QS”. Начиная с 2010 г. выходят отдельно рейтинги QS и THE. Единственным поставщиком всех исходных данных рейтинга была глобальная медиа-компания Thomson Reuters. Рассмотрению данных подлежали более 50 миллионов ссылок на 6 000 000 журнальных статей, опубликованных за предыдущие пяти лет (2008-2012гг.). Данные взяты из 12000 научных журналов проиндексированных Thomson Reuters. Использована аналитическая надстройка над базой данных Web of Science - InCites. В ноябре 2014 г. Thomson Reuters было объявлено об изменениях в методологии рейтинга после ее рассмотрения материнской компании TES Global [11,13]. TES Global анонсировала реформу THE Rankings, и с 2015 г. сбор исходных данных, кроме библиометрии, будет осуществляться силами команды рейтинга THE. Подача заявки на участие в THE Rankings на 2015 г. будет осуществляться по адресу: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script Данные по цитированию публикаций будут получены из базы данных Elsevier в Scopus с использованием аналитической надстройки SciVal и технологии нормализации показателей по авторитетности журнала и c учетом предметной области SGR, SNIP [11,13]. Так, SJR – SCImago Journal Ranking – разработанный университетом Гранады рейтинг журналов, в котором учитываются не только общее количество цитирований, но и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок [15]. Еще более продвинутый показатель, используемый Scopus, SNIP (Source-Normalized Impact per Paper), разработан в Лейденском университете профессором Х.Ф. Моэдом [. Этот показатель учитывает уровень цитирований в каждой научной области, так что может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчета этого показателя заключаются в следующем. В показателе учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трех предыдущих лет. Публикационное окно - 3 года, Окно цитирования - 1 год. Вводится специальное определение «индивидуальной области науки» для журнала, или «окружения журнала»: все статьи, опубликованные в текущем году (в любом издании), которые хотя бы однажды цитировали выпуски журнала, вышедшие за последние десять лет. Для определения потенциала цитирования (это среднее число позиций, средняя «длина» списков цитируемой литературы в статьях «окружения») подсчитывается среднее число ссылок в статьях, составляющих «окружение журнала». Но учитываются только те ссылки, которые:
а) ведут на статьи, вышедшие в течение трех предыдущих лет; В целом предлагаемый способ учета уровня журнала, то есть импакт-фактор JCR, нормированный на среднее цитирование по соответствующей области знаний, хорошо коррелирует с показателем SNIP, который по способу расчета уже учитывает специфику отдельных областей знаний. Таким образом, рейтинговая система кардинально меняется при корректировке критерия и постановке задачи. В декабре 2013 году вышел отдельный предметный рейтинг в рамках проекта THE и QS – рейтинг вузов стран БРИКС и других развивающихся стран (THE BRICS & Emerging Economies). В данный рейтинг вошли вузы из 5 стран мира (Бразилия, Россия, Индия, Китай, Южная Африка). Российские вузы в международных рейтингах не заметны [11]. В топ 200 рейтингов лучших вузов мира фигурирует только 1 российское учебное заведение (МГУ), а в топ 500 - 6 (НИУ ВШЭ, СПбГУ, МГТУ им. Н. Э. Баумана, Финансовый университет, РЭУ им. Г.В. Плеханова, Новосибирский госуниверситет). Наиболее сильны позиции российских университетов в рейтинге BRICS THE (МГУ, МИФИ, НГУ, СПбГУ, МФТИ) и BRICS OS (МГУ, СПбГУ, НГУ, МФТИ, ВШЭ). По соотношению числа вузов в топ 500 лучших вузов мира к общему количеству вузов в стране Россия занимает 49 место из 56 стран. Методология рейтинга THE включает критерии отбора и значимость критерия (в процентах взвешивания). Данные полностью нормализованы (нормализованная средняя цитата в статье), чтобы отразить изменения в объеме цитирования между различными предметными областями. Рассчитывается 25-процентиль показателей для высокорейтинговых журналов. Единица наблюдения – полный функционал показателей рейтинга организации [11]. По мнению ведущих экспертов по наукометрии при переходе от Wеb of Science к Scopus все 5-100 университетов смогут принять участие в рейтинге THE и даже будут иметь преимущества по числу публикаций и по цитированию [7,8,11]. Для увеличения публикационной активности необходимо увеличивать число публикаций, индексируемых в базе данных Scopus, поскольку повышается цитирование этих статей, составляющие 30 процентов взвешивания. Кроме того, необходимо повышать публикационную активность профессорско-преподавательского состава (ППС), приходящихся на 6 процентов взвешивания, а также долю публикаций с зарубежными соавторами, составляющих 2,5 процентов взвешивания. Требованием модифицированного рейтинга THE является не менее 1000 статей в WoS/Scopus за 5 истекших лет. Это означает число статей за 5 лет: 2008-2012гг., 2009-2013гг., 2010-2014 гг. Число публикаций университета в 5-летнем окне прямо не входит в индикаторы THE, но от него зависит пропуск в рейтинг и цитирование. Считаются цитаты за последние 6 лет на статьи в 5-летнем окне (30% взвешивания). Верхняя граница окна определяется как текущий год минус 2 года. То есть, в 2014 г «окно публикаций» имело границы 2008-2012 гг., а цитирование этих статей подсчитывалось за период 2008-2013 гг. В 2015 году это будет цитирование статей из окна 2009-2013 гг. на протяжении 2009-2014 гг. В качестве ориентиров для участия российских университетов в рейтингах THE принимается публикации около 20 тыс. статей за 5 лет с уровнем цитирования около 8-10 цитат на статью. Переход от использования наукометрических данных платформы Web of Science к наукометрическим данным платформы Scopus обусловлен новыми подходами к междисциплинарному сравнению и сравнению разных субъектов оценки (использование показателей, независимых от области наук, показателей, нормализованных по научной области, показателей, характеризующие долю публикаций в топовых журналах по научной области). В Scopus учитываются распределение журналов по предметной области, индексируемых одновременно в Web of Science и Scopus, по квартилям, доля публикаций в топ 10% журналах по цитированию, показатели международного сотрудничества и цитирование публикаций по университетам, альтметрики, учет количества соавторов. По данным экспертов по наукометрии, к публикационным показателям в Scopus относятся нормализованные показатели публикаций и цитирования [2,8,9,10,18]: 1. Научный выход (Scholarly output) — журнальные публикации, серийные издания, книги, включая монографии и учебники, в том числе если сотрудники университета являются не только авторами, но и редакторами, компьютерные программы и т. д. В данном показателе не учитываются патенты и диссертации. Эти показатели учитываются за определенный промежуток времени и для компенсации различных размеров вуза нормируются на количество персонала (в полных ставках). 2. Цитирование (Citation Count) — учитывается количество цитирований на единицу персонала (в полных ставках) за определенный период. 3. Цитирование на публикацию (Citations per Output) — среднее цитирование одной публикации за определенный период. 4. Н-индекс (h-index) — используется только для сравнения исследователей в одной дисциплинарной области. 5. Нормализованное цитирование по научной области (Field-Weighted Citation Impact) — нормализованный по научным областям показатель цитирования. Учитывается за определенный временной промежуток (например, за 3 полных календарных года) с учетом типа публикации. 6. Доля высокоцитируемых публикаций (Outputsin Top Percentiles) — количество публикаций или доля публикаций, попадающих в определенный процент самых цитируемых по конкретным научным областям (1 %, 5 %, 10 % и 25 %) за определенный промежуток времени. Если учитывается именно количество таких публикаций, то это значение нормируется на количество персонала (в полных ставках). 7. Публикации в топ-журналах по процентилям (Publications in Top Journal Percentiles) — аналогично предыдущему показателю, но в отношении публикаций в журналах, попадающих, соответственно, в 1–25 % по журнальным показателям (импакт-фактор, SNIP, SJR). 8. Показатели сотрудничества (Collaboration) — рассчитываются по количеству или доле публикаций, подготовленных в сотрудничестве с другими организациями, определяемыми по аффилиации авторов, при этом отдельно учитывается международное и национальное сотрудничество. Если учитывается количество, то, как и в предыдущих показателях, происходит нормирование на количество сотрудников организации. 9. Влияние сотрудничества (Collaboration Impact) — рассчитывается среднее цитирование публикаций, подготовленных в международном или национальном сотрудничестве, за определенный промежуток времени. 10. Сотрудничество университетов с бизнесом (Academic-Corporate Collaboration) и AcademicCorporate Collaboration Impact — аналогично предыдущим показателям, но в отношении совместных с промышленными предприятиями публикаций, что характеризует потенциал реального применения результатов исследовательской деятельности. 10. Альтернативные метрики (Altmetrics) — оценивается: - научная деятельность (Scholarly Activity) — наличие публикаций организации в различных менеджерах цитирования, таких как Mendeley, CiteULike, Google Scholar Library, QUOSA, Papers, ScienceScape, MyScienceWork, colwiz, zotero, Academia.edu, ResearchGate и т. д.; - научный комментарий (Scholarly Commentary) — ссылки на публикации научных блогах, сайтах, рецензии и комментарии к публикациям в PubMed, Faculty of 1000, Wikipedia и др.; - социальная активность (Social Activity) — упоминание публикаций организации в различных социальных сетях; - Средства массовой информации (Mass Media) — упоминание публикаций организации в средствах массовой информации. Таким образом, в рейтинге THE, в его новой модификации, используются индикаторы для сравнительной оценки научной деятельности: - учитываются все типы публикаций в Web of Science и Scopus; - цитирование учитывается в виде полностью нормализованных показателей; - оценка качества публикаций проводится путем учета доли публикаций в топовых журналах и/или доли публикаций, попавших в самые цитируемые; - учитывается продуктивность предметной области при расчетах с использованием авторских долей. Именно с целью сравнительной оценки эффективности научной деятельности в разных областях науки крупнейшие наукометрические базы разрабатывают специальные аналитические инструменты. В последнее время в мире все больше и больше начинают использовать такие инструменты при стратегическом планировании науки, при оценке работы отдельных организаций, для принятия решений о выделении финансирования конкретных проектов и организаций. Выводы. 1. Система рейтинговых показателей проекта 5-100 рассматривается как инструмент повышения конкурентоспособности ведущих российских университетов в мировом научно-образовательном пространстве, финансовой поддержки, подготовки и реализации дорожных карт с учетом рекомендаций Международного совета. 2. Для составления мировых рейтингов университетов используются системы Times Higer Education (THE), Academic Ranking of World University (ARWU) of World University Ranking, учитывающие наукометрические показатели числа публикаций и цитирований, проиндексированных в базе данных Web of Science / Scopus. Переход от использования наукометрических данных платформы Web of Science к наукометрическим данным платформы Scopus в 2015 году обусловлен новыми подходами к междисциплинарному сравнению и сравнению разных субъектов оценки. 3 Барьерами входа на глобальные позиции для российских университетов являются: академическая репутация, репутация среди работодателей, соотношение студентов и преподавателей, цитируемость публикаций на одного научно-педагогического работника, количество иностранных преподавателей и и иностранных студентов. 4. Определена методика расчета нормализованных количественно-качественных показателей публикаций и цитирования для решения задачи позиционирования университета среди международных медицинских научно-образовательных центров. Список литературы
Referenses
Просмотров: 12462
Добавить комментарий
|
||||||
Последнее обновление ( 15.04.2015 г. ) |
« Пред. |
---|