DOI: 10.21045/2071-5021-2017-58-6-11

^1,2Лебедев Г.С., ²Крылов О.Б., ²Леляков А.И., ²Ткаченко В.В.
¹ФГАОУ ВО «Первый МГМУ им. И.М. Сеченова» Минздрава России (Сеченовский университет)
^.ФГБУ «Центральный научно-исследовательский институт организации и информатизации здравоохранения» Минздрава России, Москва 

DEVELOPING INFORMATION SYSTEM OF SCIENTIFIC RESEARCH MANAGEMENT IN HEALTH SCIENTIFIC INSTITUTIONS
^1,2Lebedev G.S., ²Krylov O.B., ²Leljakov A.I., ²Tkachenko V.V.
¹Sechenov First Moscow State Medical University, Moscow
²Federal Research Institute for Health Organization and Informatics, Moscow

Контактная информация: Крылов Олег Борисович, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Contacts: Krylov Oleg, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Information about authors:
Lebedev G.S., http://orcid.org/0000-0002-4289-2102
Krylov O.B., http://orcid.org/0000-0002-3001-1160
Финансирование. Исследование не имело спонсорской поддержки.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Acknowledgments. The study had no sponsorship.
Conflicts of interests. The authors declare no conflict of interest.

Резюме

В работе под автоматизированной системой управления научными исследованиями понимается управление заключением контрактов на выполнение государственных работ (заданий), управление приёмкой работ и оценка результатов работ, а также создание, пополнение и сопровождение информационной базы научных исследований Минздрава России.

В условиях ограниченных ресурсов на проведение научных исследований, формирование плана госзаданий представляет актуальную задачу, от качества решения которой во многом зависит будущее здравоохранения. При решении этой задачи целесообразно использовать известные методы наукометрии, системного анализа и исследования операций.

В настоящее время в России внедрены автоматизированные системы управления научными исследованиями в различных областях знаний, при этом в Минздраве РФ упомянутая система отсутствует. В процессе построения автоматизированной системы управления Минздрава РФ необходимо учитывать отраслевую специфику, которая требует переработки известных подходов.

В настоящей статье впервые предлагается комплексный подход к управлению научными исследования Минздрава РФ, учитывающий отраслевую специфику, предполагающий, в том числе, проведение динамической оценки результатов выполненных исследований и учёт полученной оценки в качестве обратной связи процесса управления.

Повышение качества информационной поддержки принятия решений предлагается за счёт создания единого информационного пространства, содержащего информацию по экспертам, научным коллективам, научным работам и научным результатам, которое позволит в полной мере применять известные методы наукометрии. Управление научными исследованиями рассматривается как единый бизнес-процесс, результатом которого являются научные результаты исследований, а управляющим воздействием – распределяемые ресурсы на проведение исследований. На основе рассматриваемого подхода, возможно применение показателей эффективность/стоимость. При этом для качественного управления научными исследованиями, необходимо наличие обратных связей по результатам процесса. В статье рассматриваются этапы процесса управления научными исследованиями, основные принципы управления, оценки научных результатов и обратных связей.

Ключевые слова. Научные исследования; автоматизированные системы; медицинские информационные системы; менеджмент научных исследований.

Abstract

Within this article, the automated system of scientific research management means management of government contracts, management of work acceptance and evaluation as well as development, update and maintenance of information database of scientific research of the Ministry of Health of the Russian Federation.

In the context of limited resources for scientific research, development of a government assignment plan is a relevant task. Future of the Russian healthcare much depends on quality of this task execution.

To execute this task it is advisable to use known methods of scientometrics, system analysis and operational research.

Currently in Russia there are automated systems of scientific research management in operation in various areas of knowledge, however, the mentioned system is missing in the Ministry of Health of the Russian Federation. Development of the automated management system of the Ministry of Health should consider specifics of the industry requiring redesign of the known approaches.

For the first time ever this article offers a comprehensive approach to management of scientific research in the Ministry of Health that takes into account specifics of the industry, involving in particular implementation of dynamic result evaluation of the completed studies and analysis of the evaluation as a feedback on the management process.

Quality improvement of information support for decision-making is suggested by means of creation of a unified information space containing information about experts, research groups, scientific works and scientific results, which will allow to fully apply known methods of scientometrics.

Scientific research management is considered as a single business process, the result of which is scientific research results, and its administrative actions - allocation of resources for research. Based on this approach, it is possible to use cost effectiveness indicators.

At the same time to ensure quality of scientific research management it is necessary to have feedback on the process results. The article outlines stages of the process of scientific research management, basic principles of management, evaluation of scientific results and feedback.

Keywords. Scientific research; automated systems; medical information systems; scientific research management.

Введение

В рамках настоящей статьи под автоматизированной системой управления научными исследованиями понимается управление заключением контрактов на выполнение государственных работ (заданий), управление приёмкой работ, оценка результатов работ и создание единой информационной базы научных исследований Минздрава РФ.

Формирование плана государственных работ (заданий) Минздрава РФ проводится методом проведения экспертных оценок с учётом актуальности тематики работ, научного потенциала исполнителей, мнения научного сообщества. В условиях ограниченных ресурсов на проведение научных исследований, от качества формирования плана госзаданий во многом зависит будущее здравоохранения страны, что согласуется с приоритетами правительства [5], приоритетными направлениями фундаментальных исследований РАН на 2017 год [4], а также новой программы фундаментальных научных исследований федеральных бюджетных учреждений Минздрава России [7].

Качество формирования плана госзаданий напрямую зависит от качества информационного обеспечения, сопровождающего процесс принятия решений. Качественное информационное сопровождение процесса формирования плана госзаданий позволит комплексно учесть наиболее важные факторы, такие как научные потенциалы коллективов НИУ, ранее достигнутые результаты по научным направлениям, качество проведенных экспертиз, экспертные оценки важности и достижимости заявленных целей и т.д. Таким образом, актуальной является задача создания автоматизированной информационной системы, обеспечивающей процесс принятия решений при формировании плана госзаданий в Минздраве РФ.

Анализ известных источников показал, что в ряде отраслей знаний разработаны информационные системы, позволяющие полностью или частично автоматизировать процесс управления научными исследованиями [1,9]. Такие системы используют известные методы наукометрии [8], которые используются для оценки потенциала научного сотрудника, авторского коллектива, научного учреждения [2]. Методы наукометрии могут использоваться, также для оценки качества полученных научных результатов [11], при этом в литературе не рассматривается динамическая оценка научных результатов. Для оценки актуальности проводимых работ и достижимости заявленных результатов работ, используются экспертные оценки[12]. В Минздраве РФ в настоящее время автоматизированная информационная система управления научными исследованиями отсутствует. Использование известных систем не может в полной мере отвечать потребностям Минздрава РФ. Это обусловлено в первую очередь следующими факторами:

• результаты научного исследования в области медицины зачастую не могут быть оценены непосредственно после окончания исследования. Для оценки результатов в области медицины зачастую требуется значительное время и медицинская практика [11];
• экспертное мнение относительно достижимых результатов обладает значительной долей субъективизма [12];
• объективные наукометрические показатели (ученая степень, звание и т.п.) могут не отражать реальный потенциал эксперта;
• в известных информационных системах и литературе не рассматривается комплексный подход к системе управления научными исследованиями, как к единому бизнес процессу, выполненный на основе системного подхода.

В настоящей статье впервые предлагается системный (комплексный) подход к управлению научными исследованиями в Минздраве РФ, предполагающий, в том числе, проведение динамической оценки результатов выполненных исследований и учёт полученных оценок, как показатель качества проведённых экспертиз и работы экспертов. Указанный подход предполагает создание единого информационного пространства, содержащего информацию по экспертам, научным коллективам, научным работам, научным результатам, которое позволит в полной мере применять известные методы наукометрии [8].

Управление научными исследованиями, рассматривается как единый бизнес-процесс, результатом которого являются научные результаты исследований, а управляющим воздействием – распределяемые ресурсы на проведение исследований. На основе рассматриваемого подхода, возможно применение показателей эффективность/стоимость. При этом для качественного управления научными исследованиями необходимо наличие обратных связей по результатам процесса.

В статье рассматриваются: этапы процесса управления научными исследованиями, основные принципы управления, оценки научных результатов и обратных связей.

Целью исследования, представленного в настоящей статье, является разработка автоматизированной информационной системы поддержки принятия решений при управлении научными исследованиями. Внедрение системы повысит качество управления научными исследованиями в Минздраве РФ, вследствие повышения качества информационной поддержки принятия решений и применения современных научных методов.

МЕТОДЫ

Разработка автоматизированной системы управления научными исследованиями проводится в следующей последовательности:

• рассмотрение предмета автоматизации – процесса управления заключением государственных контрактов и формулировка целей создания АИС УНИ;
• рассмотрение процесса управления заключением государственных контрактов в рамках единой системы - как единый бизнес-процесс;
• определение показателей эффективности рассматриваемого процесса управления для оценки результатов процесса управления;
• определение необходимых обратных связей для обеспечения эффективного процесса поддержки принятия решений.
• формулировка принципов построения автоматизированной системы управления научными исследованиями.

При разработке системы управления научными исследованиями используются методы системного анализа [1,9], предполагающие рассмотрение процесса управления научными исследованиями, как единого процесса. Такой подход предполагает оценку эффективности управления по результатам процесса, т.е. по оценке результатов исследований.

Для оценки потенциала экспертов, а также для оценки научных результатов учреждений, используются методы наукометрии. Основу оценки потенциала составляет взвешенная сумма показателей, которая отражена в ряде источников [10,11,12]. Для учёта обратной связи по результатам научных исследований используется коэффициент, учитывающий степень соответствия прогнозируемых экспертом результатов реально полученным.

Для оценки научных результатов используются методы математической статистики [6].

РЕЗУЛЬТАТЫ

Принципы построения автоматизтрованной системы управления научными исследованиямиРазработка принципов построения автоматизированной системы управления научными исследованиями проводится в следующей последовательности:Управление заключением контрактов.

Заключение контрактов на государственные работы (задания) исходит из следующих основных принципов:

• целевое распределение средств, исходя из актуальности и важности работ для РФ и отрасли в целом по приоритетным научным направлениям и/или отдельным тематикам (разработкам). Принятие решений практически не поддается формализации, поскольку принимаемые решения носят индивидуальный характер и зачастую основаны на интуитивных критериях;
• конкурсное (состязательное) распределение средств на госконтракты (задания) исходя из актуальности, важности работ, достижимости результатов и предполагаемого экономического эффекта от внедрения результатов исследований. Для поддержки принятия решений, разрабатываемая автоматизированная система, должна использовать методы: наукометрии, системного анализа, объективных экспертных оценок, решения задач оптимального выбора и многокритериальной оптимизации.

Рассматриваемая автоматизированная информационная система управления научными исследованиями (АИС УНИ) предназначена для поддержки принятия оптимальных решений при заключении контрактов на государственные задания, по заявкам государственных научных организаций.

Создание АИС УНИ приведет к достижению следующих целей:

• повышение эффективности принятия решений по управлению государственными заданиями;
• создание единого информационного пространства, содержащего информационные объекты для описания процесса и результата управления научными исследованиями Министерства здравоохранения РФ;
• формализовать и автоматизировать регламентированные и нерегламентированные отчеты НИУ в Минздрав России;
• уменьшить избыточность и разнородность документооборота по научным исследованиям в Минздраве России.
• Повышение эффективности принятия решений достигается путем:
  • информационной поддержки, учета и автоматизации экспертизы заявок на НИР и НИОКР, и принятия решения о выделении средств финансирования при заключении госконтрактов;
  • учета и автоматизации процесса экспертизы, и оценки научных результатов исследований;
  • учета внедрения результатов исследований в медицинскую практику и конечных научных результатов исследований.

Создание единого информационного пространства позволит вести и поддерживать в актуальном состоянии:

• базу госзаданий, заявок, результатов исследований, в том числе с учетом показателей эффективности и стоимости;
• единую базу НИУ, научных сотрудников, участвующих в НИР и НИОКР Министерства здравоохранения, в том числе, базу экспертов Министерства здравоохранения и привлекаемых экспертов;
• систему показателей и критериев оценок эффективности научной деятельности в рамках госзаданий;
• поисковую и справочную системы на базе классификаторов и рубрикаторов.
• Заключение государственных контрактов как бизнес-процесс.

Процесс заключения государственных контрактов начинается с подачи НИУ заявки на заключение государственного контракта в соответствующее подразделение Минздрава России. Результатом бизнес процесса является заключение государственного контракта или отказ в его заключении. При заключении государственного контракта, также определяются стоимость (цена) работы, срок работы, срок отчетности и отчетные материалы. Таким образом, имеет место бизнес-процесс в его классическом понимании – преобразование входа в выход.

Бизнес-процесс рассмотрения заявок представлен на 1Рисунок 1.

Рис. 1. Бизнес-процесс рассмотрения заявок

Бизнес-процесс оценки соответствия достигнутых результатов работы по госконтракту, заявленным результатам.

Процесс аналогичен процессу рассмотрения заявок. Отличие состоит в том, что для оценки качества достигнутых результатов могут применяться показатели, используемые в наукометрии [8].

Результаты работы по госконтракту и их оценка.

Исходя из целей настоящей работы, результаты госконтракта можно классифицировать следующим образом:

• теоретические результаты – результаты, непосредственно не внедренные в производственные процессы;
• методы измерения качества полученных результатов – наукометрические показатели, например: индекс цитирования;
• экономический эффект от внедрения, количественно, оценить не представляется возможным;
• практические результаты – результаты, внедренные в производственные процессы. Наиболее показательной оценкой качества результатов представляется достигнутый экономический эффект [6].

Обратная связь по результатам оценки результатов исследований

Количественные оценки полученных результатов по госконтрактам и внебюджетным работам, учитываемые в рамках единой информационной системы, позволит применять методы математической статистики [12].

При этом будут получены следующие результаты:

• Конечные оценки достоверности суждений экспертов и групп экспертов
• Обоснованы или скорректированы требования к экспертам и экспертным группам при экспертизе проектов различной сложности и стоимости
• Математическое ожидание экономического эффекта выполняемых работ, ожидаемые показатели эффективность/стоимость и статистические показатели достоверности оценок
• Ожидаемые результаты научных коллективов, и как результат - оценка эффективности коллективов на единицу затрат

По указанным статистическим результатам могут быть проведены или скорректированы настройки целевых функций АИС УНИ и повышено качество рекомендаций принятия решений по управлению госконтрактами и проведению внебюджетных работ.

ОБСУЖДЕНИЕ

Ключевым вопросом управления научными исследованиями является #организация проведения экспертных оценок.

Решение о заключении государственного контракта опирается на экспертные заключения, при этом в качестве экспертов могут привлекаться как сотрудники учреждений Минздрава России, так и сторонние эксперты [12]. При выборе экспертного сообщества должны учитываться следующие принципы:

• компетентность экспертов;
• независимость экспертов, т.е. отсутствие признаков аффилированности с учреждениями и коллективами, подавшими заявку;
• репрезентативность выборки экспертов, позволяющая получить достаточную степень достоверности экспертных заключений.

Следующим ключевым вопросом управления государственными контрактами является оценка результатов исследований.

Необходима оценка как теоретических, так и практических результатов. Общими для теоретических и практических результатов является то, что оценка, как наукометрическая оценка, так и оценка экономического эффекта, меняется во времени [8, 12]. В частности, для теоретических результатов индекс цитирования меняется во времени, а на полученных теоретических результатах могут быть основаны практические результаты других работ, дающие экономический эффект. Эффект от внедренных практических результатов может также меняться во времени и т.п. В общем случае, в результате выполнения госконтракта мы имеем совокупность теоретических и практических результатов, оценка которых меняется во времени, которые могут быть представлены в виде простого графа [6].

Пример с учетом вторичных результатов представлен на . Количество ребер графа, учитываемых при оценке эффективности работ по госконтракту, может варьироваться, при этом ребра могут учитываться с различными весами. Количество учитываемых ребер и весовые коэффициенты предполагается определить после набора статистики [6].

Рис. 2. Пример описания результатов госконтракта

Таким образом, целесообразно проводить динамическую оценку результатов завершенных работ, по уже выполненным госконтрактам, с учетом изменяющихся наукометрических показателей и внедрения результатов в практику. Результатом динамической оценки будет совокупность наукометрических показателей теоретических результатов и оценка экономического эффекта внедрения практических результатов.

Рассматриваемая в статье АИС УНИ может также применяться при принятии решений о поддержке внебюджетных научных исследований в области медицины.

Управление поддержкой научных исследований со стороны Минздрава России заключается в организации проведении экспертизы и предоставлении ее результатов по запросам внебюджетных фондов и/или НИУ по заявкам внебюджетных фондов. Принципы проведения экспертизы [12] и выбора экспертов целесообразно применять те же, что и при экспертизе заявок на заключение госконтрактов. При этом работы, финансируемые внебюджетными фондами, их результаты, проводимые экспертизы могут быть, также учтены в рамках АИС УНИ.

Схема взаимодействия внебюджетных фондов, НИУ и Минздрава России представлена на 3.

Рис. 3. Схема взаимодействия при внебюджетном финансировании

Выводы

Рассмотренные в статье проблемы и задачи, стоящие по управлению научными исследованиями, показали необходимость в создании автоматизированной информационной системы управления научными исследованиями в Минздраве России.

Очевидность и целесообразность создания единого информационного пространства в медицинской науке, для поддержки процесса управления научными исследованиями, подтверждается целями Стратегии развития медицинской науки [5] и интегрируется в научную платформу «Инновационные фундаментальные технологии в медицине» [3].

Описаны, как необходимые, основные автоматизируемые в АИС УНИ бизнес-процессы и положительные результаты, полученные при автоматизации этих процессов, в том числе, показана актуальность построения такой системы для повышения качества формирования плана госзаданий.

Актуальны подходы и методы, примененные при построении указанной системы, к которым относятся:

• процесс управления на основе системного подхода, в рамках одной системы, как единого бизнес-процесса;
• принципы выбора экспертов – компетентность, независимость, репрезентативность выборки;
• динамическая оценка результатов научных исследований, в том числе и после окончания государственного контракта;
• учет соответствия полученных в результате государственного контракта научных результатов, ожидаемых в качестве обратной связи, для оценки качества проводимой экспертизы;
• уменьшение избыточных документов при согласовании, проведении и завершении госконтракта;
• постоянная актуализация и пополнение единой информационной базы научных исследований Минздрава России;
• минимизация времени на составление и рассмотрение регламентированных отчетов.

Автоматизированная информационная система управления научными исследованиями использует: методы системного анализы, наукометрии, математической статистики, а также может быть применена при управлении внебюджетными работами.

Кроме того, рассмотрена обратная связь по статистическим показателям, необходимая для настройки оценочных функций и параметров АИС УНИ с целью повышения эффективности принятия решений, в частности, показана целесообразность учета качества экспертной оценки по результатам ранее проведённых экспертиз.

Библиография

1. Гумеров О.А. Автоматизированные системы научных исследований. Красноярск: Красноярский государственный педагогический университет; 2003. 13 c.
2. Гусев А.Ф., Бедорева И.Ю., Хафизова Э.Р. Разработка системы процессного управления проведением научных исследований в медицинском научно-исследовательском учреждении. Хирургия позвоночника 2010; (4): 90-97.
3. Клименко Г.С., Лебедев Г.С. Первоочередные проекты развития российского интернета в здравоохранении. Социальные аспекты здоровья населения [электронный научный журнал] 2016; 51 (5). URL: http://vestnik.mednet.ru/content/view/780/30/lang,ru/ (Дата посещения 19.10.2017).
4. О Перечне программ фундаментальных исследований РАН по приоритетным направлениям, определяемым РАН, на 2017 год: Постановление Президиума Российской академии наук от 20.12.2016 г. №227 (Приложение 1). [Интернет] 2016. URL: http://www.ras.ru/presidium/documents/directions.aspx?ID=4d340b45-4e05-4387-ae17-ca2a217b2a41 (Дата обращения 19.10.2017)
5. Об утверждении Стратегии развития медицинской науки в Российской Федерации на период до 2025 года: Распоряжение правительства Российской Федерации от 28.12.2012 г. №2580-р. [Интернет] 2012. URL: http://archive.government.ru/special/gov/results/22272/ (Дата обращения 16.10.2017).
6. Овчаров О.А. Актуальные проблемы современных научных исследований: методология, экономика, статистика: сборник статей. Москва: Директ-Медиа; 2013. 143 с.
7. Стародубов В.И., Перхов В.И., Нефедова Е.В. Анатомия новой программы фундаментальных научных исследований. Экономика науки 2016; (1): 14-21.
8. Сюнтюренко О.В., Гиляревский Р.С. Использование методов наукометрии и сопоставительного анализа данных для управления научными исследованиями по тематическим направлениям. Научно-техническая информация. Серия 2: Информационные процессы и системы 2016; (12): 3-10.
9. Фомичев Н.И. Автоматизированные системы научных исследований. Ярославль: Ярославский государственный университет; 2001. 112 с.
10. Холматова К.К., Гржибовский А.М. Применение исследований «случай-контроль» в медицине и общественном здравоохранении. Экология человека 2016; (8): 53-60.
11. Холматова К.К., Харькова О.А., Гржибовский А.М. Классификация научных исследований в здравоохранении. Экология человека 2016; (1): 57-64.
12. Шарабчиев Ю.Т., Дудина Т.В. Методология экспертизы планируемых и завершённых научно-исследовательских разработок. Медицинские новости 2010; (5-6): 18-27.

References

1. Gumerov O.A. Avtomatizirovannye sistemy nauchnykh issledovaniy [Automated systems of scientific researches]. Krasnoyarsk: Krasnoyarskiy Gosudarstvennyy Pedagogicheskiy Universitet, 2003, 13 p. (In Russian).
2. Gusev A.F., Bedoreva I.Yu., Khafizova E.R. Razrabotka sistemy protsessnogo upravleniya provedeniem nauchnykh issledovaniy v meditsinskom nauchno-issledovatel'skom uchrezhdenii [Development of the process-based management system for scientific researches in a health research institution]. Khirurgiya pozvonochnika 2010; (4): 90-97. (In Russian).
3. Klimenko H.S., Lebedev G.S. Pervoocherednye proekty razvitiya rossiyskogo interneta v zdravookhranenii [Priority projects for the development of Russian internet in health care]. Sotsial'nye aspekty zdorov'ya naseleniya [serial online] 2016 [cited 2017 Oct 19]; 5 (51). Available from: http://vestnik.mednet.ru/content/view/780/30/lang,ru/ (In Russian).
4. O Perechne programm fundamental'nykh issledovaniy RAN po prioritetnym napravleniyam, opredelyaemym RAN, na 2017 god [On the List of programs of fundamental studies in priority areas defined by the RAS for 2017]. Postanovlenie Prezidiuma Rossiyskoy akademii nauk (RAN) ot 20.12.2016 g. №227 (Prilozhenie 1). [Online] 2016 [cited 2017 Oct 19]. Available from: http://www.ras.ru/presidium/documents/directions.aspx?ID=4d340b45-4e05-4387-ae17-ca2a217b2a41 (In Russian).
5. Ob utverzhdenii Strategii razvitiya meditsinskoy nauki v Rossiyskoy Federatsii na period do 2025 goda [On approving the Strategy for developing medical science in the Russian Federation for the period up to 2025]. Rasporyazhenie pravitel'stva Rossiyskoy Federatsii ot 28.12.2012 g. №2580-r. [Online]. 2012 [cited 2017 Oct 16]. Available from: http://archive.government.ru/special/gov/results/22272/ (In Russian).
6. Ovcharov O.A. Aktual'nye problemy sovremennykh nauchnykh issledovaniy: metodologiya, ekonomika, statistika: sbornik statey [Actual problems of modern scientific research: methodology, economics, and statistics. Collection of articles]. Moscow: Direct-Media; 2013. 143 p. (In Russian).
7. Starodubov V.I., Perkhov V.I., Nefedova E.V. Anatomiya novoy programmy fundamental'nykh nauchnykh issledovaniy [Anatomy of a new program for fundamental scientific research]. Ekonomika nauki 2016; (1): 14-21. (In Russian).
8. Syuntyurenko O.V., Gilyarevskiy R.S. Ispol'zovanie metodov naukometrii i sopostavitel'nogo analiza dannykh dlya upravleniya nauchnymi issledovaniyami po tematicheskim napravleniyam [Application of scientometrics and comparative data analysis methods to scientific research management in thematic areas]. Nauchno-tekhnicheskaya informatsiya. Seriya 2: Informatsionnye protsessy i sistemy 2016; (12): 3-10.(In Russian).
9. Fomichev N.I. Avtomatizirovannye sistemy nauchnykh issledovaniy [Automated systems of scientific researches]. Yaroslavl': Yaroslavskiy gosudarstvennyy universitet; 2001. 112 p. (In Russian).
10. Kholmatova K.K., Grzhibovskiy A.M. Primenenie issledovaniy «sluchay-kontrol'» v meditsine i obshchestvennom zdravookhranenii [Case-control studies in medicine and public health]. Ekologiya cheloveka 2016; (8): 53-60. (In Russian).
11. Kholmatova K.K., Khar'kova O.A., Grzhibovskiy A.M. Klassifikatsiya nauchnykh issledovaniy v zdravookhranenii [Classification of scientific researches in health care]. Ekologiya cheloveka 2016; (1): 57-64. (In Russian).
12. Sharabchiev Yu.T., Dudina T.V. Metodologiya ekspertizy planiruemykh i zavershennykh nauchno-issledovatel'skikh razrabotok [Methodology for inspection of planned and completed research projects]. Meditsinskie novosti 2010; (5-6): 18-27. (In Russian).

Дата поступления: 29 июля 2017 г.

Добавить комментарий

Пожалуйста оставляйте комментарии только по теме. Вы можете оставить свой комментарий любым браузером кроме Internet Explorer старше 6.0
Имя:
E-mail
Комментарий:
Код:*