ОПЫТ ОЦЕНКИ ЭФФЕКТИВНОСТИ СИСТЕМЫ МЕНЕДЖМЕНТА КАЧЕСТВА НАУЧНО-МЕДИЦИНСКОЙ ОРГАНИЗАЦИИ |
30.03.2020 г. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DOI: 10.21045/2071-5021-2020-66-1-8
Карась Д.В., Бацина Е.А., Попсуйко А.Н., Данильченко Я.В., Артамонова Г.В. Резюме Актуальность. Оценка эффективности системы менеджмента качества научно-медицинской организации является сложным и важным процессом, от уровня научного обоснования которого зависит качество принимаемых управленческих решений и качество оказываемых медицинских услуг для населения. Цель исследования: представить оригинальный подход к оценке эффективности системы менеджмента качества научно-медицинского учреждения. Материал и методы. База исследования – НИИ комплексных проблем сердечно-сосудистых заболеваний. Методы исследования – математическое моделирование, социологический опрос и экспертные оценки. Период исследования: 2016–2018 гг. Эффективность системы менеджмента качества рассчитывалась на основе данных о мониторинге критериев результативности процессов системы управления учреждением. Авторская методика расчетов включала три этапа: определение весовых оценок критериев результативности процессов; расчет результативности процессов системы менеджмента качества; расчет эффективности системы менеджмента качества. Эффективность выражалась как среднегеометрическое значение от произведения результативности системы менеджмента качества, результативности достижения стратегических целей и результативности управления финансами учреждения. Принимался во внимание коэффициент вариации составляющих показателя эффективности. Результаты. Проведенная экспертная оценка веса критериев результативности процессов показала, что из 106 критериев 57 (54%) имеют среднюю оценку менее 4 баллов. Среднее значение разности между оценками результативности процессов с учетом и без учета весовых коэффициентов в 2016 г. составило 1,36%, в 2017 г. – 0,63%, в 2018 г. – 3,27%. Средние весовые коэффициенты достигнутых и недостигнутых критериев результативности процессов значимо не различались. Результативность системы менеджмента качества в целом составила: в 2016 г. – 87,1%, в 2017 г. – 79,9%, 2018 г. – 85,4%, в среднем за три года исследования – 84,1%. Расчетные оценки эффективности системы менеджмента качества НИИ комплексных проблем сердечно-сосудистых заболеваний составили: в 2018 г. – 87,2%, в 2017 и 2016 гг. – 83,5 и 87,7% соответственно. Значения коэффициентов вариации в исследуемом периоде были сопоставимы (от 13 до 17%). Оценка эффективности системы менеджмента качества чувствительна как к количеству параметров, заложенных в расчетную модель, так и к выбранному подходу их анализа и измерения. Заключение. Предложенный подход к оценке эффективности системы менеджмента качества представляет собой оригинальную методику расчета комплекса показателей количественной оценки суммарной эффективности процессов управления организацией, интегрирующих результативность процессов системы менеджмента качества, результативность управления финансами и достижение стратегических целей. В конкретном случае математическое моделирование выступает инструментом формализации системного подхода к управлению как основополагающего принципа менеджмента качества.
Ключевые слова: эффективность и результативность
системы менеджмента качества; критерии результативности процесса;
весовые коэффициенты; целевые показатели; экспертная оценка;
научно-медицинская организация.
EXPERIENCE IN EVALUATING EFFECTIVENESS OF THE QUALITY MANAGEMENT SYSTEM IN A SCIENTIFIC AND MEDICAL ORGANIZATION Abstract Significance. Evaluation of effectiveness of the quality management system in a scientific and medical organization is a complex and important process with the level of its scientific substantiation determining the quality of both managerial decisions and medical services provided to the population. Purpose: to present an original approach to evaluate effectiveness of the quality management system in a scientific and medical organization. Methods. The research base is the Research Institute for Complex Issues of Cardiovascular Diseases. Research methods - mathematical modeling, sociological survey and expert assessments. Research period: 2016-2018. Effectiveness of the quality management system was calculated on the basis of data on monitoring of the process efficiency criteria of the organization's management system. The author's method of evaluation included the following three stages: determining weighting coefficients of the process efficiency criteria; calculating process efficiency of the quality management system; and calculating effectiveness of the quality management system. Effectiveness is expressed as a geometric mean value of the product of the efficiency of the quality management system, efficiency of the strategic goals’ achievement and efficiency of financial management. The coefficient of variation of the effectiveness index components was taken into account. Results. Expert assessment of the weighting coefficients of the process efficiency criteria showed that 57 (54%) out of 106 criteria have an average score of less than 4 points. The average value of the difference between process efficiency evaluation with and without weighting coefficients equaled to 1.36% in 2016, 0.63% in 2017, and 3,27 % in 2018. The average weighting coefficients of the achieved and unachieved process efficiency criteria did not differ much. In general, efficiency of the quality management system equaled to 87.1% in 2016, 79.9% in 2017, and 85.4% in 2018 with the average of 84.1% over the three years under study. Estimated effectiveness of the quality management system in the Research Institute for Complex Issues of Cardiovascular Diseases added up to 87.2% in 2018, 83.5% and 87.7% in 2017 and 2016, respectively. Values of variation coefficients within the study period were comparable (from 13% to 17%). Effectiveness evaluation of the quality management system is sensitive to both the number of parameters included in the calculation model and the selected approach to their analysis and measurement. Conclusion. The proposed approach to evaluate effectiveness of the quality management system is an original method of calculating a set of indicators of quantitative assessment of the total effectiveness of the organization's management processes, integrating process efficiency of the quality management system, efficiency of financial management and achievement of strategic goals. In this case mathematical modeling is a tool to formalize the system approach to management as a fundamental principle of quality management. Keywords: effectiveness and efficiency of quality management system; process efficiency criteria; weighting coefficients; target indicators; expert assessment, scientific and medical organization.
Correspondending autor: Ekaterina A. Batsina, e-mail:
Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Введение В настоящее время понятие «эффективность системы менеджмента качества» все чаще становится объектом изучения специалистов из разных областей науки [1]. Для научно-медицинских организаций проблема эффективности управления деятельностью является традиционно острой как ввиду сложности устройства социально-экономической системы здравоохранения, так и значимости социальной и научной миссии по удовлетворению потребностей людей в здоровье на основе применения и развития потенциала современной медицинской науки. Общепринятое определение термина эффективность представлено в международном стандарте ГОСТ Р ИСО 9000:2015, где под ней понимается «соотношение между достигнутым результатом и использованными ресурсами» [2]. Несмотря на достаточно простую формулировку, оценка эффективности системы менеджмента качества (СМК) является сложным и важным процессом, от уровня научного обоснования которого зависит качество принимаемых управленческих решений и качество оказываемых медицинских услуг для населения. Последнее является имманентной целью современного этапа развития системы здравоохранения. В качестве детерминирующих факторов эффективности СМК организации выступают ее отраслевая принадлежность, особенности внешней и внутренней среды, специфика производимого продукта, а также конкретные внутренние и внешние условия, в которых функционирует организация. Особенность услуг научно-медицинских учреждений состоит в их нематериальном характере, что существенно усложняет процесс оценки эффективности системы управления качеством. В настоящем исследовании под эффективностью СМК авторы понимают степень достижения организацией запланированных и обеспечивающих устойчивое развитие результатов, установленных в соответствии с ее стратегическими целями, требованиями потребителей и ключевых заинтересованных сторон. Из всего многообразия моделей и методических подходов к оценке эффективности систем управления для научно-медицинского учреждения наиболее доступным, на наш взгляд, является метод математического моделирования и анализа, применение которого позволяет раскрыть феномен эффективности СМК, то есть измерить качество результатов и эффектов от проводимой политики и принимаемых управленческих решений в области развития системы менеджмента качества и на этом основании применять корректирующие воздействия. Особая ценность математических методов исследования в оценке СМК состоит в возможности измерения веса конкретных показателей эффективности, а также измерения взаимосвязи и взаимозависимости этих показателей. Таким образом, признавая методологическую ценность данного метода, рассмотрим возможности его использования на примере изучения эффективности СМК в конкретной научно-медицинской организации. Цель исследования – представить оригинальный подход к оценке эффективности системы менеджмента качества научно-медицинской организации. Материалы и методы Базой настоящего исследования является НИИ комплексных проблем сердечно-сосудистых заболеваний (Институт) – учреждение, научно-исследовательской сферы, оказывающее услуги в области медицины и образования, экономическая деятельность которого регламентирована бюджетным законодательством РФ. В качестве объекта исследования выступает СМК Института как часть интегрированной системы управления деятельностью организации. Предмет исследования – действующая модель процессов системы менеджмента качества, изучаемое явление – эффективность системы качества. Методы исследования – математическое моделирование, социологический опрос и экспертные оценки, анализ высшим руководством результативности СМК. С 2011 г. система менеджмента качества Института соответствует требованиям международных стандартов серии ISO 9000, система поэтапно сертифицирована по ГОСТ Р ИСО 9001:2008, затем ресертифицирована по ГОСТ Р ИСО 9001:2015. Период исследования: 2016-2018 гг. В соответствии с ГОСТ Р ИСО 9001:2015 «Системы менеджмента качества» результативность СМК складывается из нескольких составляющих, которые перечислены в п. 9.1.3 «Анализ и оценка» [3]: 1) соответствие продукции и услуг; 2) степень удовлетворенности потребителей; 3) результаты деятельности внешних поставщиков; 4) результативность действий, предпринятых в отношении рисков и возможностей; 5) потребность в улучшениях системы менеджмента качества; 6) успешность планирования; 7) результативность системы менеджмента качества. Соответствие продукции и услуг определяется соблюдением лицензионных требований по уставным видам деятельности Института. Оценка соответствия осуществляется внешними надзорными организациями посредством проверок. Степень удовлетворенности потребителей (пациента и персонала) изучается методом социологического опроса [4-6]. Эффективность СМК рассчитывалась на основе данных о мониторинге критериев результативности процессов системы управления учреждением. Методика расчетов разработана авторами статьи и включает последовательные этапы: 1) определение весовых оценок критериев результативности процессов (КРП) СМК с точки зрения их значимости в отношении достижения целей процессов СМК; 2) расчет суммарной результативности процессов СМК; 3) расчет эффективности СМК. При принятии решения о достижении критерия результативности целевого значения методически предусмотрено допустимое отклонение в пределах 5%, что учитывалось при расчетах итоговой результативности процессов. Весовая оценка КРП выполнялась экспертами (владельцами процессов) с применением шкалы от 1 (минимальный вес) до 5 (максимальный вес) баллов. Средние значения экспертных оценок по каждому критерию были переведены в размерность стандартной шкалы весовых коэффициентов (от 0 до 1), затем каждому достигнутому критерию результативности присваивали 1 балл, который умножался на величину соответствующего весового коэффициента (kR). Полученные значения по всем достигнутым КРП процесса суммировались. Далее рассчитывалась максимально возможная сумма баллов результативности по процессу как сумма всех весовых коэффициентов КРП данного процесса (kn). Таким образом, результативность процесса (РП) представлена отношением суммы баллов достигнутых КРП к максимально возможной сумме баллов по процессу (формула 1). где РП – результативность процесса, коэффициент от 0 до 1; R – количество (порядковый номер) достигнутых КРП, абс.; КРПR– достигнутый критерий результативности процесса R, КРПR =1; kR – весовой коэффициент достигнутого КРП, коэффициент от 0 до 1; n – общее количество КРП, абс.; kn – весовой коэффициент КРП n, коэффициент от 0 до 1; Суммарная результативность СМК организации рассчитывалась как среднее арифметическое от суммы РП по всем процессам (формула 2): где РСМК – результативность СМК, коэффициент от 0 до 1; N – количество (порядковый номер) отдельного процесса СМК, абс., РПN – результативность процесса N, коэффициент от 0 до 1. Исходя из принятого авторами статьи определения эффективности СМК как производной от степени достижения организацией результатов, значимых для всех заинтересованных сторон, расчет эффективности проводился с учетом следующих категорий результативности: способности производственных процессов достигать запланированных результатов (результативность СМК); способности организации в целом достигать своих стратегических целей (результативность достижения целей); эффективности управления финансами (результативность финансов). Будучи разнородными, указанные категории формируют координатные оси пространства эффективности СМК (рис. 1), в связи с чем могут быть математически соединены в интегральный показатель эффективности через функцию расчета геометрической средней.
Таким образом, эффективность СМК выражалась как среднегеометрическое значение от произведения данных показателей (формула 3). где Эф.СМК – эффективность СМК, коэффициент от 0 до 1; РСМК – результативность СМК, коэффициент от 0 до 1; РСЦ – результативность целей (рассчитывается как квадратный корень из произведения стандартизованных показателей: уровень выполнения плана мероприятий и уровень достижения целевых показателей), коэффициент от 0 до 1; РF – результативность финансов, коэффициент от 0 до 1; n – количество множителей под корнем, абс. Также принимался во внимание коэффициент вариации (Kvar) показателя эффективности СМК (коэффициент неравномерности значений компонентов эффективности СМК), который рассчитывался по формуле 4 как отношение среднеквадратического отклонения (СКО, σ) компонентов эффективности СМК от их геометрического среднего (Эф.СМК) к значению их геометрического среднего (Эф.СМК). СКО в данном случае рассчитывалось как квадратный корень из суммы квадратов разниц между значениями компонентов эффективности СМК и их средним геометрическим, деленное на соответствующее количество компонентов эффективности СМК. где KVAR – коэффициент неравномерности показателя эффективности СМК, коэффициент от 0 до 1; Эф.СМК – эффективность СМК, коэффициент от 0 до 1; РСМК – результативность СМК, коэффициент от 0 до 1; РСЦ – результативность целей (рассчитывается как произведение показателей: уровень выполнения плана мероприятий Х уровень достижения целевых показателей), коэффициент от 0 до 1; РF – результативность финансов, коэффициент от 0 до 1; σ – среднеквадратическое отклонение, абс. Коэффициент вариации (Kvar) интерпретировался как интегральный показатель равномерности достижения соответствующего уровня эффективности по всем её аспектам, учитываемым при оценке. Чем больше значение данного коэффициента, тем в большей степени различается уровень достижения составляющих эффективности СМК. Значимым с точки зрения неоднородности составляющих показателя эффективности считался коэффициент вариации более 0,3 (30%). Таким образом, все расчетные показатели эффективности СМК имеют размерность коэффициентов в диапазоне от 0 до 1, в эквивалентном процентном выражении – от 0 до 100%. Результаты. В рамках улучшений системы менеджмента качества в Институте за период 2016–2018 гг. проведено 5 внутренних аудитов (ВА). Сформулировано 331 наблюдение, из которых 286 (86,4%) предложений к улучшению, 40 (12,1%) замечаний и 5 (1,5%) несоответствий. В результате за указанный период проведена многократная ситуационная корректировка документированных процедур как следствие улучшений и повышения вовлеченности персонала в СМК [7,8]. В СМК организации с 2017 г. используется риск-ориентированный подход. Проводится идентификация рисков по структуре причин, степени опасности и тяжести последствий. Так, в 2017 г. идентифицировано 26 рисков, относящихся к категории опасных, 6 из них не мониторировались ранее. В 2018 г. количество «опасных» рисков снизилось суммарно до 21 (на 19,2%) по всем процессам [9,10]. В модели СМК Института – 14 процессов, достижение целей которых отслеживается в сумме по 106 критериям результативности. Мониторинг КРП проводится с разной периодичностью: от ежедневных до ежегодных измерений. Проведенная экспертная оценка веса КРП с точки зрения их значимости для достижения запланированных результатов показала, что из 106 критериев 57 (54%) имеют среднюю оценку менее 4 баллов. Следует обратить внимание, что абсолютное среднее значение разности (модуль разности) между оценками результативности процессов с учетом и без учета весовых коэффициентов даёт информацию о том, в какой мере в целом корректируется фактическая результативность процессов СМК в зависимости от учёта значимости вклада составляющих оценку КРП для достижения запланированных результатов. В 2016 г. значение этого показателя составило 1,36%, в 2017 г. – 0,63%, в 2018 г. – 3,27%. Теоретически, высокие значения данного показателя свидетельствуют о необходимости пересмотра критериев результативности на предмет их адекватности целям процессов. Однако более практический смысл имеет простое арифметическое среднее значение разности между оценками процессов с учетом и без учета весовых коэффициентов, то есть разность между итоговой результативностью СМК с учетом и без учета весовых оценок. Положительное значение этого показателя свидетельствует о том, что при управлении процессом в системе делается тактический акцент на достижение более значимых критериев результативности. Отрицательное значение говорит об обратном – достигая менее значительных для итоговых результатов позиций, наблюдается недоработка в отношении более весомых. Данный показатель может являться обобщенным признаком способности организации к расстановке приоритетов в ситуации, например, антикризисного управления. За исследуемый период разность между оценками процессов с учетом и без учета весовых коэффициентов имела положительный знак и составила в 2016 г. 0,94 %, в 2017 г. – 0,12%, в 2018 г. – 1,17%. Таким образом, учет весовых коэффициентов КРП может вносить существенную поправку в интерпретацию итоговых оценок результативности процессов. Результативность СМК в целом с учетом весовых коэффициентов и принятого допустимого отклонения в 5% (формула 2) составила в 2016 г. 87,1%, в 2017 г. – 79,9%, 2018 г. – 85,4%, в среднем за три года исследования – 84,1 % (табл. 1). Таблица 1 Результативность процессов СМК с учетом допустимого отклонения от целевых показателей (ЦП) (±5%) и весовых коэффициентов критериев результативности процессов (КРП)*, %
Примечание: * расчет результативности процессов по формуле 1. В целом, исполнение целевых показателей по процессам в период исследования характеризовалось уровнем достижения от 56 до 100%. Средние весовые коэффициенты достигнутых и недостигнутых КРП значимо не различались (табл. 2). Расчет эффективности СМК Института выполнен по формуле 3. Например, если в 2018 г. результативность процессов СМК с учетом весовых индексов КРП и допустимого отклонения в 5% составила 85,4%, по стратегической карте было реализовано 93% мероприятий и достигнуто 64,8% соответствующих целевых показателей с результативностью финансов 100% (что для Института определяется фактом отсутствия просроченной кредиторской задолженности), то эффективность системы в анализируемом году составила: Аналогичным образом рассчитана эффективность СМК в 2017 г: Для 2016 г. эффективность СМК составила: Однако если изменить в данном расчете состав показателей, например, не учитывать результативность финансов, оценка которой приведена достаточно условно и может быть рассчитана более детально, то эффективность системы будет несколько ниже (расчет по 2018 году): Таким образом, оценка эффективности СМК чувствительна как к количеству параметров, заложенных в расчетную модель, так и к выбранному подходу их анализа и измерения. Имеет также значение, в какой мере конкретные значения параметров модели удалены от итогового (интегрального) значения эффективности, то есть насколько равномерно по совокупности составляющих достигнут конкретный показатель эффективности. Соответствующая оценка произведена с использованием коэффициента вариации показателя эффективности СМК (формула 4). Из таблицы 2 видно, что значения коэффициентов вариации в исследуемом периоде были сопоставимы (от 13 до 17%) и не превышали тридцатипроцентный критический порог неоднородности составляющих эффективности СМК. Таблица 2 Матрица показателей эффективности СМК, %
Примечание: * единицы измерения от 0 до 1; односторонний уровень значимости (p) > 0,1. Обсуждение Следует признать, что опыт зарубежных и отечественных компаний свидетельствует о широком использовании различных методов оценки эффективности организаций [11-14]. Любая из методик оценки направлена на определенную цель и может быть применена в конкретной ситуации. При выборе метода, способа или модели оценивания эффективности организации возникает ряд проблем, основной из которых является чрезмерное многообразие внешних и внутренних факторов, влияющих на результаты компании [15,16]. Вместе с тем, ответ на вопрос, что именно организация понимает под эффективностью системы управления, является важнейшим ориентиром для постановки стратегических целей в области качества и развития СМК. В теории и практике менеджмента известны различные концепции эффективности. Одной из широко используемых моделей оценки эффективности является «пирамида эффективности» К. МакНейра, Р. Ланча и К. Кросса, которая предполагает оценку системы по нисходящей линии: от оценки действий руководителей до ежедневных (еженедельных, ежемесячных) действий персонала [17]. Р. Каплан и Д. Нортон в своих трудах описывают метод оценки эффективности на основе Системы сбалансированных показателей (BSC) [18], который включает анализ деятельности по четырем направлениям: работа с клиентами, внутренние процессы, управление персоналом и финансы. В одноименной BSC-модели Лоренца С. Мейсела сопоставляется эффективность сотрудников и эффективность процессов, что в конечном итоге определяет эффективность системы управления в целом. В модели Effective Progress and Performance Measurement (EP2M) Адамса и Робертса эффективное управление зависит от степени реализации стратегии, качественного обслуживания потребителей, повышения эффективности деятельности, расширения самостоятельности работников [17]. Кроме того, представляет интерес модель Ф. Котлера, в которой за критерий эффективности организации принята степень удовлетворения потребностей сторон, заинтересованных в деятельности учреждения. В современной отечественной литературе понятие эффективности также рассматривается как через призму исключительно экономических инструментов и методов, так и в более широком, интегральном ключе. В фокусе внимания А.И. Хорева и М.И. Самогородской находится анализ возможности повышения эффективности СМК через балансировку ресурсов, а также использование в процессном подходе СМК ресурсной модели анализа [19]. Целью развития организации в данном случае является достижение состояния устойчивости, в том числе, за счет рационального использования имеющихся ресурсов. С другой стороны, можно отметить интегративный подход к оценке эффективности системы менеджмента качества В. Копнова и А. Рогова на основе сбалансированных показателей, где особое внимание уделяется согласованности целей менеджмента качества и стратегических целей развития организации [20]. В основу настоящего исследования положен системный подход к анализу эффективности СМК, что предполагает рассмотрение организации как открытой системы, которая, согласно У. Демингу, представляет собой «сеть взаимозависимых компонентов, которые взаимодействуют для достижения цели системы» [21]. Данный подход предполагает рассмотрение основных компонентов системы в их организационном и функциональном единстве, а также учитывает влияние факторов внутренней и внешней среды на развитие самой системы в связи с тем, что современные СМК являются частью системы управления организацией и базируются на принципах всеобщего управления качеством (TQM) [22-24]. Оценка эффективности системы управления качеством в Институте позволила определить и обозначить количественно, в какой мере в конкретном периоде времени реализуются ключевые задачи системы управления качеством, насколько в условиях определенных финансовых ресурсов реализуются цели и запланированные результаты производственных процессов. Таким образом, проводя аналогию с существующими моделями оценки эффективности организаций и систем управления, можно заключить, что авторами была сформулирована обобщенная модель, включающая в себя части различных моделей (BSC, Ф. Котлера, современных принципов TQM, А. Дубровиной и Н. Меняйло). Согласно представленной оценке, систему менеджмента качества можно назвать эффективной в том случае, когда процессы СМК обеспечивают устойчивую способность организации в целом достигать своих стратегических целей в конкретной среде при установленных ресурсах. Таким образом, данное представление позволяет говорить об эффективности как о сложном, но измеримом интегративном качестве системы управления организацией, которое можно целенаправленно развивать. К важным ограничениям предложенного подхода следует отнести то, что в ней не учитываются качественные характеристики стратегических целей, а только факт их наличия и реализации, в то время как категория эффективности безусловно включает в себя аспект «правильности» целевых ориентиров. То же касается и критериев, используемых для оценки результативности процессов СМК. Расчетная модель может отражать меру эффективности только при условии, что критерии результативности сформулированы, во-первых, в соответствии со структурой процессов стандартной СМК (процессы планирования, измерения и улучшения, процессы жизненного цикла и его обеспечения) и, во-вторых, – в достаточной мере отражают способность производственных процессов достигать результатов, значимых и удовлетворительных для ключевых заинтересованных сторон. Заключение В результате исследования установлено, что существует множество подходов и методов оценки эффективности деятельности организаций, каждый из которых имеет свою область применения. Выбор конкретного подхода определяется, исходя из содержания, структуры и целей СМК и ответа на вопрос, что именно организация понимает под эффективностью собственной системы управления. Предложенный математический метод оценки эффективности системы менеджмента качества, основанный на авторском определении этого понятия, представляет собой оригинальную методику расчета комплекса показателей количественной оценки суммарной эффективности процессов управления организацией, интегрирующих результативность процессов СМК, результативность управления финансами и достижение стратегических целей. В конкретном случае математическое моделирование выступает инструментом формализации системного подхода к управлению как основополагающего принципа менеджмента качества. Прикладная ценность настоящего исследования состоит в возможности применения предложенного метода для развития системы управления научно-медицинского учреждения на основе количественных измерений результатов деятельности. Библиография
References
Статья поступила: 02.10.2019. Просмотров: 8077
Добавить комментарий
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Последнее обновление ( 09.04.2020 г. ) |
« Пред. | След. » |
---|