| 21.09.2026 г. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
DOI: 10.21045/2071-5021-2026-72-4-10
1Огородникова С.Ю., 1Константинова Е.Д., 1Маслакова Т.А., 2Билаш Н.В. Аннотация Актуальность. Во многих прикладных исследованиях, особенно в том числе медицинских, возникает задача определения порогового значения для непрерывного диагностического маркера, что позволяет бинарно классифицировать пациентов по риску наступления исхода. Хотя данный анализ, включая построение ROC-кривых и расчет площади под ней, реализован в распространенных статистических пакетах, текущая необходимость в импортозамещении программного обеспечения, обусловленная Указом Президента Российской Федерации от 30 марта 2022 г. № 166 «О мерах по обеспечению технологической независимости и безопасности критической информационной инфраструктуры Российской Федерации», требует создания отечественных аналогов. Новизна предлагаемого инструмента заключается не только в воспроизведении базового функционала ROC-анализа, но и в его адаптации под специфические задачи медицинской диагностики, включая визуализацию оптимальных порогов и расчет расширенного набора метрик качества классификатора. Цель. Разработать программу для построения классификатора и проведения ROC-анализа и на ее основе определить возраст-специфичные пороговые значения антропометрических индексов для скрининга метаболического синдрома у мужчин, занятых во вредных условиях труда. Материалы и методы. В исследовании использована база данных, включающая обезличенные ретроспективные данные 340 рабочих мужского пола в возрасте от 27 до 63 лет (средний возраст 46,5 ± 8,3 лет), занятых во вредных условиях труда на пяти промышленных предприятиях Свердловской области. Язык написания программы – Python. Для построения классификационных моделей использован метод бинарной логистической регрессии. Прогностическая способность классификатора определялась исходя из величины параметров модели, полученных в ходе ROC-анализа. Поиск пороговых значений осуществлялся путем нахождения максимального индекса Юдена. Статистическая значимость различий групповых средних оценивалась с помощью метода сравнения долей, для сравнения медиан был использован критерий Краскела-Уолисса. Результаты. В разработанной программе дополнительно реализованы возможности выбора возрастного диапазона для анализа; визуального позиционирования на графике точки, соответствующей оптимальному пороговому значению; выбора минимального, среднего и максимального пороговых значений. Построены ROC-кривые, вычислены основные метрики модели. Определены пороговые значения антропометрических индексов (индекс округлости тела, индекс формы тела и индекс накопления липидов), которые позволяют выявить группу риска развития метаболического синдрома среди работников, занятых во вредных условиях труда. Лучшую прогностическую способность продемонстрировала модель c индексом накопления липидов для мужчин в возрасте 27-40 лет и 53-63 лет (AUC = 0,931 и 0,873 соответственно). Заключение. Предложен новый отечественный рабочий инструмент для построения прогностических моделей в медицине. Разработанный инструмент позволяет получить возраст-специфичные пороговые значения и способен найти практическое применение в медико-санитарных частях промышленных предприятий, а также в учреждениях здравоохранения. Область применения результатов. Новая программа позволяет выявлять лиц, входящих в группу риска развития заболевания, и, как следствие, объективно определять ключевые направления для корпоративных программ по охране здоровья, в том числе персонала, работающего во вредных и опасных условиях труда.
Ключевые слова: ROC-анализ; медико-санитарные части промышленных предприятий; регрессионный анализ; прогностическая ценность тестов; предельные пороговые значения; антропометрия; метаболический синдром.
DETERMINING AGE-SPECIFIC THRESHOLD VALUES OF NEW ANTHROPOMETRIC INDICES FOR SCREENING FOR METABOLIC SYNDROME IN MEN EMPLOYED IN HARMFUL WORKING CONDITIONS. DEVELOPMENT OF A SOFTWARE TOOL Abstract Significance. In many applied studies, particularly in the medical field, there is a need to determine a threshold value for a continuous diagnostic marker to enable binary classification of patients based on the risk of an outcome. Although this analysis, including the construction of ROC curves and the calculation of the area under it, is implemented in common statistical packages, the current need for import substitution of software, due to Decree of the President of the Russian Federation dated March 30, 2022 No. 166 "On measures to ensure the technological independence and security of the critical information infrastructure of the Russian Federation", requires the creation of domestic analogues. The novelty of the proposed tool lies not only in replicating the core functionality of ROC analysis but also in adapting it to the specific tasks of medical diagnostics, including visualization of optimal thresholds and calculation of an extended set of classifier quality metrics. Purpose. To develop a program for building a classifier and conducting ROC analysis with subsequent determination and visualization of threshold values, applied to a task in the field of occupational medicine. Materials and methods. The study utilized a database containing anonymized retrospective data of 340 male workers aged 27 to 63 years (mean age 46.5 ± 8.3 years) employed under harmful working conditions at five industrial enterprises in the Sverdlovsk region. The programming language used was Python. Binary logistic regression was employed for constructing classification models. The predictive ability of the classifier was determined based on model parameters obtained through ROC analysis. Threshold values were identified by finding the maximum Youden's Index. Statistical significance of differences in group means was assessed using the proportion comparison method; the Kruskal-Wallis test was used for comparing medians. Results. The developed program additionally features the ability to select an age range for analysis; visual positioning of the point corresponding to the optimal threshold value on the graph; and selection of minimum, average, and maximum threshold values. ROC curves were plotted, and key model metrics were calculated. Threshold values were determined for anthropometric indices (Body Roundness Index, A Body Shape Index, and Lipid Accumulation Product) to identify a risk group for developing Metabolic Syndrome among workers in harmful conditions. The best predictive ability was demonstrated by the model with the Lipid Accumulation Product for men aged 27-40 and 53-63 years (AUC = 0.931 and 0.873, respectively). Conclusions. A new domestic working tool for building predictive models in medicine is proposed. The developed tool allows for obtaining age-specific threshold values and is capable of practical application in medical units of industrial enterprises, as well as in healthcare institutions. Application. The new program enables the identification of individuals at risk of developing the disease and, consequently, the objective determination of key directions for corporate health programs, including for personnel working in harmful and hazardous conditions. Keywords: ROC analysis; Medical and Sanitary Units of Industrial Enterprises; Regression analysis; Prognostic value of tests; Cutoff values; Anthropometry; Metabolic syndrome.
Corresponding author: Svetlana Yu. Ogorodnikova, email:
Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Введение Прогнозирование и диагностика – два наиболее часто встречающихся на практике прикладных примера классификации [1]. Современные исследователи имеют в своем распоряжении широкий набор методов классификации, от классических подходов (таких как линейный и квадратичный дискриминантный анализ, и логистическая регрессия) до сложных алгоритмов машинного обучения, включая деревья решений, нейронные сети и пр. [2]. Выбор конкретного метода классификации диктуется тремя основными факторами: природой анализируемых данных, требуемым уровнем эффективности модели и отраслевой спецификой [3]. Так, в медицине труда существуют законодательно закрепленные критерии и рекомендации для выбора подхода к оценке профессионального риска [4-5]. Основные рекомендации: воспроизводимость и проверка процесса и результатов; контролируемость алгоритмов, потенциально влияющих на жизнь и здоровье людей; понятность решающих правил модели специалисту в предметной области. В медицине широко используют построение моделей на основе классического регрессионного анализа. Любая математическая модель нуждается в оценке ее качества для дальнейшего эффективного применения. Одним из распространенных подходов оценки качества модели является ROC-анализ, где основными показателями прогностической способности классификатора служат площадь под кривой и набор метрик (чувствительность, специфичность, точность) [6-7]. В ряде прикладных задач существует необходимость определения диагностического порогового значения непрерывной переменной-предиктора, начиная с которого наступает определенный исход, в литературе его принято обозначать Cut-off point [8]. В данной работе ROC-анализ использовался как для оценки качества классификатора, так и для определения пороговых значений. Сегодня реализация ROC-анализа возможна во многих прикладных статистических пакетах (Statistica, SPSS и др.). Однако текущая обстановка и Указ Президента Российской Федерации от 30 марта 2022 г. № 166 «О мерах по обеспечению технологической независимости и безопасности критической информационной инфраструктуры Российской Федерации» диктуют необходимость создания нового инструмента в виде отечественного программного обеспечения, функционал которого будет позволять строить классификаторы на основе логистической регрессии, проводить ROC-анализ и определять основные характеристики построенной модели [9]. В настоящем исследовании разработка и тестирование программного продукта проводится на примере решения прикладной задачи медицины труда: нахождение пороговых значений антропометрических индексов для диагностики метаболического синдрома (МС) у работников металлургического производства, занятых во вредных условиях труда. МС представляет собой совокупность нескольких кардиометаболических факторов риска, и является важным предиктором смертности от всех причин и преждевременной смертности от сердечно-сосудистых событий [10]. В Российской Федерации наблюдается устойчивый рост распространенности, как МС, так и ожирения, что мотивирует исследователей на поиск неинвазивных и бюджетных методов выявления лиц, входящих в группу риска [11]. В качестве доступного инструмента диагностики МС хорошо себя зарекомендовали так называемые новые (по сравнению с классическими индексом массы тела (ИМТ) и окружностью талии (ОТ)) антропометрические индексы: Body Roundness Index (BRI), A Body Shape Index (ABSI) и Lipid Accumulation Product (LAP) [12-14]. Несмотря на растущую известность новых антропометрических показателей, отсутствуют валидированные пороговые значения для их использования в скрининге МС среди работников вредных производств, в частности, с учетом возрастной стратификации. Настоящее исследование преследует две взаимосвязанные цели: разработку программного обеспечения для создания бинарных классификаторов, проведение ROC-анализа с визуализацией порогов; применение данного инструмента для определения и валидации возраст-зависимых пороговых значений антропометрических индексов (BRI, ABSI, LAP) с целью скрининга МС у мужчин, работающих во вредных производственных условиях. Материалы и методы Работа выполнена как одномоментное (поперечное) ретроспективное исследование. Единицей наблюдения являлся отдельный работник мужского пола, занятый во вредных условиях труда. Объект исследования – база данных, включающая обезличенные результаты медицинских осмотров и лабораторных анализов 340 рабочих. Предмет исследования – прогностическая способность антропометрических индексов (BRI, ABSI, LAP) в отношении риска развития МС. Дизайн исследования В исследовании использована база данных, содержащая обезличенные ретроспективные данные 340 рабочих мужского пола в возрасте от 27 до 63 лет (средний возраст 46,5 ± 8,3 лет), занятых во вредных условиях труда на пяти промышленных предприятиях Свердловской области. Согласно Приказу Министерства труда и социальной защиты Российской Федерации от 18 июля 2019 г. № 512н (ред. от 25.12.2024) «Об утверждении Перечня производств, работ и должностей с вредными и (или) опасными условиями труда, на которых ограничивается применение труда женщин» (Зарегистрирован в Минюсте России 14 августа 2019 г. № 55594), работодатель не вправе использовать труд женщин на работах с вредными и опасными условиями труда, на подземных работах, за исключением нефизических работ, работ по санитарному и бытовому обслуживанию, обучению и стажировки. Таким образом, это исследование было проведено с участием исключительной популяции только одного пола (мужского). Для оценки связей между рассчитанными индексами и наличием МС использовался подход, основанный на построении ROC-кривых. ROC-анализ был реализован с применением авторской программы «Threshold» (регистрационный номер программы № 2024617183). Программа написана на языке Python. Построенная модель обучалась на тестовой выборке, для чего была использована функции fit(X, Y), predict(X) и predict_proba(X). Для определения прогностической ценности модели были построены ROC-кривые с использованием готовых модулей библиотеки sklearn. Дальнейший анализ полученной кривой проводился путем расчёта площади под кривой и вычисления основных характеристик модели (доля верно классифицированных «положительных» объектов чувствительность – Se, доля верно классифицированных «отрицательных» объектов специфичность – Sp, точность, F1). Рассчитаны антропометрические индексы – ИМТ, BRI, ABSI, LAP по формулам 1-4 [15-18].
Пороговые значения определялись при помощи максимального значения индекса Юдена (J), который вычислялся по формуле (5) на основе полученных метрик Se и Sp.
В случае, когда максимальному значению индекса Юдена соответствует несколько пороговых значений, разработанная программа позволяет пользователю выбрать оптимальное значение (минимальное, среднее или максимальное) в зависимости от поставленной задачи. Описание медицинского вмешательства У 340 рабочих, занятых во вредных условиях труда на пяти промышленных предприятиях Свердловской области, измеряли рост, вес и окружность талии. Были взяты образцы крови. Триглицериды (ТГ) сыворотки измерялись у подгруппы из 169 рабочих. Наличие метаболического синдрома (МС) верифицировалось врачами-терапевтами предприятий на основании данных первичной медицинской документации (амбулаторных карт форма 025/у) с использованием критериев Международной федерации диабета (МФД, 2005). Этическая экспертиза не требовалась, поскольку исследование проводилось на ретроспективных данных. Статистическая обработка данных Статистическая значимость различий групповых средних оценивалась с помощью метода сравнения долей, для сравнения медиан был использован критерий Краскела-Уолисса. Для оценки устойчивости найденных пороговых значений и предотвращения переобучения модели была применена внутренняя валидация методом случайных подвыборок. Исходная выборка случайным образом разделялась на обучающую (70%) и тестовую (30%) 1000 раз. На обучающей подвыборке определялся оптимальный порог, который затем тестировался на тестовой подвыборке с расчетом AUC, Se и Sp. Приведенные в результатах итоговые пороговые значения и метрики являются медианами (Me) по всем 1000 итерациям. Статистическая значимость различий оценивалась на уровне значимости α= 0,05. Для сопоставления результатов разработанной программы, анализ имеющихся данных был проведен с помощью прикладного статистического пакета IBM SPSS Statistics v.23. Результаты Распространенность метаболического синдрома в исследуемой выборке составила 36,2% (123/340). Поскольку доказана тесная взаимосвязь распространенности МС с возрастом [19-22], исходная выборка была разбита на возрастные группы (проведена стратификация данных). Стратификацию применяют, чтобы исключить появление групп с недостаточным количеством наблюдений при проведении статистического анализа. Проведено разделение на четыре равных по количеству наблюдений возрастных группы: первая группа – 27-40 лет; вторая – 41-46 лет; третья – 47-52 года; четвертая – 53-63 года. В таблице 1 приведена распространенность МС, медианы антропометрических индексов, 25 и 75 процентили (Ме (P25-P75)) для каждой возрастной группы. Таблица 1 Распространенность метаболического синдрома (%) и медианы антропометрических индексов работников по возрастным группам
Согласно данным таблицы 1 распространенность МС от первой к четвертой возрастной группы возрастает в 2,6 раза. Медианы всех исследуемых антропометрических индексов возрастают с увеличением возраста (p<0,05). Статистическая значимость различий групповых средних оценивалась с помощью метода сравнения долей, для сравнения медиан был использован критерий Краскела-Уолисса. Основные результаты исследования Написанная на языке Python программа по функциональному назначению предназначена для решения ряда прикладных задач бинарной классификации. Логическая структура программы имеет следующий вид: при запуске пользователю предлагается выбрать базу данных в указанном формате; затем представляется ряд последовательных окон для фильтрации по признакам: возраст, предиктор и отклик; далее в окне программы выводится ROC-кривая, а также соответствующие ей метрики и исходные параметры; после отработки алгоритма пользователю доступно построение ROC-кривой заново с иными параметрам в текущей базе данных. Для использования программы пользователю необходимо наличие ПО Microsoft Windows не ниже v.8, предустановленной программы Python и исследуемой выборки в формате .xlsx, первая строка которой содержит название переменных. Отклик (зависимая переменная) – дихотомическая переменная; предикторы (независимые переменные) – непрерывные количественные переменные. Требований к порядку заполнения исследуемой базы данных нет. Написанная программа официально зарегистрирована в реестре программ для ЭВМ 29.03.2024 (регистрационный номер № 2024617183). Для получения доступа к продукту необходимо связаться с авторами статьи. При помощи написанной программы были созданы списки с истинно положительными (TP), ложно отрицательными (FN), ложно положительными (FP) и истинно отрицательными (TN) значениями, из которых составляется матрица ошибок классификации. На основании полученных значений были сформированы списки Sp и Sе, по которым в дальнейшем построены ROC-кривые. Для определения пороговых значений была применена функция, исходными данными для которой являются список порогов и основная база данных. Исходные данные проходят (n-1) итерацию, где n – число наблюдений в базе данных. Во время каждой итерации в цикле функции значения порога вычисляются согласно формуле:
где НПi – значение независимой переменной (например, антропометрический индекс, вычисленный по формулам 1-4); i принимает значения от 1 до (n-1). На основе вычисленных по формуле (6) порогов был создан бинарный список, предсказывающий наличие/отсутствие МС (0 – ниже порога, 1 – выше порога). Анализировалась матрица ошибок, рассчитывались значения Se и Sp. Затем по Se и Sp вычислялись значения индекса Юдена (J). Среди полученных значений Ji определялось максимальное, которому соответствовал оптимальный порог индекса для обнаружения МС:
Для оценки качества исследуемой модели классификации были использованы дополнительные метрики (точность, Precision, F1-score), определение которых в прикладных статистических пакетах не доступно. Доля верно классифицированных объектов (точность):
Precision – характеристика модели, определяющая долю верно классифицированных положительных объектов среди всех предсказанных положительных объектов;
F1-мера (F1-score) – общий показатель эффективности модели классификации:
Реализация ROC-анализа в написанной программе «Threshold» для трех антропометрических индексов продемонстрирована на рис. 1-3.
Дополнительные результаты исследования Полученные нами результаты полностью совпали с результатами работы прикладного пакета IBM SPSS Statistics, что говорит о высокой валидации разработанного инструмента прогнозирования. В таблице 2 представлены основные характеристики построенных моделей. Таблица 2 Характеристики ROC-кривых антропометрических индексов для возрастных квартилей
Исходя из представленных в таблице 2 данных, наибольшую прогностическую ценность для мужчин в возрасте от 41 до 52 лет демонстрирует BRI (AUC = 0,753 и 0,799; Se = 0,862 и 0,974; Sp = 0,673 и 0,519). Наилучшие характеристики по первой и четвертой возрастным группам имеют LAP (AUC = 0,931 и 0,873; Se = 0,818 и 0,727; Sp = 0,973 и 0,929). ABSI имеет самые низкие значения AUC, Se и Sp, и, следовательно, худшую прогностическую способность. Обсуждение полученных результатов ROC-анализ – один из распространенных подходов оценки качества прогностических моделей. Области применения данного метода анализа разнообразны [6-8]. Широкое применение ROC-анализ получил в медицине, в частности, при диагностике заболеваний или состояний. ROC-анализ представлен в самых известных прикладных статистических пакетах, идея модернизации некоторых его параметров прослеживается до настоящего времени. Примером написания уникального кода для реализации ROC-анализа является исследование [23], в котором было разработано специальное приложение с использованием языка программирования (Java) с возможностью сравнения двух или более ROC-кривых, которые пересекаются друг с другом. В нашей прикладной задаче речь шла о нахождении пороговых значений новых антропометрических индексов у работников-мужчин промышленных предприятий Свердловской области, занятых во вредных условиях труда. В предметном смысле вычисленные пороговые значения индексов являются первым этапом (скринингом) в двухэтапной системе выявления рисков на промышленном предприятии. На первом этапе медицинский персонал здравпункта во время ежегодного профилактического осмотра производит расчет антропометрических индексов (BRI, ABSI, LAP) на основе антропометрии и данных биохимического анализа. Если значение индекса превышает установленный порог, данный работник автоматически относится в группу повышенного риска развития МС. Второй этап (углубленное обследование) реализуется силами врачей медико-санитарной части предприятия или поликлиники по месту жительства. Работники из группы риска направляются на консультацию к врачу-терапевту и врачу-эндокринологу. По результатам второго этапа принимается решение о постановке диагноза МС (согласно критериям IDF, 2005) и назначении терапии. Работники со значениями индексов ниже пороговых на данный момент не требуют углубленного обследования, однако остаются под динамическим наблюдением, поскольку индекс является чувствительным к изменению массы тела и образа жизни. В сравнении со статистическими прикладными пакетами предлагаемая программа обладает новизной и несколькими преимуществами. Так, в новой программе в отличие от функционала имеющихся прикладных пакетов реализованы:
Результаты предыдущих исследований взаимосвязи антропометрических индексов и МС противоречивы. Так, у взрослых иранцев было установлено, что индекс массы тела является лучшим предиктором МС, чем ABSI [24]. В нашем исследовании в среднем возрастном диапазоне 41-46 лет BRI показал лучшую прогностическую способность в отношении МС по сравнению с ABSI и LAP. Наши результаты согласуются с данными исследования МС среди взрослых перуанцев [25], в котором BRI показал сходную или лучшую прогностическую способность по сравнению с индексом массы тела и окружностью талии. Полученные при помощи нового инструмента прогнозирования результаты согласуются с данными литературы, подтверждающими высокую диагностическую ценность LAP для выявления кардиометаболических рисков [12,14]. Однако, в отличие от исследований в общей популяции, где BRI часто показывает стабильную эффективность [15], в выборке промышленных рабочих Свердловской области его прогностическая способность значительно варьировала в зависимости от возрастной группы, принимая максимальное значение в возрасте 27-40 лет (AUC = 0,800) и снижаясь в старшей возрастной группе (AUC = 0,655). Низкая эффективность ABSI, наблюдаемая при помощи разработанной программы в данном исследовании, также отмечена в ряде работ, где данный индекс слабо коррелирует с висцеральным ожирением [17]. Ограничения исследования. Несмотря на значимые результаты, настоящее исследование имеет ряд ограничений. Исследуемая выборка ограничена мужчинами, занятыми во вредных условиях труда на промышленных предприятиях Свердловской области, что может ограничивать экстраполяцию результатов на другие профессиональные или гендерные группы. Данные для расчета индекса LAP были доступны лишь для подгруппы работников (n=169), что уменьшило статистическую мощность анализа для этого индекса в стратифицированных группах. Перспективой для дальнейших исследований является валидация найденных порогов на независимых когортах, включая женщин и работников других отраслей. Заключение Авторами статьи на языке Python разработана программа, позволяющая проводить ROC-анализ медико-биологических данных с определением и визуализацией пороговых значений. Построение ROC-кривых реализовано на основе «прозрачного» алгоритма классификации – бинарной логистической регрессии. В отличие от распространенных статистических пакетов, в программе представлена возможность вычисления как основных (AUC, Se, Sp), так и расширенных метрик качества (точность, Precision и F1-мера), а также выбора возрастного диапазона и визуального позиционирования оптимального порога на графике. Применение разработанного инструмента для решения прикладной задачи медицины труда позволило определить возраст-специфичные пороговые значения антропометрических индексов (BRI, ABSI и LAP), используемых для скрининга метаболического синдрома у мужчин, занятых во вредных условиях труда на промышленных предприятиях Свердловской области. Установлено, что наибольшей прогностической способностью обладает индекс накопления липидов (LAP) в возрастных группах 27-40 лет (AUC = 0,931; Se = 0,818; Sp = 0,973) и 53-63 лет (AUC = 0,873; Se = 0,727; Sp = 0,929). Индекс округлости тела (BRI) показал максимальную эффективность в среднем возрастном диапазоне 41-46 лет (AUC = 0,799; Se = 0,974; Sp = 0,519), тогда как индекс формы тела (ABSI) не продемонстрировал высокой прогностической ценности ни в одной из возрастных групп. Таким образом, разработанный программный инструмент не только воспроизводит и расширяет функционал зарубежных статистических пакетов, но и позволяет решать конкретные эпидемиологические и клинические задачи. Программа представляет собой новый отечественный надежный рабочий инструмент для построения прогностических моделей в медицине. Полученные пороговые значения могут быть использованы медицинскими работниками медико-санитарных частей промышленных предприятий для объективного формирования групп риска при проведении периодических медицинских осмотров, что определяет практическую значимость исследования и его соответствие задачам импортозамещения в сфере критической информационной инфраструктуры Российской Федерации. Разработанная программа является ядром для создания более комплексного программного обеспечения для оценки профессиональных рисков. В будущих версиях разработанного инструмента прогнозирования планируется реализация сравнения нескольких ROC-кривых, определение и визуализация 95 % доверительных интервалов AUC, расчет дополнительных метрик точности модели (число необходимого для диагностики (NND), сводный прогностический индекс (PSI), коэффициент корреляции Мэтьюса (MCC). Библиография
References
Дата поступления: 30.01.2026 Просмотров: 29
Добавить комментарий
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Последнее обновление ( 28.09.2026 г. ) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| « Пред. | След. » |
|---|













