О журнале Издательская этика Редколлегия Редакционный совет Редакция Для авторов Контакты
Russian

Экспорт новостей

Журнал в базах данных

eLIBRARY.RU - НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА



crossref.org
vak.ed.gov.ru/vak

GoogleАкадемия

Google Scholar

Главная arrow Архив номеров arrow №5 2019 (65) arrow ДИЗАЙН МЕДИЦИНСКОГО ИССЛЕДОВАНИЯ
ДИЗАЙН МЕДИЦИНСКОГО ИССЛЕДОВАНИЯ Печать
08.11.2019 г.

DOI: 10.21045/2071-5021-2019-65-5-13

Наркевич А.Н., Виноградов К.А.
ФГБОУ ВО «Красноярский государственный медицинский университет им. проф. В.Ф. Войно-Ясенецкого» Министерства Здравоохранения Российской Федерации, Красноярск

Резюме

Актуальность. На сегодняшний день в медицинской науке довольно плотно закрепилось понятие «дизайн исследования». Четкое осознание дизайна, как одного из элементов планирования и проведения научного медицинского исследования, позволяет сформировать понимание для всех субъектов исследования их роли.

Целью данной статьи является систематизация и рассмотрение основных типов медицинских исследований, которые, как правило, проводятся для получения новых научных знаний в области медицины.

Результаты. В статье представлены основные типы медицинских исследований. Представленная классификация типов медицинских исследований включает такие основные группы исследований, как описательные, экспериментальные и наблюдательные (обсервационные) исследования. Представлены достоинства и недостатки различных исследований, а также рассмотрено наличие в них научной новизны и научно-практического интереса.

Заключение. При выборе дизайна исследования для планирования диссертационного исследования необходимо учитывать достоинства и недостатки представленных исследований. Причем исследователь должен стремиться соблюсти баланс между затратами (времени, сил, финансов и т.д.) и доказательностью результатов того или иного исследования для получения максимально достоверных результатов, которые могли бы в дальнейшем использоваться на теоретическом и практическом уровне.

Область применения результатов. Представленная классификация медицинских исследований может применяться при планировании диссертационных медицинских исследований для четкого определения исследовательской стратегии.

Ключевые слова: дизайн исследования; клинические исследования; обсервационные исследования; классификация; доказательная медицина.

Контактная информация: Наркевич Артем Николаевич, e-mail: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Финансирование. Исследование не имело спонсорской поддержки.
Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.
Для цитирования: Наркевич А.Н., Виноградов К.А. Дизайн медицинского исследования. Социальные аспекты здоровья населения [сетевое издание] 2019; 65(5):13. URL: http://vestnik.mednet.ru/content/view/1108/30/lang,ru/ DOI: 10.21045/2071-5021-2019-65-5-13

MEDICAL STUDY DESIGN
Narkevich AN, Vinogradov KA

Prof. V.F. Voino-Yasenetsky Krasnoyarsk State Medical University, Russia, Krasnoyarsk

Abstract

Significance. Currently, the definition «study design» is firmly established in the medical science. A clear understanding of design as an element of research planning allows to form an understanding of roles of all study subjects.

The purpose of this article is to systematize and analyze main types of medical studies that are usually carried out to obtain new scientific knowledge in medicine.

Results. The article outlines main types of medical studies. The proposed classification of medical studies’ types includes such basic groups as descriptive, experimental and observational studies. The authors also discussed advantages and disadvantages of different studies as well as reviewed their scientific novelty and scientific and practical interest.

Conclusions. When choosing a study design to plan a thesis research, it is necessary to take into account all advantages and disadvantages of the presented studies. Moreover, the researcher is advised to maintain a good balance between their investment (time, effort, finance, etc.) and evidence basis of a study to obtain the most reliable results that could be further used at the theoretical and practical level.

Scope of application. The proposed classification of medical studies can be used for planning thesis research to clearly define the research strategy.

Keywords: study design; clinical studies; observational studies; classification; evidence-based medicine.

Corresponding author: Artem N. Narkevich, email: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Information about authors:
Narkevich A.N., http://orcid.org/0000-0002-1489-5058, email: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Vinogradov K.A., http://orcid.org/0000-0001-6224-5618, email: Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script
Acknowledgments. The study had no sponsorship.
Conflict of interests. The authors declare no conflict of interest.

For citation:Narkevich A.N., Vinogradov K.A. Medical study design. Social'nye aspekty zdorov'a naselenia / Social aspects of population health [serial online] 2019; 65(5):13. Available from: http://vestnik.mednet.ru/content/view/1108/30/lang,ru/. (In Rus). DOI: 10.21045/2071-5021-2019-65-5-13

Введение

На сегодняшний день в медицинской науке довольно плотно закрепилось понятие «дизайн исследования» [1-4]. Четкое осознание дизайна, как одного из элементов планирования и проведения исследования, позволяет сформировать понимание для всех субъектов исследования их роли. Однако, существует довольно много различных классификаций дизайна исследования [5,6], которые в научной среде создают некоторые затруднения в обмене научными результатами и формировании глобального научного знания [7].

Целью данной статьи является систематизация и рассмотрение основных типов медицинских исследований, которые могут проводиться для получения новых научных знаний в области медицины.

В целом, наиболее часто реализуемые дизайны медицинских исследований можно представить в виде схемы (рисунок 1). Однако, выбор необходимого дизайна исследования, как может показаться на первый взгляд, не так прост. Для этого необходимо учитывать множество факторов: длительность исследования, финансовые затраты на его проведение, исследовательскую гипотезу и т.д. Все медицинские исследования можно разделить на две группы: описательные и клинические (объяснительные, причинно-следственные).

Описательные исследования

В описательных исследованиях можно выделить такие исследования как описание случая и описание серии случаев. Единственным отличием данных исследований является число входящих в исследование пациентов. Если в исследование входит один пациент, то есть один случай какого-либо заболевания или состояния, в такой ситуации проводится описание случая. Если в исследование входит несколько пациентов, то есть несколько случаев заболевания или состояния, в такой ситуации проводится описание серии случаев. Два данных дизайна разделены в связи с тем, что их реализация осуществляется различными способами с математической точки зрения. При описании случая в публикации приводятся конкретные значения различных параметров пациента. При описании серии случаев, как правило, применяются статистические параметры, агрегирующие данные обо всех входящих в исследование пациентах (средние значения, медианы, проценты и др.) и характеризующие разброс значений пациентов (стандартные отклонения, квартили, ошибки процентов и др.).

Необходимо отметить, что описание случая и описание серии случаев, как правило, не являются диссертабельными. Такие исследования как правило реализуются, когда исследователь встречается с редким случаем или несколькими редкими случаями какого-либо заболевания или состояния.

Рис. 1
Рис. 1. Классификация дизайнов медицинских исследований

При этом подобные исследования не ведут за собой доказательства или опровержения каких-либо исследовательских гипотез. В связи с этим, опубликование результатов таких исследований больше носят практический интерес нежели научный.

Клинические (объяснительные, причинно-следственные) исследования

Клинические исследования, как исследования основной целью которых является не просто описание одного или нескольких случаев заболевания или состояния, а выяснение различных причинно-следственных связей (между факторами риска и возникновением заболевания, применяемыми препаратами и излечением, методами диагностики и диагностическими ошибками и т.д.), в свою очередь, также разделяются на две подгруппы. Они разделяются на экспериментальные и наблюдательные (обсервационные) исследования.

Основным отличием экспериментальных исследований от наблюдательных является то, что при реализации экспериментальных исследований на исследуемые субъекты (пациентов, экспериментальных животных) исследователем оказывается какое-либо воздействие, а при реализации наблюдательных исследований исследователем лишь фиксируется развитие ситуации, которая никак не зависит от исследователя и его вмешательство возможно лишь в критических ситуациях, когда пациентам грозит опасность.

Экспериментальные клинические исследования

Экспериментальные исследования, как правило, проводятся при изучении различных методов лечения (препараты, схемы лечения, хирургические методы и т.д.). Данные исследования довольно редко проводятся в качестве диссертационных исследований, так как их проведение, как правило, требует довольно существенных временных и финансовых затрат. При этом экспериментальные клинические исследования могут проводится рандомизированно или нерандомизированно.

Нерандомизированные экспериментальные клинические исследования

В целом, данный тип исследования довольно существенно уступает по уровню доказательности рандомизированным экспериментальным клиническим исследованиям, однако, также имеет место в тех случаях, когда, например, рандомизация невозможна.

Дизайн нерандомизированного экспериментального клинического исследования довольно прост. В исследовании набирается две максимально одинаковые (по половозрастной структуре, по степени заболевания и т.д.) группы пациентов. Затем первая группа получает один препарат, схему или хирургический метод лечения, а вторая группа – второй препарат, схему или хирургический метод лечения. В заключении полученные результаты лечения (число излеченных пациентов, нежелательных реакций, смертельных исходов, изменение лабораторных данных и т.д.) сравнивается между группами. Полученные различия могут быть интерпретированы как большая эффективность той или иной схемы лечения.

Низкий уровень доказательности данных исследований связан с тем, что как сами пациенты, так и исследователи могут, даже несознательно, смещать результаты исследования, приводя к систематическим или случайным ошибкам. Это может происходить на этапе формирования исследуемых групп, например, когда в одну группу включаются пациенты с более легкой степенью тяжести изначального состояния. Также смещение результатов исследования может происходить на этапе оценки результатов лечения, например, когда, зная какая группа пациентов получает новый исследуемы препарат врач, оценивающий результаты лечения незначительные изменения может интерпретировать как улучшение состояния пациентов.

Необходимо отметить, что подобные исследования требуют использования уже не только описательных статистических параметров, но и методов сравнительной статистики, что позволяет свидетельствовать о статистически значимых различиях между группами в процессе или в конце исследования. Применение подобных методов позволяет исследователям сделать заключение о причинности или случайности изучаемых медицинских закономерностей.

Рандомизированные экспериментальные клинические исследования

Рандомизированные экспериментальные клинические исследования призваны устранить одну из возможных причин смещения результатов лечения – несопоставимость исследуемых групп пациентов. Потенциальное смещение результатов исследования, связанное с данной причиной, устраняется с помощью процесса рандомизации. Рандомизация является методом распределения пациентов на исследуемые группы и заключается в том, что исследуемые пациенты распределяются на группы максимально случайно. Чаще всего используются три основных метода рандомизации: таблицы случайных чисел, математические алгоритмы генераторов псевдослучайных чисел и физические способы рандомизации, такие как монетки, жеребьевка и др.

Рандомизированные плацебо-контролируемые экспериментальные клинические исследования

Рандомизированные плацебо-контролируемые экспериментальные клинические исследования являются золотым стандартом клинических исследований и имеют наивысший уровень доказательности. Подобные исследования помимо рандомизации включают еще два важных аспекта: контрольная группа и ослепление.

Включение в исследование контрольной группы заключатся в том, что помимо одной или нескольких исследуемых групп, которые получают различные экспериментальные схемы лечения, в исследование включается группа пациентов, которая получает плацебо либо уже известную и широко-применяемую схему лечения. Если в процессе исследования изучаются пациенты, состояние которых может угрожать их жизни и здоровью, то естественно плацебо в таком случае не применяется, а контрольная группа должна получать известную широко-используемую схему лечения. Если же изучаются пациенты, состояние которых не является жизнеугрожающим, то предпочтительно применение плацебо.

Плацебо – муляж препарата или набора препаратов по органолептическим свойствам схожих с препаратами, которые получают исследуемы группы пациентов, при этом не оказывающий никакого фармакологического и терапевтического эффекта.

Ослепление заключается в исключении предвзятого отношения к состоянию самих пациентов и исследователей. Ослепление может быть простым, двойным и тройным. При простом ослеплении пациенту не сообщается какой из исследуемых препаратов или плацебо он получает. При двойном ослеплении об этом не знают ни пациент, ни специалист, который непосредственно оценивает результат лечения, при тройном ослеплении об этом не знают ни пациент, ни исследователь, ни специалист, который непосредственно оценивает результаты лечения.

Рандомизированные неконтролируемые экспериментальные клинические исследования

Данный тип исследований отличается от предыдущего лишь тем, что при его реализации не применяется выделение контрольной группы и соответственно не применяется ослепление. Уровень доказательности в связи с этим данных исследований существенно ниже, чем у рандомизированных контролируемых экспериментальных клинических исследований. В связи с этим к данному типу исследований по возможности лучше не прибегать.

Наблюдательные (обсервационные) клинические исследования

В наблюдательных (обсервационных) исследованиях, как уже было отмечено выше, исследователь не совершает каких-либо действий с изучаемыми пациентами или животными. Подобные исследования имеют меньшую доказательность, чем рандомизированные контролируемые экспериментальные клинические исследования. Это связано, как правило, с отсутствием возможности рандомизации и ослепления. Чаще всего их невозможно реализовать при проведении наблюдательных (обсервационных) исследований, так как сама суть исследования распределяет пациентов на группы, и пациенты заранее знают в какую группу они включены. Это, как правило, связано с собственным выбором пациентов или со стечением обстоятельств.

Приведем пример такой ситуации. Исследователем проводится исследование влияния такого фактора риска как курение на возникновение хронической обструктивной болезни легких. Для реализации данного исследования формируются две группы пациентов – курящие и не курящие. Так как пациенты знают, что они курят или не курят, то скрыть от них, в какую группу они включены невозможно, то есть ослепление провести нельзя. При этом случайным образом разбить их на группы также не получится, так как в таком случае придется кого-то заставить бросить курить, а кого-то наоборот начать.

Несомненно, что отсутствие рандомизации может повлиять на формируемые группы, а отсутствие ослепления на предвзятость исследуемых и исследователя, что может приводить к систематическим или случайным ошибкам. Собственно, по этим причинам доказательность наблюдательных (обсервационных) исследований ниже, чем у рандомизированных контролируемых исследований.

Некомбинированные наблюдательные (обсервационные) исследования

В зависимости от того, что берется в основу формирования исследуемых групп некомбинированные наблюдательные (обсервационные) исследования подразделяются на исследования «Случай-контроль», когортные и кросс-секционные.

Исследования «Случай-контроль»

Исследование «Случай-контроль» – исследование, при котором изучаемые группы пациентов набираются по следующему принципу. В качестве I группы набираются пациенты, имеющие изучаемое заболевание или состояние (группа случаев), в качестве II группы – пациенты, не имеющие изучаемого заболевания или состояния (группа контроля). После набора групп у пациентов выясняется наличие изучаемых факторов риска и производится оценка наличия данных факторов в группе случаев и группе контроля. Данное исследование является ретроспективным, так как факт наступления заболевания известен, влияние факторов риска осуществлено уже на этапе начала исследования, а исследователь только собирает эту информацию [8].

Исследования «Случай-контроль» имеют следующие достоинства:

  1. Намного меньшее число включенных в исследование лиц, чем в когортном исследовании.
  2. Низкая стоимость в связи с тем, что нет необходимости долго наблюдать большое число исследуемых.
  3. Результаты могут быть известны практически сразу после набора данных. Необходимо только время на статистическую обработку полученных данных.
  4. Можно оценить связь между заболеванием и практически неограниченным числом факторов риска.

Однако у исследований по типу «случай-контроль» также имеются свои недостатки:

  1. Можно получить лишь приближенную оценку показателя относительного риска в виде показателя отношения шансов.
  2. Можно оценить связь между воздействием факторов риска только на одно заболевание или состояние.

Когортные исследования

Когортное исследование – исследование, при котором изучаемые группы пациентов набираются по следующему принципу. В качестве I группы набираются пациенты, не имеющие изучаемого заболевания или состояния, но имеющие изучаемый фактор риска (экспонированная группа), в качестве II группы – пациенты, также не имеющие изучаемого заболевания или состояния, но не имеющие изучаемый фактор риска (неэкспонированная группа) [9].

Как правило, когортные исследования чаще всего ассоциируются с проспективным типом исследований, когда после набора групп пациенты наблюдаются какое-то время (время зависит от изучаемого заболевания и может составить десятки лет) и в конце исследования производится оценка наступления изучаемого заболевания или состояния в экспонированной и неэкспонированной группах пациентов. Однако, когортные исследования могут проводиться ретроспективно, когда исходы пациентов уже известны, но формирование групп, тем не менее, осуществляется по принципу наличия или отсутствия исходов.

Естественно, когортное исследование также имеет свои достоинства и недостатки. Основные достоинства когортных исследований:

  1. Когортное исследование – единственный способ истинной оценки показателя относительного риска. Показателем, свидетельствующим о связи фактора риска с заболеванием, является показатель относительного риска, но данный показатель может быть рассчитан только при проведении когортного исследования. При проведении исследования «Случай-контроль» данный показатель рассчитать нельзя, а рассчитывается показатель отношения шансов, который дает лишь приблизительную оценку (хотя, как правило довольно близкую) относительного риска.
  2. Имеется возможность оценки влияния изучаемого фактора риска на различные заболевания или состояния. В процессе наблюдения могут развиться не только изучаемые заболевания или состояния, но и другие, развитие которых не предполагалось в начале исследования.

К основным недостаткам когортных исследований относятся:

  1. Число включенных в исследование лиц должно быть значительно больше, чем число пациентов с изучаемым заболеванием (характерно для проспективных когортных исследований). Несомненно, не у всех, кто будет участвовать в исследовании разовьется изучаемое заболевание, что требует заранее большего количества человек, включенных в исследование для того чтобы количество пациентов с развившемся заболеванием также было приемлемым.
  2. Высокая стоимость из-за того, что приходится исследовать большое число людей в течение продолжительного времени (характерно для проспективных когортных исследований). Изучаемые заболевания могут развиваться годами и десятилетиями.
  3. Результаты долгое время остаются неизвестными (характерно для проспективных когортных исследований). Они станут известны только в конце всего исследования.
  4. Позволяют оценить связь между заболеванием и воздействием относительно небольшого числа факторов (определенных в начале исследования).

Кросс-секционные (поперечные) исследования

Кросс-секционные (поперечные) исследования как правило проводятся одномоментно для выяснения распространенности факторов риска и исходов [10]. Необходимо отметить, что данное исследование, как правило, не проводится для выяснения причинно-следственной связи между факторами риска, лечением, исходами и т.д.

Исследование временных серий (продольное исследование)

Исследование временных серий заключается в изучении одной группы пациентов, сформированной по какому-либо принципу, в динамике [11]. Как правило, после формирования данной группы обозначаются контрольные временные точки (раз в неделю, месяц или год), на которых пациенты вновь обследуются, и исследователь получает новый набор данных об этих же пациентах. В последующем исследователем применяются специализированные статистические методы, позволяющие установить различия в динамике изучаемых показателей (парные методы или методы повторных измерений).

Исследование временных серий, как правило не является исследованием, которое может единолично являться основой диссертационного исследования, так как не позволяет установить причинности динамических изменений.

Основу диссертационных исследований, как правило, составляют наблюдательные (обсервационные) исследования. При этом чаще всего они являются комбинированными, когда часть исследования может проводится по типу кросс-секционного (поперечного) исследования, а часть в виде когортного исследования или исследования «Случай-контроль».

Заключение

Таким образом, в статье рассмотрены основные типы медицинских исследований, которые проводятся для получения новых научных знаний в области медицины. При выборе дизайна исследования для планирования диссертационного исследования необходимо учитывать достоинства и недостатки данных исследований. Причем исследователь должен стремиться соблюсти баланс между затратами (времени, сил, финансов и т.д.) и доказательностью результатов того или иного исследования для получения максимально достоверных результатов, которые могли бы в дальнейшем использоваться на теоретическом и практическом уровне.

Библиография

  1. Gupta S.K. Basic Principles of Clinical Research and Methodology. New Delhi: Jaypee Brothers. 2007: 233-52.
  2. Гржибовский А.М., Иванов С.В., Горбатова М.А. Экспериментальные исследования в здравоохранении. Наука и здравоохранение. 2015; (6): 5-17.
  3. Гржибовский А.М., Иванов С.В., Горбатова М.А. Экологические (корреляционные) исследования в здравоохранении. Наука и здравоохранение. 2015; (5): 5-18.
  4. Everitt B.S., Howell D.C. Encyclopedia of Statistics in Behavioral Science. Chichester: John Wiley & Sons Ltd. 2005: 1451–62.
  5. Холматова К.К., Харькова О.А., Гржибовский А.М. Классификация научных исследований в здравоохранении. Экология человека. 2016; (1): 57-64.
  6. Данишевский К.Д. Виды исследований в доказательной медицине. Медицина. 2015; 3 (1): 18-30.
  7. Наркевич А.Н., Виноградов К.А. Настольная книга автора медицинской диссертации: пособие. М., Инфра-М. 2019: 454.
  8. Гржибовский А.М., Иванов С.В., Горбатова М.А. Исследования типа «случай-контроль» в здравоохранении. Наука и здравоохранение. 2015; 4: 5-17.
  9. Гржибовский А.М., Иванов С.В. Когортные исследования в здравоохранении. Наука и здравоохранение. 2015; (3): 5-16.
  10. Гржибовский А.М., Иванов С.В. Поперечные (одномоментные) исследования в здравоохранении. Наука и здравоохранение. 2015; 2: 5-18.
  11. Холматова К.К., Гржибовский А.М. Панельные исследования и исследования тренда в медицине и общественном здравоохранении. Экология человека. 2016; (10): 57-63.

References

  1. Gupta S.K. Basic Principles of Clinical Research and Methodology. New Delhi: Jaypee Brothers. 2007: 233-52.
  2. Grzhibovskiy A.M., Ivanov S.V., Gorbatova M.A. Eksperimental'nye issledovaniya v zdravookhranenii [Experimental research in health care]. Nauka i zdravookhranenie 2015; (6): 5-17. (In Russian).
  3. Grzhibovskiy A.M., Ivanov S.V., Gorbatova M.A. Ekologicheskie (korrelyatsionnye) issledovaniya v zdravookhranenii [Ecological (correlation) studies in health care]. Nauka i zdravookhranenie 2015; (5): 5-18. (In Russian).
  4. Everitt B.S., Howell D.C. Encyclopedia of Statistics in Behavioral Science. Chichester: John Wiley & Sons Ltd. 2005: 1451–62.
  5. Kholmatova K.K., Khar'kova O.A., Grzhibovskiy A.M. Klassifikatsiya nauchnykh issledovaniy v zdravookhranenii [The classification of research in healthcare]. Ekologiya cheloveka 2016; (1): 57-64. (In Russian).
  6. Danishevskiy K.D. Vidy issledovaniy v dokazatel'noy meditsine [Types of research in evidence-based medicine]. Meditsina 2015; 3 (1): 18-30. (In Russian).
  7. Narkevich A.N., Vinogradov K.A. Nastol'naya kniga avtora meditsinskoy dissertatsii: posobie [Handbook of the author of the medical dissertation. Manual]. Moscow, Infra-M. 2019: 454. (In Russian).
  8. Grzhibovskiy A.M., Ivanov S.V., Gorbatova M.A. Issledovaniya tipa «sluchay-kontrol'» v zdravookhranenii [Research of "case-control" type in health care]. Nauka i zdravookhranenie 2015; 4: 5-17. (In Russian).
  9. Grzhibovskiy A.M., Ivanov S.V. Kogortnye issledovaniya v zdravookhranenii [Cohort studies in health care]. Nauka i zdravookhranenie 2015; (3): 5-16. (In Russian).
  10. Grzhibovskiy A.M., Ivanov S.V. Poperechnye (odnomomentnye) issledovaniya v zdravookhranenii [Transverse (cross-sectional) research in health care]. Nauka i zdravookhranenie 2015; 2: 5-18. (In Russian).
  11. Kholmatova K.K., Grzhibovskiy A.M. Panel'nye issledovaniya i issledovaniya trenda v meditsine i obshchestvennom zdravookhranenii [Panel studies and trend research in medicine and public health]. Ekologiya cheloveka 2016; (10): 57-63. (In Russian).

Дата поступления: 09.07.2019


Просмотров: 15028

Комментарии (2)
1. 12-01-2021 00:08
Могут ли в когортных исследованиях исследовать безопасность действия препарата?
Написал(а) Анна ( Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script ) (Гость)
2. 29-10-2020 18:23
спасибо за четко изложенный материал
Написал(а) Баян ( Этот e-mail защищен от спам-ботов. Для его просмотра в вашем браузере должна быть включена поддержка Java-script ) (Гость)

Добавить комментарий
  • Пожалуйста оставляйте комментарии только по теме.
  • Вы можете оставить свой комментарий любым браузером кроме Internet Explorer старше 6.0
Имя:
E-mail
Комментарий:

Код:* Code

Последнее обновление ( 28.11.2019 г. )
« Пред.   След. »
home contact search contact search