About this Journal Publication ethics Editorial Board Editorial Council Editorial Office For the Authors Contacts
English

News feeds

Journal in Databases

eLIBRARY.RU - НАУЧНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

Google Scholar

Google Scholar

Main arrow Archive of previous Issues arrow №3 2010 (15) arrow Public opinion as the form of control over medical and social efficiency of public health service (methodological, methodical and tactical aspects)
Public opinion as the form of control over medical and social efficiency of public health service (methodological, methodical and tactical aspects) Print
Monday, 13 September 2010

Chumakov A.S.1, Shoshin A.A.2, Magomedov A.T.3, Kachkovsky D.V.4, Utkin S.Yu.5
1 - V.N.Gorodkov Ivanovo Research Institute of Motherhood and Childhood, Ivanovo
2 - Department of Public Health, Yaroslavl
3 - Hospital at Sosnogorsk railway station, Republic of Komi
4 - Central polyclinic at Kuloy railway station, Arkhangelsk oblast
5 - Regional management of medical provision at the Northern railway, Yaroslavl

In the research carried out, the methodological approaches to studying population opinion about quality of medical services as a continuous stage process are discussed. Techniques of a quantitative assessment of population satisfaction with medical services as multi-component phenomenon are proposed; on which basis the time and spatial characteristics of population satisfaction with medical services at a stage outside of their reception are received, that is a condition of public opinion. Indexes for assessing changes in public opinion about quality of medical care are received that is included in monitoring of consumers’ satisfaction.

Key words: public opinion, quality of health care, monitoring of consumers’ satisfaction.

Актуальность проблемы повышения социальной эффективности здравоохранения определена существующими случаями неудовлетворенности потребителей медицинских услуг их качеством, о чем свидетельствуют случаи обращений и жалоб [1, 2]. Значимость изучения мнения потребителей о качестве медицинских услуг подтверждается совпадением мнений пациентов и экспертов об обоснованности жалоб, пациентов и медицинских работников о причинах снижения качества медицинской помощи, случаями удовлетворения исков пациентов в связи с нанесением ущерба здоровью при оказании медицинской помощи ненадлежащего качества

Можно отметить, что в исследованиях по проблемам социальной эффективности здравоохранения практически достигнуто согласие о возможности использования мнения пациента в оценке качества медицинских услуг [3, 4, 5, 6, 7]. Однако при этом остаются не разработанными единые методические подходы к оценке медицинской и социальной эффективности здравоохранения с позиций потребителей медицинских услуг, что затрудняет сопоставление данных, полученных в исследованиях. Отсутствует система прогнозирования риска снижения удовлетворенности больного медицинской услугой до ее оказания и риска снижения общественного мнения о качестве медицинской помощи в территории, данные о распространенности потребительских факторов риска понижения качества медицинских услуг, что свидетельствует о пробелах теоретических данных. Все это затрудняет построение модели непрерывного улучшения качества медицинских услуг, что в условиях разработки концептуальных направлений развития системы здравоохранения представляется чрезвычайно значимым.

Методологической основой исследования явился системный подход, позволяющий рассматривать формирование мнения населения о медицинских услугах как непрерывный многокомпонентный процесс, развивающийся в пространстве и во времени под влиянием потребительских факторов, взаимодействующих между собой, отражением которого является удовлетворенность потребителей медицинскими услугами.

Исходя из вышеуказанной методологии, рабочим определением удовлетворенности потребителей медицинских услуг их качеством принято следующее: удовлетворенность – это многокомпонентное явление, характеризующее степень соответствия мнения населения о медицинских услугах его ожиданиям, которое может быть оценено количественно по совокупности оценок компонентов и их параметров, спрогнозировано с учетом комплекса факторов риска и имеет временные и пространственные отличия.

Для реализации выше означенной методологии было разработано и апробировано соответствующее методическое обеспечение. В частности, для изучения удовлетворенности потребителей как многокомпонентного явления разработана методика оценки удовлетворенности по компонентам и их параметрам методом экспертных оценок (метод Дельфи). Для выделения компонентов и параметров в структуре удовлетворенности населения медицинскими услугами, определения приемлемой их формулировки и оценки были сформированы 3 фокус – группы (медики, оказывающие медицинские услуги; пациенты, получающие медицинские услуги; эксперты). В каждой группе выдавалась карта с перечнем возможных параметров удовлетворенности населения медицинскими услугами, выделенных аналитическим методом из литературных источников. Членов фокус - групп просили отметить важность каждого параметра, согласиться и/или дополнить определение, предложенное в карте, аргументировать свой выбор. Оценка значимости каждого параметра проводилась по десятибальной шкале, что соответствовало оценкам: крайне важный параметр 9-10 баллов, важный – 7-8 баллов, мало важный – 6 баллов, нейтральный – 5 баллов, мало значимый – 4 балла, скорее не нужный – 3-2 балла, категорически не нужный – 1 балл). Выводился средний рейтинг каждого параметра данной характеристики. Результаты расчета коэффициента конкордации показали высокую степень совпадения мнений исследуемых групп относительно возможности использования предложенных параметров удовлетворенность населения медицинскими услугами: в группе А коэффициент конкордации был равен 0,78, в группе Б – 0,79, в группе В – 0,76. Это позволило экспертам сгруппировать 44 параметра, получивших наибольший балл, по четырем компонентам удовлетворенности: 1. удовлетворенность соблюдением прав пациента, 2. удовлетворенность результатом медицинских услуг, 3. удовлетворенность организацией оказания медицинских услуг, 4. удовлетворенность вовлечением в охрану собственного здоровья.

Для определения временных характеристик удовлетворенности потребителей качеством медицинских услуг как непрерывного процесса за основу было взято состояние потребителя по отношению к получению услуги, а именно: период вне и во время получения медицинских услуг . На первом этапе находится население, которое имело собственный опыт получения медицинских услуг в прошлом, информацию об опыте получения медицинских услуг третьими лицами, отказ в оказании услуг при обращении в медицинские учреждения или завершило получение медицинских услуг. На втором этапе находится население, которое получает медицинские услуги, имея или не имея опыт в прошлом. Методической основой определения пространственных характеристик удовлетворенности явился учет места оказания услуги (территория, медицинского учреждения, структурное подразделение, профиль службы).

Методология системного подхода к удовлетворенности потребителей медицинских услуг их качеством как непрерывного процесса позволила осуществить методический переход от рассмотрения отдельных понятий удовлетворенности и неудовлетворенности к понятию удовлетворенности как единого целого.

С этих позиций нами предложена классификация удовлетворенности потребителей качеством медицинских услуг по категориям:

  • 1 категория - высокая удовлетворенность (положительная оценка с предъявлением благодарности),
  • 2 категория - ближе к высокой (положительная оценка с желанием предъявить благодарность, но без его реализации),
  • 3 категория – средняя удовлетворенность (положительная оценка без благодарности или жалобы и без наличия этих желаний),
  • 4 категория - низкая удовлетворенность (отрицательная оценка с желанием подачи жалобы, но без его реализации),
  • 5 категория – крайне низкая удовлетворенность (отрицательная оценка с подачей жалобы).

Для каждой категории удовлетворенности экспертным методом предложена балльная оценка: 1 категория - 5 баллов, 2 категория - 4 балла, 3 категория - 3 балла, 4 категория -2 балла и 5 категория - 0 баллов.

С использованием этой методики оценки удовлетворенности на индивидуальном уровне должна быть выяснена: а) категория удовлетворенности потребителя медицинской услугой по каждому параметру, б) получена сумма балльных оценок по компонентам, в которые включаются исследуемые параметры, и в) рассчитана средняя оценка удовлетворенности потребителей качеством услуги как средневзвешенная балльная оценка компонентов удовлетворенности. Сопоставление фактически полученной оценки с эталоном, за который, по предложению экспертов, принята оценка 4 балла (как среднее арифметическое балльных оценок 1, 2, 3 категорий) дает возможность рассчитать два дополнительных количественных критерия оценки удовлетворенности потребителей медицинских услуг их качеством:

  1. Показатель реализации эталона удовлетворенности как отношение фактической и эталонной оценки, выраженное в процентах. Для оценки уровня этого показателя используются следующие градации: низкий уровень реализации - ниже 30% от эталонной оценки, средний уровень- 30-70%, высокий - выше 70%;
  2. Показатель отклонения фактической оценки удовлетворенности от эталонной оценки как отношение их разности к эталонному значению, выраженное в процентах. Для оценки уровня этого показателя предложены следующие градации: низкий уровень - ниже 30%, средний уровень - 30-70%, высокий - выше 70%.

Методика оценки удовлетворенности потребителей медицинских услуг на общественном уровне основывается на расчете средневзвешенной балльных оценок удовлетворенности услугами в исследуемой совокупности потребителей. При этом могут быть рассчитаны два выше указанных и 5 дополнительных количественных показателей:

  1. Показатель частоты первой категории удовлетворенности (отношение числа потребителей, имевших «положительную оценку качества медицинских услуг с подачей благодарности» к общему числу потребителей) (в расчете на 100 потребителей);
  2. Показатель частоты второй категории удовлетворенности (отношение числа потребителей, имевших «положительную оценку с желанием подать благодарность» к общему числу потребителей) (в расчете на 100 потребителей);
  3. Показатель частоты третьей категории удовлетворенности (отношение числа потребителей, имевших «положительную оценку качества медицинской услуги без подачи благодарности (жалобы) или без этого желания» к общему числу потребителей) (в расчете на 100 потребителей);
  4. Показатель частоты четвертой категории удовлетворенности (отношение числа потребителей, имевших «отрицательную оценку качества медицинской услуги с желанием подать жалобу» к общему числу потребителей) (в расчете на 100 потребителей);
  5. Показатель частоты пятой категории удовлетворенности (отношение числа потребителей с «отрицательной оценкой качества медицинских услуг с подачей жалобы» к общему числу потребителей) (в расчете на 100 чел.).

Исходя из формы сбора информации для изучения непрерывного улучшения качества медицинских услуг с позиций их потребителя представлялось необходимым методическое уточнение понятия видов удовлетворенности, а именно:

  1. удовлетворенность потребителей медицинских услуг их качеством по данным опроса;
  2. удовлетворенность потребителей медицинских услуг их качеством по данным обращаемости.

При этом под удовлетворенностью потребителей медицинских услуг их качеством по данным опроса нами понималось выявленное соответствие фактического мнения потребителей о медицинских услугах их ожиданиям по результатам социологического опроса по анкете. Для сбора информации при оценке этого вида удовлетворенности потребителей медицинских услуг их качеством разработан пакет анкет, применительно к каждому временному этапу формирования удовлетворенности и ее пространственной характеристике. Методической особенностью анкет является включение в них вопросов, позволяющих получить информацию о компонентах удовлетворенности и выразить ее в баллах с учетом выделенных 5 категорий. Это позволяет рассчитать все выше указанные количественные показатели удовлетворенности потребителей медицинских услуг их качеством.

Под удовлетворенностью населения качеством медицинских услуг по данным обращаемости понималось выявленное соответствие фактического мнения потребителей их ожиданиям по результатам обращений. Для сбора информации используется метод выкопировки данных из учетной первичной экспертной документации, в которой регистрируются случаи обращения населения, в том числе с жалобами, в объеме карты, в которой указывается категория удовлетворенности и ее оценка в баллах по каждому параметру и компоненту удовлетворенности на уровне ее пространственных характеристик. Однако необходимо отметить, что при данном виде удовлетворенности могут быть получены сведения только о 1 и 5-ой ее категориях, что затрудняет получение оценки удовлетворенности в целом.

Для количественной оценки степени совпадения общественного мнения о качестве медицинских услуг и мнения эксперта может использоваться методика расчета показателя обоснованности удовлетворенности: число случаев оказанных медицинских услуг с совпадающей оценкой потребителя и эксперта качества медицинских услуг к общему числу случаев (%). При этом для получения информации предложена «Карта экспертной оценки случая оказания медицинской услуги». Методической особенностью экспертизы является оценка экспертом и потребителем состояния свойств качества одной и той же оказанной медицинской услуги, причин его снижения, внесение в карту мнения обеих сторон (в соответствующие разделы), получение заключения о степени их совпадения. Для заполнения экспертной карты экспертами используется максимально полный объем исходных документов, в том числе, первичная медицинская документация, информация о возможностях оказания услуги в данном учреждении и др.

Тактическим аспектом решения проблем формирования положительного общественного мнения о качестве медицинских услуг может явиться мониторинг удовлетворенности потребителей медицинскими услугами, важным условием создания которого является наличие информации об индикаторах его состояния и факторах, оказывающих влияние, на разных этапах формирования удовлетворенности.

В данном сообщении представлены результаты изучения удовлетворенности населения медицинскими услугами по данным опроса на этапе вне оказания медицинских услуг, временные и пространственные ее различия, выполненные по трем направлениям:

  • анализ состояния удовлетворенности потребителей медицинских услуг их качеством по данным опроса на этапе вне их оказания на конкретный момент времени включающей опрос по анкете «Что Вы думаете о качестве медицинской помощи» по 11 блокам вопросов и расчет по предложенным формулам индекса частоты категорий удовлетворенности и среднетерриториального индекса удовлетворенности;
  • анализ пространственных различий удовлетворенности потребителей медицинских услуг их качеством по данным опроса на этапе вне их оказания с учетом выделенных нами четырех типов пространственных характеристик и с расчетом предложенных в исследовании пространственных индексов удовлетворенности;
  • анализ временных различий в уровне удовлетворенности потребителей медицинских услуг их качеством по данным опроса на этапе вне их оказанияс применениемвышеобозначеннойметодики сбора информации и расчетом вышеприведенных индексов удовлетворенности на базе одних и тех же территорий в разные временные периоды (анонимное анкетирование).

Анкета включала следующие блоки вопросов:

  1. Оценка населением организации работы учреждений, в которых оно получало медицинскую помощь (женские консультации, поликлиники для взрослых, станция скорой медицинской помощи, стационар областного, городского и районного уровня, родильный дом, детская больница, детская поликлиника, специализированный стационар;
  2. Виды медицинской помощи, в которых нуждался потребитель, но не получил в течение последнего года;
  3. Оценка работы структурных подразделений медицинских учреждений : регистратура, процедурные кабинеты, основные и вспомогательные отделения;
  4. Оценка работы медицинского персонала (участковых врачей, участковых медицинских сестер, специалистов);
  5. Оценка результата оказания медицинских услуг,
  6. Оценка соблюдения прав пациента;
  7. Оценка гигиенического обучения;
  8. Причины, снижающие качество медицинской помощи;
  9. Причины желания и подачи жалоб, место подачи жалобы, причины отказа;
  10. Мнение о необходимости опроса населения для оценки качества медицинской помощи.

Полученные данные обработаны с применением ЭВМ с расчетом показателей в сл. на 100 опрошенных как среднетерриториальные с оценкой достоверности разности различий показателей по критерию t. Методика оценки удовлетворенности населения медицинскими услугами по данным опроса основана на расчете по выше указанным формулам по всей выборочной совокупности без территориального разделения показателя частоты регистрации 4 и 5 категории удовлетворенности, частоты регистрации 1, 2, 3 категории удовлетворенности, сводного индекса удовлетворенности по категориям (в баллах), показателя отклонения от эталона фактического значения сводного индекса удовлетворенности. Кроме того, эти показатели рассчитаны по отдельным пространственным характеристикам удовлетворенности (по территориям, типам учреждений, их структурным подразделениям и профилям служб). Для определения временных различий сопоставлены данные опроса 2004 года с данными 1994 года, полученными в рамках исследования общественного мнения, проводимого Федеральным фондом ОМС по однотипной анкете в соответствующих территориях РФ. Для приведения в соответствие данных анкет использован метод экспертных оценок. Для оценки общественного мнения населения о медицинских услугах результаты опроса населения вне оказания медицинских услуг сопоставлялись с данными, полученными при опросе потребителей во время получения медицинских услуг (объем выборки- 404 случая оказания услуг).

Отмечено, что главными причинами использования платных услуг по совокупным данным субъектов РФ являются снижение удовлетворенности результатом медицинской помощи в государственных (муниципальных) учреждениях (65,2 сл. на 100 опрошенных) и «отсутствия их в территориальной программе государственных гарантий оказания бесплатной медицинской помощи (20,1 сл. на 100 опрошенных).

Результаты опроса показали, что население достаточно часто отмечает такие причины снижения удовлетворенности работой участкового врача на приеме как недостаточность получения необходимой информации (58,5 сл. на 100 опрошенных), трудности с организацией профосмотра (36,2), некачественное лечение заболеваний (42,1), отказы от проведения физиотерапевтических процедур, ЛФК, фитотерапии (24,0), грубость участкового врача (22,0), отказы врача от объяснения возможных осложнений заболевания (16,2); недостаточность результатов диспансерного наблюдения (25,1), недостаточность санитарно-гигиенического обучения (12,0). Эти причины могут быть сгруппированы по таким направлениям, как «удовлетворенность потребителей соблюдением прав пациента», «удовлетворенность потребителей результатом медицинской услуги», «удовлетворенность потребителей процессом оказания услуги» и «удовлетворенность потребителей вовлечением в процесс охраны собственного здоровья».

При оценке причин снижения удовлетворенности пациентов качеством работы участкового врача на дому в каждом пятом случае недовольство было обусловлено осуществлением врачебных посещений только по вызову, невыполнением назначенных лабораторных исследований, обещанных консультаций, санитарно-гигиенического обучения; назначенных лечебных манипуляций; в каждом втором – недостигнутым улучшением состояния здоровья. Эти данные свидетельствуют о том, что при проведении экспертной оценки удовлетворенности потребителей качеством работы участкового врача на дому могут быть учтены выше обозначенные направления снижения удовлетворенности, а именно: «снижение удовлетворенности потребителей медицинских услуг процессом организации их оказания», «снижение удовлетворенности исходом медицинской услуги», «снижение удовлетворенности вовлечением в охрану собственного здоровья».

В качестве причин снижения удовлетворенности работой участковой медицинской сестры потребители по данным опроса отмечали торопливость, невнимательность при посещениях на дому (28,1 сл. на 100 опрошенных), нерегулярность посещений (26,2), возникновение осложнений при выполнении сестринских манипуляций (5,1). В работе специалистов всех профилей по данным опроса выявлено наличие однотипного снижения удовлетворенности потребителей качеством оказываемых ими медицинских услуг, а именно: «большие очереди», «неудобный график работы», «невнимательность», «отсутствие информирования о методах лечения, диагностики», «отсутствие информирования о работе учреждения», «отличие фактического и ожидаемого исхода оказания услуги». Эти причины также свидетельствуют о необходимости учета при проведении экспертизы удовлетворенности потребителей оказанной медицинской услугой таких компонентов удовлетворенности, как «удовлетворенность процессом оказания медицинской услуги», «удовлетворенность соблюдением прав пациента», «удовлетворенность результатом услуги».

Полученные данные подтверждают обоснованность предложенного в исследовании структурного подхода к анализу удовлетворенности потребителей медицинских услуг их качеством с возможным выделением выше обозначенных компонентов. При этом отдельные причины снижения удовлетворенности, характеризующие тот или иной компонент, могут использоваться экспертами в качестве его параметров.

При анализе количественных показателей удовлетворенности потребителей медицинских услуг их качеством по данным опроса на этапе вне их оказания отмечено неблагополучие ситуации. Оно обусловлено выявленными данными о превышении индекса частоты удовлетворенности четвертой и пятой категорий над индексом частоты первой, второй и третьей категорий (на 17,2 сл. на 100 опрошенных), особенно по таким компонентам удовлетворенности как «удовлетворенность процессом оказания услуг» и «удовлетворенность потребителей медицинских услуг их результативностью».

Анализ удовлетворенности потребителей медицинских услуг по данным опроса показал, что предложенные ранее методики, включающие расчет индекса частоты неудовлетворенности (оценка «плохо») и индекса частоты удовлетворенности (оценка «отлично») дает возможность оценивать две раздельные ее части и не позволяет получить цельную оценку. Эти данные, как показали результаты проводимого исследования, могут быть получены при использовании сводного индекса удовлетворенности, рассчитываемого с учетом ее категорий (в баллах). Отмечено, что имеет место существенное отклонение сводной балльной оценки удовлетворенности от оптимального значения (показатель отклонения от эталона 53,4%).

При анализе пространственных и временных характеристик удовлетворенности населения медицинскими услугами по данным опроса на этапе вне их оказания установлены различия в ее уровне с учетом территории, профиля услуги, типа учреждения, структурного подразделения, а также различия в направлениях их изменения на протяжении исследуемого периода времени, о чем свидетельствуют достоверные различия совокупных индексов частоты первой, второй и третьей категорий удовлетворенности в целом и отдельных ее компонентов.

Отмечено, что определенность оценки удовлетворенности потребителей медицинских услуг их качеством достоверно возрастает при проведении опроса с учетом наличия у опрашиваемого собственного опыта их получения: число ответов «не знаю» составило 10,8 сл.на 100 опрошенных против 81,8 при отсутствии собственного опыта получения услуги того или иного профиля.

Анализ соотношения фактической удовлетворенности потребителей качеством медицинских услуг на этапе их оказания по данным опроса и уровня удовлетворенности населения медицинскими услугами на этапе вне их оказания по данным опроса выявил, что в территориях с большим индексом обоснованности снижения фактической удовлетворенности застрахованных медицинскими услугами достоверно выше индекс частоты 4-5-ой категории удовлетворенности населения медицинскими услугами по данным опроса на этапе вне их оказания и наоборот. Он также выше при более высоком уровне удовлетворенности потребителей, получивших медицинскую услугу, по данным обращаемости после оказания услуги в связи с ненадлежащим ее качеством (индекс частоты 5-ой категории удовлетворенности по данным обращаемости (жалобы), рассчитываемый на основе постоянно формирующейся в ТФОМС отчетной формы № 42 ПГ). Эти данные можно рассматривать как прогностические, во-первых, для проведения в территории внеочередного социологического опроса мнения населения о качестве медицинских услуг и, во-вторых, для проведения в наиболее проблемных учреждениях (службах, подразделениях) экспертизы качества оказываемых медицинских услуг.

Гендерные различия общественного мнения о качестве медицинских услуг при опросе населения на этапе вне их получения показали, что среднебалльная оценка удовлетворенности у мужчин была выше, чем у женщин (отклонение от эталона на 38,0% против 68,2% соответственно). При этом большее снижение (на примере мужчин-работников корпоративной железнодорожной службы) имели такие компоненты удовлетворенности как «удовлетворенность вовлечением в охрану здоровья» и «удовлетворенность результативностью медицинских услуг».

Представленные данные являются теоретическим обоснованием оптимизации методических подходов изучения удовлетворенности потребителей медицинских услуг их качеством по данным опроса на этапе вне оказания услуг: во-первых, учета пространственных характеристик удовлетворенности как в целом, так и по структурным компонентам, во-вторых, учета состояния этих характеристик во времени, в третьих, необходимости проведения мониторинга удовлетворенности.

Список литературы

  1. Зайцева Е.В. Совершенствование организационно-методических подходов улучшение удовлетворенности больного медицинской услугой в системе ОМС. Автореф. дис… канд. мед. наук.- Иваново, 2005. – 23 с.
  2. Александрова О.Ю., Лакунин К.Ю., Тимошенкова Т.В. Медико-правовой анализ медицинской помощи, вызвавшей неудовлетворенность пациентов. // Экономика здравоохранения. – 2007. - №5. - с.46-51.
  3. Азизова Б.Г. Сравнительный анализ мнения врачей и пациентов о доступности и качестве консультативно-диагностической медицинской помощи. // Материалы международной науч.-практ. конф. «Роль здравоохранения в охране общественного здоровья» - Бюлл. НИИ общественного здоровья РАМН. - М., 2008 - вып.2. - с.31-35.
  4. Матер А.А. Оценка степени удовлетворенности населения г. Краснодара деятельностью скорой медицинской помощи по результатам социологического опроса. // «Общественное здоровье: инновации в экономике,управлении и правовые вопросы здравоохранения» Материалы 1 Международной науч.-практ. конф. - Новосибирск. - 2005. - с.11-14.
  5. Боярский С.Г. Управление качеством медицинской помощи и проблема оценки удовлетворенности пациента. // Проблемы городского здравоохранения: Сб. науч. тр. – СПб. – 1995. - с.57-59.
  6. Васильева Т.П., Бостриков Е.Б., Тюрина О.В., Наумов А.В. Состояние городской среды проживания по данным удовлетворенности мужского населения медицинской помощью. // Развитие системы обеспечения качества медицинской помощи в современных условиях и проблемы оптимизации структуры здравоохранения: Материалы науч.-практ. конф. - М., 2000. - с.73-77.
  7. Гриненко А.Я., Семенов В.Ю. Проблемы качества медицинской помощи в системе обязательного здравоохранением.// Проблемы управления здравоохранением. -2003. - №3 (10) - с.38-41.

Views: 23168

Be first to comment this article

Write Comment
  • Please keep the topic of messages relevant to the subject of the article.
  • Personal verbal attacks will be deleted.
  • Please don't use comments to plug your web site. Such material will be removed.
  • Just ensure to *Refresh* your browser for a new security code to be displayed prior to clicking on the 'Send' button.
  • Keep in mind that the above process only applies if you simply entered the wrong security code.
Name:
E-mail
Comment:

Code:* Code

Last Updated ( Monday, 20 September 2010 )
< Prev   Next >
home contact search contact search