ТЕСТИРОВАНИЕ ОРДИНАТОРОВ КАК ИНСТРУМЕНТ ОЦЕНКИ ИХ ПОДГОТОВКИ ПО ДИСЦИПЛИНЕ "ОБЩЕСТВЕННОЕ ЗДОРОВЬЕ И ЗДРАВООХРАНЕНИЕ"

Резюме

В статье авторы обсуждают универсальные и профессиональные компетенции, формируемые в процессе обучения в ординатуре и базирующиеся на законодательстве Российской Федерации, что требует от ординаторов способности и готовности понимать положения релевантных нормативных правовых документов, ориентироваться в новеллах законодательства. Таким образом, цель данного исследования, с одной стороны, - тестирование ординаторов и оценка уровня их знаний, с другой, - анализ полученных результатов для идентификации наиболее распространенных ошибок у обучающихся и разработка целенаправленных педагогических интервенций по их предотвращению.

Материал и методы. Авторами были проанализированы результаты тестирования 328 клинических ординаторов, которым был предложен тест, состоящий из 50 вопросов. Средний возраст - 24,1±1,9 года. Были рассмотрены результаты 922 попыток тестирования. Показатель соотношения успешных и неудачных попыток решения тестовых заданий составил 1 : 1,81.

Результаты успешных попыток распределились следующим образом: 208 (63,3%) человек завершили тестирование в пределах 71-80%, 102 (31,2%) человека набрали 81-90% и лишь 18 (5,5%) ординаторов дали более 91% правильных ответов. С высокой степенью достоверности ординаторы чаще ошибались в вопросах, которые касаются основных положений законодательства в сфере охраны здоровья граждан, чем в любом из других модулей (р≤0,05).

Заключение. Проведенные исследования показали целесообразность дополнительной подготовки будущих врачей в части формирования их медико-правовых компетенций с учетом динамично меняющейся законодательной базы непосредственно перед государственной аттестацией и первичной аккредитацией.

Ключевые слова:тестирование; правовая грамотность; медицинское образование; практикующий врач; клинический ординатор

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Дерюшкин В.Г., Гацура О.А., Кочеткова И.О., Гацура С.В. Тестирование ординаторов как инструмент оценки их подготовки по дисциплине "Общественное здоровье и здравоохранение" // Медицинское образование и профессиональное развитие. 2022. Т. 13, № 3. С. 20-29. DOI: https://doi.org/10.33029/2220-8453-2022-13-3-20-29

В соответствии с положениями Федерального закона от 29.12.2012 № 273-ФЗ "Об образовании в Российской Федерации", подготовка специалистов высшей квалификации для системы здравоохранения осуществляется в ординатуре и обеспечивает достижение обучающимися необходимого для осуществления профессиональной деятельности уровня знаний, умений и навыков [1]. Готовность выпускников к самостоятельной работе в организациях здравоохранения постулируется как основной итог и цель подготовки в ординатуре. По сути, выпускники, успешно освоившие соответствующую программу, обязаны владеть всеми необходимыми для осуществления профессиональной деятельности навыками, готовы использовать полученные знания (информацию) и умения для решения тактических и стратегических задач в реальных условиях. Кроме того, такой специалист должен осознавать собственную уверенность в способности справиться с поставленными перед ним в практическом здравоохранении задачами, т.е. обладать профессиональной самоэффективностью [2].

Начиная с 2014 г. обучение по программам ординатуры осуществляется в соответствии с Федеральными государственными образовательными стандартами по тем специальностям, которые предусмотрены действующим приказом Минздрава России от 07.10.2015 № 700н "О номенклатуре специальностей специалистов, имеющих высшее медицинское и фармацевтическое образование", образовательной программой высшего образования - программами ординатуры и учебным планом [1].

Подготовка специалистов высшей квалификации включает в себя освоение дисциплины (модуля) "Общественное здоровье и здравоохранение" в качестве обязательного элемента базовой части программы обучения в ординатуре.

К сожалению, временны́е рамки такого модуля для клинических ординаторов смежных кафедр крайне ограничены и не позволяют детально проработать/освоить закономерности и факторы, формирующие здоровье населения, тенденции заболеваемости, унифицированные показатели качества медицинской помощи, модели организации медицинской помощи, учетно-отчетную документацию медицинской организации, основные составляющие здорового образа жизни, принципы организации программ профилактики и др.

Отчасти именно поэтому на кафедре общественного здоровья и здравоохранения лечебного факультета ФГБОУ ВО МГМСУ им. А.И. Евдокимова Минздрава России основной акцент в данном модуле был сделан на ключевых положениях законодательной базы здравоохранения, которая перманентно находится в состоянии формирования, наполнения и совершенствования [3]. К тому же знания законодательства в сфере здравоохранения становятся обязательным компонентом профессиональной компетентности современного врача вне зависимости от занимаемой должности или врачебной специальности [4]. Очевидно, что формируемые в процессе обучения в ординатуре универсальные и профессиональные компетенции, базирующиеся на законодательстве Российской Федерации, требуют от ординаторов способности и готовности понимать положения релевантных нормативных правовых документов, ориентироваться в новеллах законодательства, а также имплементировать полученную и усвоенную информацию [5, 6].

В качестве эффективного, технологичного и объективного метода оценки знаний и навыков клинических ординаторов в рамках освоения цикла "Общественное здоровье и здравоохранение" традиционно используется тестирование. Помимо основной цели тестирования, одной из задач анализа полученных результатов являются идентификация наиболее распространенных ошибок у обучающегося контингента и разработка целенаправленных педагогических интервенций по их предотвращению.

Материал и методы

Для оценки уровня освоения клиническими ординаторами утвержденной по данной дисциплине программы сотрудники кафедры общественного здоровья и здравоохранения ФГБОУ ВО МГМСУ им. А.И. Евдокимова Минздрава России сформировали базу тестовых заданий (ТЗ), которые имели привычную для выпускников медицинских вузов форму, так как разрабатывались они по едиными требованиям Методического центра аккредитации специалистов Института электронного медицинского образования при ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (МЦАС) с учетом положений Методических указаний по подготовке педагогических тестовых материалов [7, 8].

ТЗ были отобраны из базы данных МЦАС по дисциплине "Общественное здоровье и здравоохранение" и соответствовали трудовым функциям действующего профессионального стандарта "Врач-лечебник (врач-терапевт участковый)" [9]. Все ТЗ на этапе включения в базу МЦАС ранее прошли двойное слепое рецензирование экспертами по данной специальности. В каждом ТЗ предложены 4 варианта ответа, один из которых являлся верным. Время ответа на одно тестовое задание было ограничено 1 мин.

Ниже приведены примеры отобранных для тестирования заданий, в которых знаком * отмечен правильный вариант ответа.

1. Медицинское страхование является формой:

а) обязательств по предоставлению пособий по нетрудоспособности;

б) социальной защиты интересов населения в охране здоровья*;

в) ответственности за неисполнение рекомендаций врача;

г) охраны жизни, трудоспособности человека.

2. Продление листка нетрудоспособности на срок более 15 дней осуществляет:

а) врачебная комиссия*;

б) главный врач;

в) заведующий отделением;

г) комиссия по трудовым спорам.

Клиническим ординаторам лечебного профиля был предложен комплект из 200 ТЗ, составленных по материалам лекций и практических занятий, предусмотренных рабочей программой дисциплины и фондом оценочных средств.

Характеристика базы ТЗ:

· ТЗ были едины для всех 34 специальностей ординатуры;

· исходными нормативными правовыми документами, использованными при разработке ТЗ, стали Федеральный закон "Об основах охраны здоровья граждан в Российской Федерации" от 11.10.2011 № 323-ФЗ, постановление Правительства от 07.12.2019 № 1610 "О Программе государственных гарантий бесплатного оказания гражданам медицинской помощи на 2020 год и на плановый период 2021 и 2022 годов", Федеральный закон "Об основах обязательного медицинского страхования в Российской Федерации" от 29.11.2010 № 326-ФЗ (ОМС), приказ Министерства здравоохранения и социального развития Российской Федерации от 29.06.2011 № 624н "Об утверждении Порядка выдачи листков нетрудоспособности";

· вид базы ТЗ - ориентированный на нормативную правовую базу;

· число ТЗ в каждом варианте - 50 с одним правильным вариантом ответа из представленных четырех возможных, вес правильного ответа был одинаков во всех ТЗ;

· тест формировался случайным образом с возможным повторением ТЗ.

База ТЗ включала 4 основных модуля, которые были соотнесены с содержанием требуемых к освоению универсальных и профессиональных компетенций:

· общественное здоровье - 23 ТЗ (11,5%);

· основы законодательства Российской Федерации в сфере охраны здоровья населения, включая Программу государственных гарантий (ПГГ) и ОМС - 112 ТЗ (56,0%);

· экспертиза временной нетрудоспособности (ЭВН) - 26 ТЗ (13,0%);

· организация медицинской помощи населению - 39 ТЗ (19,5%).

Авторами были проанализированы результаты тестирования 328 клинических ординаторов ФГБОУ ВО МГМСУ им. А.И. Евдокимова Минздрава России, прошедших обучение по дисциплине (модулю) "Общественное здоровье и здравоохранение" в 2019/2020 учебном году. Доля женщин среди обучающихся составляла 68,3% (224 человека), мужчин 31,7% (104 человека). Средний возраст ординаторов - 24,1±1,9 года. Абсолютное большинство обучающихся (314 человек - 95,7%) поступили в ординатуру непосредственно по окончанию основного курса обучения в медицинском вузе.

Для каждого испытуемого количество попыток было произвольным, время тестирования ограничивалось 50 мин. Успешной считалась попытка с минимальной долей правильных ответов 71%. Техническая сторона процедуры тестирования не вызвала затруднений или дополнительных вопросов у ординаторов. Тестирование проводилось онлайн на платформе "Программы для онлайн-обучения iSpring".

Результаты проведенного анализа представлены в абсолютных и относительных величинах, достоверность различий оценивалась на основании рассчитанного критерия χ2 Пирсона, которые считались достоверными при р≤0,05. Полученные данные были обработаны с помощью пакета прикладных программ STATISTICA 13.0.

Результаты

Подвергались анализу все полученные варианты тестирования вне зависимости от конечного итога. В общей сложности были рассмотрены результаты 922 попыток тестирования. Показатель соотношения успешных и неудачных попыток решения ТЗ составил 1 : 1,81,т.е. для прохождения испытания каждому ординатору потребовались в среднем 3 попытки.

Результаты успешных попыток распределились следующим образом: 208 (63,3%) человек завершили тестирование в пределах 71-80%, 102 (31,2%) человека набрали 81-90% и лишь 18 (5,5%) ординаторов дали более 91% правильных ответов. В связи с этим нелишне отметить, что более половины респондентов в традиционной системе оценивания получили бы отметку "удовлетворительно" и чуть более 5% - "отлично".

Из представленного на рисунке распределения ответов по содержательным модулям следует, что самым сложным для ординаторов клинических кафедр оказался раздел, содержащий ТЗ по основам законодательства сферы здравоохранения Российской Федерации. Здесь ординаторы с высокой степенью достоверности ошибались чаще, чем в любом из других модулей (р≤0,05).

Наиболее успешно ординаторы справлялись с ТЗ, посвященными ЭВН. Предполагаем, что такое положение дел связано с неоднократным повторением этой темы не только на IV, но и на выпускном, VI, курсе лечебного факультета.

В общей сложности респонденты выбрали 1798 неверных ответов на предложенные ТЗ, которые в дальнейшем были использованы в качестве отправной точки для последующего анализа с вычислением доли ошибочных решений по каждому содержательному модулю и выделению в каждом из них так называемой тройки антилидеров, т.е. ТЗ, на которые пришлось большинство неверных ответов.

В разделе "Общественное здоровье" у экзаменуемых наибольшие затруднения вызывали вопросы, касающиеся показателей общественного здоровья и методики их расчета (30,5% неверных ответов), идентификации и анализа факторов, определяющих здоровье и риск развития заболеваний (17,6%) и, как это ни странно, вопросов медицинской профилактики (16,7%).

На долю тройки антилидеров в модуле "Организация медицинской помощи населению" выпали более половины сделанных ошибок, казалось бы, по хорошо проработанным темам, которые ранее изучались также на ряде клинических кафедр, - здесь наибольшие проблемы у респондентов вызвали ТЗ, касающиеся контроля качества и безопасности деятельности медицинской организации (32,2%), далее следовали вопросы о порядках оказания медицинской помощи (18,6%) и стандартах медицинской помощи (14,3% неверных ответов).

Экспертиза временной нетрудоспособности, к которой респонденты ранее неоднократно обращались в процессе до- и последипломного обучения, вызвала наибольшие затруднения в вопросах выбора уровня проведения ЭВН (25,5%), ответственности за организацию ЭВН (15,8%) и определения продолжительности временной нетрудоспособности (11,5%).

Обращаясь к результатам тестирования по наиболее проблемному разделу нашей дисциплины, - основам законодательства Российской Федерации (см. рисунок) отметим, что по числу неверных ответов лидируют темы, затрагивающие содержание ПГГ (15,0%); виды, формы и условия оказания медицинской помощи (13,2%), а также ее доступность и качество (7,5%). Всего на тройку антилидеров пришлось чуть более 30% неверных ответов.

Следует отметить, что некоторые ТЗ не вызвали затруднений у испытуемых. В частности, в пятерку лидеров по наибольшему количеству верных ответов по всем модулям вошли ТЗ, касающиеся: (1) оказания высокотехнологичной медицинской помощи; (2) лиц, застрахованных в системе ОМС; (3) диспансеризации и профилактических медицинских осмотров; (4) сроков действия аккредитации; (5) правомочности страхового полиса на территории Российской Федерации.

Таким образом, проведенное тестирование учебных достижений ординаторов клинических кафедр по дисциплине "Общественное здоровье и здравоохранение" выявило следующие недостатки:

· уровень усвоенного материала по ряду ключевых тем дисциплины оказался на недопустимо низком уровне;

· самыми проблемными точками стали разделы, посвященные основам законодательства в сфере здравоохранения и организации медицинской помощи населению;

· более половины ординаторов удовлетворяются низкими баллами за тестирование, не стремясь к более высоким оценкам.

Обсуждение

Полученные в ходе исследования результаты позволили выявить проблемные для освоения клиническими ординаторами тематические модули дисциплины "Общественное здоровье и здравоохранение", причем самыми сложными для решения стали ТЗ, посвященные вопросам законодательства Российской Федерации в сфере здравоохранения.

Отметим, что знание основных нормативных правовых актов и готовность правильно применять их положения становятся в настоящее время крайне важной компетенцией не только для административно-управленческого аппарата медицинских организаций, но и для практикующего врача.

Вопросам правовой грамотности медицинских работников уделяется нарастающее внимание, что подтверждается, в частности, многочисленными публикациями не только медицинской, но и юридической направленности. В своем большинстве они имеют практическую адресность и основываются на конкретных ситуациях, возникающих при нарушении тех или иных положений законодательства. Работы отечественных исследователей наглядно показывают, что именно недостаточная сформированность правоприменительного навыка приводит к инцидентам, которые могут привести к жалобам пациентов, причинить ущерб профессиональной репутации врача и/или к судебным искам [11-14].

На этом фоне диссонансом воспринимается неоправданная уверенность практикующих врачей и студентов медицинских вузов в собственной компетентности в отношении правовых аспектов профессиональной деятельности, что еще раз подчеркивает необходимость более детального рассмотрения данных вопросов на лекционных и практических занятиях [3, 5].

Сопоставимый результат продемонстрировали и клинические ординаторы ФГБОУ ВО МГМСУ им. А.И. Евдокимова Минздрава России, участвовавшие в исследовании в феврале 2018 г. Респонденты и ранее были склонны завышать свой уровень уверенности в собственной компетентности правильно применять положения правового законодательства в профессиональной деятельности [4].

Законодательная база здравоохранения постоянно обновляется, вносятся дополнения в уже действующие документы, издаются новые и аннулируются прежние акты. На этом фоне крайне важным представляется своевременное приобретение врачом необходимых медико-правовых знаний, сопряженных с изменениями отраслевых документов. Нами неоднократно подчеркивалась целесообразность изучения актуализированных разделов законодательства на старших курсах медицинских вузов, что позволит выпускникам начать профессиональную деятельность с четко сформированными практическими компетенциями [3-5, 10].

Заключение

Таким образом, проведенные исследования показали целесообразность дополнительной подготовки будущих врачей в части формирования их медико-правовых компетенций с учетом динамично меняющейся законодательной базы непосредственно перед государственной аттестацией и первичной аккредитацией. С этой целью в программу подготовки студентов выпускного курса лечебного факультета ФГБОУ ВО МГМСУ им. А.И. Евдокимова Минздрава России по инициативе профильной кафедры в 2020 г. был введен модуль "Организация здравоохранения". В настоящее время в вузе продолжается работа по оценке эффективности ранее введенного модуля на основании тестирования ординаторов клинических кафедр по тем же содержательным модулям.

Авторы считают, что оперативное реагирование высшей медицинской школы на постоянно меняющиеся реалии практического здравоохранения послужит повышению качества всесторонней подготовки практикующего врача, включая организационные и правоприменительные компетенции.

Литература

1.Об образовании в Российской Федерации // Федеральный закон РФ от 29.12.2012 № 273-ФЗ [Электронный ресурс]. URL: http://www.consultant.ru/document/cons_doc_LAW_140174/ (дата обращения: 04.05.2022)

2.Гацура С.В., Гацура О.А., Майчук Е.Ю. Самоэффективность как необходимый элемент формирования компетенции в медицинском образовании: взгляд врача-педагога // Инфекционные болезни: новости, мнения, обучение. 2016. № 3. С. 24-29.

3.Зимина Э.В., Дерюшкин В.Г., Гацура О.А. Медико-правовая грамотность как неотъемлемая компетенция врача // Инфекционные болезни: новости, мнения, обучение. 2019. Т. 8, № 1. С. 95-100. DOI: https://doi.org/10.24411/2305-3496-2019-11012

4.Гацура О.А., Дерюшкин В.Г., Гацура С.В. Начинающий врач на пороге клинической ординатуры: ожидания и вызовы // Медицинское образование и профессиональное развитие. 2019. Т. 10, № 3. С. 64-71. DOI: https://doi.org/10.24411/2220-8453-2019-13007

5.Гацура О.А., Дерюшкин В.Г., Гацура С.В. О проблеме правовой грамотности практикующих врачей // Здравоохранение Российской Федерации. 2019. Т. 63, № 3. С. 159-165. DOI: https://doi.org/10.18821/0044-197X-2019-63-3-159-165

6.Гацура О.А., Дерюшкин В.Г., Наваркин М.В. Использование информационного ресурса нормативных правовые актов для принятия управленческих решений (Практикум). Москва : МГМСУ им. А.И. Евдокимова, 2017. 67 с.

7.Методические рекомендации, инструкции - оценочные средства. Методический центр аккредитации специалистов Института электронного медицинского образования при ФГАОУ ВО ПМГМУ им. И.М. Сеченова Минздрава России [Электронный ресурс]. URL: https://fmza.ru/metod/instruktsii/mr-otsenochnye-sredstva/ (дата обращения: 11.05.2022)

8.О сертификации качества педагогических тестовых материалов // Приказ Минобра РФ от 17.04.2000 г. № 1122 [Электронный ресурс]. URL: https://docs.cntd.ru/document/901764680 (дата обращения: 11.05.2022)

9.Об утверждении профессионального стандарта "Врач-лечебник (врач-терапевт участковый)" // Приказ Министерства труда и социальной защиты РФ от 21 марта 2017 г. № 293н [Электронный ресурс]. URL: https://base.garant.ru/71648500/ (дата обращения: 11.05.2022)

10. Дерюшкин В.Г. Правовая грамотность - основа профессиональной компетентности врач // Сборник материалов XXXIX итоговой научной конференции молодых ученых МГМСУ имени А.И. Евдокимова. Москва, 2017. С. 316-318.

11. Дерюшкин В.Г., Гацура О.А., Гацура С.В. Феномен агрессии пациента, по мнению практикующего врача // Проблемы социальной гигиены, здравоохранения и истории медицины. 2021. Т. 29, № 5. С. 1132-1137. DOI: http://dx.doi.org/10.32687/0869-866X-2021-29-5-1132-1137

12. Смирнова Е.В., Волкова О.А. Жалобы граждан на доступность и качество медицинской помощи как инструмент оценки эффективности внедрения "новой модели медицинской организации, оказывающей первичную медико-санитарную помощь взрослому населению" // Проблемы стандартизации в здравоохранении. 2021. № 3-4. С. 3-12. DOI: http://dx.doi.org/10.26347/1607-2502202103-04003-012

13. Горбачев В.И., Нетесин Е.С., Горбачева С.М., Сумин С.А., Хамидулин М.В., Уткин Н.Н. Анализ уголовных дел против врачей хирургических специальностей по статье "Причинение смерти по неосторожности вследствие ненадлежащего исполнения лицом своих профессиональных обязанностей" // Вестник интенсивной терапии имени А.И. Салтанова. 2020. № 4. С. 134-142. DOI: http://dx.doi.org/10.21320/1818-474X-2020-4-134-142

14. Марданова Г.А. Информационно-правовое обеспечение правовой грамотности в сфере здравоохранения // Журнал юридических исследований. 2018. № 4. С. 55-58 [Электронный ресурс]. URL: https://naukaru.ru/ru/nauka/article/26834/view (дата обращения: 20.05.2022)

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»