ОПРЕДЕЛЕНИЕ ОПТИМАЛЬНЫХ ВЕСОВЫХ КОЭФФИЦИЕНТОВ ОЦЕНОЧНЫХ РУБРИК ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА АККРЕДИТАЦИИ СПЕЦИАЛИСТОВ

Резюме

В статье рассматривается проблема определения оптимальных весовых коэффициентов для пунктов чек-листов, используемых в аккредитации при оценивании практических навыков экзаменуемых с помощью станций для проведения объективного структурированного клинического экзамена. Приведена методика определения оптимальных весовых коэффициентов, требующая экспертных методов. Анализируются результаты апробации этой методики на выборке студентов.

Ключевые слова:аккредитация, весовые коэффициенты, практические навыки

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Сизова Ж.М., Семенова Т.В., Белобородова А.В., Малахова Т.Н., Челышкова М.Б. Определение оптимальных весовых коэффициентов оценочных рубрик для практического этапа аккредитации специалистов // Медицинское образование и профессиональное развитие. 2020. Т. 11, № 4. С. 9-18. DOI: 10.2441 1/2220-8453-2020-14001

Оценка способности к практической деятельности выпускников системы образования или работающих специалистов широко применяется в массовых оценочных процедурах во многих странах мира. В частности, в системе здравоохранения России и ряда других стран врачей и выпускников медицинских вузов тестируют при помощи стандартизированных пациентов либо на основе проведения объективного структурированного клинического экзамена (ОСКЭ), симулирующего ситуации врачебной деятельности [1-3].

В ОСКЭ испытуемый попадает в ситуацию, сфокусированную на реальных клинических случаях с помощью специального симуляционного оборудования. Экзаменатор наблюдает действия испытуемого и выставляет баллы в чек-листах. Диапазон действий испытуемых при выполнении практических заданий довольно разнообразен. Например, в некоторых случаях испытуемые должны применять методы исследования, включающие пальпирование живота, прослушивание грудной клетки и т.д. Экзаменатор может также задать серию вопросов, сопровождающих практические действия экзаменуемых, а затем выслушать краткие устные ответы и оценить их в соответствии со стандартизированными оценочными рубриками.

В России ОСКЭ является одним из обязательных компонентов аккредитации специалистов здравоохранения [4].

В основе ОСКЭ лежит использование оценочных станций, моделирующих различные аспекты клинической компетентности выпускников медицинских вузов. Экзамен проходит с соблюдением мер информационной безопасности и высокой объективности. Экзаменаторы при заполнении чек-листов не знают фамилий испытуемых, которым выставляют баллы под идентификационными номерами. Для каждой станции выделяется отдельный экзаменатор, работающий независимо от других экзаменаторов и заполняющий свой чек-лист. Результаты по чек-листам заносятся автоматически в общую федеральную базу данных, где подсчитывается итоговый результат каждого испытуемого. Таким образом, ОСКЭ позволяет провести проверку освоения испытуемыми клинических навыков и способностей к выполнению профессиональной деятельности в условиях, имитирующих реальные [5].

Применение ОСКЭ требует наличия специального оборудования, подготовки преподавателей и методик. В частности, в плане создания методического обеспечения необходима разработка чек-листов и сопровождающих их оценочных рубрик. Потребность в создании такого методического обеспечения возникла сравнительно недавно, поскольку вплоть до 2020 г. при проведении практико-ориентированного этапа первичной и первичной специализированной аккредитации каждая градация оценочного чек-листа любой станции ОСКЭ имела одинаковую значимость и оценивалась так же, как и другие пункты. Однако подобное уравнивание оценочных рубрик при прохождении станций ОСКЭ недопустимо.

Например, такие пункты оценочного чек-листа, как "Осторожно встряхнул пострадавшего за плечи" и "Применил адекватную глубину компрессий (не менее 90%)", не могут иметь одинаковую значимость с точки зрения их важности для жизни и здоровья пациентов. В связи с этим возникла необходимость проведения цикла организационных и методических работ по определению оптимальных весовых коэффициентов для каждого пункта оценочного чек-листа станций ОСКЭ, используемых при аккредитации.

Цель статьи - представить методику определения оптимальных весовых коэффициентов для градаций в рубриках (перечнях критериев) оценочных чек-листов станций ОСКЭ в соответствии с их значимостью в профессиональной деятельности специалистов здравоохранения. Методика разрабатывалась в Методическом центре аккредитации специалистов ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет).

В основе построения методики лежит экспертный метод. Поскольку различные чек-листы станций ОСКЭ отличаются по количеству пунктов, сопоставимость результатов аккредитуемых испытуемых по отдельным специальностям исключается. Это обстоятельство не препятствует реализации принципа справедливости в аккредитации в силу принятой интерпретации баллов испытуемых путем их сопоставления с единым пороговым баллом, определенным на уровне 70%.

Разработанная методика включает 3 раздела: 1-й направлен на проведение работ по построению представительной выборки экспертов; 2-й раздел посвящен разработке стандартизированных инструкций по работе экспертов, а 3-й раздел охватывает вопросы интеграции результатов работы экспертов, их анализ и интерпретацию.

В основу формирования группы экспертов по первому направлению работ был положен наиболее распространенный вероятностно-пропорциональный метод, позволяющий репрезентативно отобразить мнения специалистов по анализируемым вопросам [6]. Для стратификации выборки с целью пропорционального отображения генеральной совокупности экспертов рассматривали следующие признаки: специальность, по которой работает эксперт; уровень образования эксперта; стаж работы по специальности; место работы - тип организации, ее ведомственное подчинение, регион; наличие опыта участия в качестве члена аккредитационной комиссии; наличие опыта проведения занятий/тренингов в области симуляционных технологий. Столь детальная стратификация определялась тем обстоятельством, что качество отбора экспертов во многом определяет качество результатов их работы.

По второму разделу методики была разработана инструкция для экспертов по проставлению весовых коэффициентов для отдельных градаций чек-листов, которая предусматривала использование 10-балльной шкалы, где минимальное количество баллов проставлялось для малозначимых градаций, а правый конец шкалы с наиболее высокими баллами должен был использоваться экспертами для взвешивания наиболее значимых пунктов в чек-листах.

Анализ мировой практики образовательных измерений показывает что эксперты обычно используют все градации шкалы, но в соответствии с правилом нормального распределения баллы в центре шкалы выбираются экспертами чаще, а по краям (минимальные и максимальные баллы) - реже. Как правило, в этом случае распределение баллов для 10-балльной шкалы имеет вид: 1 и 10 баллов - 10%; 2 и 9 баллов - 20%; 3 и 8 баллов - 30%; 4, 5, 6 и 7 баллов - 40%. Конечно, для наиболее сложных станций ОСКЭ, связанных с экстремальными ситуациями проявления профессиональной готовности (например, экстренная медицинская помощь и т.д.), возможен скос вправо, в сторону высоких баллов.

По 3-му разделу методики для интеграции информации по результатам работы экспертов, ее анализу и интерпретации использовались возможности программы Microsoft Excel, позволяющей работать с электронными таблицами. С помощью этой программы были подсчитаны сумма, среднее значение, мода, выборочная и генеральная дисперсии для распределений по каждой оценочной градации и по каждому эксперту. Анализ включал сравнение результатов работы экспертов и выявление тенденций в их оценках по чек-листам.

Полученные результаты применения методики дают оптимальные весовые коэффициенты для градаций в чек-листах станций ОСКЭ при проведении практикоориентированного этапа аккредитации специалистов здравоохранения.

ОПИСАНИЕ РЕЗУЛЬТАТОВ ПРОВЕДЕННЫХ РАБОТ

Для формирования выборки экспертов рассматривалась генеральная совокупность из 6969 человек, по которым собирали данные. В анализе принимали во внимание перечисленные в предыдущем разделе признаки стратификации. По результатам стратификации генеральной выборки были сформированы группы экспертов.

В частности, в работе по определению весовых коэффициентов для градаций оценочных чек-листов паспортов станции ОСКЭ "Базовая сердечно-легочная реанимация взрослых" и "Экстренная медицинская помощь" в группу экспертов вошли 23 человека, среди них 5 участвовали в разработке и рецензировании данных паспортов станции ОСКЭ, 2 профессора, доктора медицинских наук. Выбранные эксперты имели специальности "анестезиология-реаниматология", "кардиология", "инфекционные болезни", "общая врачебная практика (семейная медицина)", стаж работы по специальности у всех экспертов превышал 5 лет. Эксперты были подобраны из медицинских университетов, федеральных научно-исследовательских институтов, городских клинических больниц.

Перед проведением оценки пунктов чек-листов станций все эксперты были ознакомлены со специально разработанной инструкцией, которой должны были руководствоваться при выборе весовых коэффициентов. В соответствии с инструкцией оценки экспертов должны были занимать шкалу в промежутке от 1 до 10 баллов в зависимости от значимости (1 балл - минимальная значимость, 10 баллов - максимальная).

По чек-листам для 3 станций (1 станция "Базовая сердечно-легочная реанимация" - станция ОСКЭ и 2 станции "Экстренная медицинская помощь") экспертов попросили выставить весовые коэффициенты. Весовые коэффициенты, выбранные экспертами, предназначались для 10 ситуаций (сценариев): острый коронарный синдром (ОКС1), кардиогенный шок; острый коронарный синдром (ОКС2), отек легких; анафилактический шок (АШ); желудочно-кишечное кровотечение (ЖКК), бронхообструктивный синдром на фоне бронхиальной астмы (БОС), тромбоэмболия легочной артерии (ТЭЛА); спонтанный пневмоторакс (обструктивный шок); гипогликемия; гипергликемия; острое нарушение мозгового кровообращения (ОНМК). Для весовых коэффициентов, установленных экспертами в каждой из 10 ситуаций, были подсчитаны данные статистики, включающие средние значения, моды, дисперсии выборочные и генеральные дисперсии. В целом эти статистики позволили выявить тенденции в распределении оценок экспертов для каждой оценочной рубрики и охарактеризовать тенденции в оценках отдельных экспертов.

Анализ распределений оценок показал, что у многих экспертов встречается доминирование высоких весовых коэффициентов, вызывающее в распределении значений коэффициентов сильное смещение вправо. Соответственно у таких экспертов диапазон с низкими баллами в левой части 10-балльной шкалы практически не использовался. Анализ дисперсии распределений весовых коэффициентов, проведенный для отдельных градаций чек-листов, позволил выявить меру согласованности экспертных суждений и наметить пункты с высокой дисперсией, нуждающиеся в коллегиальном обсуждении в силу отсутствия согласованности оценок экспертов.

В целом проведенный анализ показал, что изначально рекомендованная к использованию 10-балльная шкала была чрезмерно велика для экспертов. На основании полученных результатов была применена компрессия шкалы, позволяющая обойтись меньшим количеством значений - итоговые весовые коэффициенты были рассчитаны при использовании шкалы от 1 до 5. При этом 1 балл, присваиваемый экспертом пункту оценочного чек-листа, означает "практически не значимо для пациента", 2 балла - "слабо значимо для пациента", 3 балла - "необходимо для пациента в средней степени", 4 балла -"практически обязательно для пациента", 5 баллов - "строго обязательно для пациента". При расчете весовых коэффициентов для наиболее сложных станций, к которым, в частности, относится станция "Экстренная медицинская помощь", целесообразно использовать градации шкалы от 3 до 5.

Апробация данной методики показала необходимость проведения в будущем дополнительного обучения экспертов методике выставления баллов в соответствии с заданной шкалой. Подобное обучение повысит согласованность оценок экспертов, что позволит упростить расчет весовых коэффициентов пунктов оценочных чек-листов различных станций ОСКЭ в соответствии с их значимостью в профессиональной деятельности специалистов здравоохранения. Кроме того, статистический анализ, проведенный для 2 станций ОСКЭ "Базовая сердечно-легочная реанимация взрослых" и "Экстренная медицинская помощь", показал наличие близкой значимости ситуаций (сценариев) вне зависимости от станции и вида аккредитации, что подчеркивает высокое качество разработанных для них паспортов.

АПРОБАЦИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ В СООТВЕТСТВИИ СО ЗНАЧИМОСТЬЮ ОЦЕНОЧНЫХ РУБРИК ЧЕК-ЛИСТОВ

На базе Аккредитационно-симуляционного центра Института электронного медицинского образования ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет) была проведена апробация весовых коэффициентов пунктов оценочных чек-листов 2 станций ОСКЭ:

■ "Базовая сердечно-легочная реанимация взрослых".

■ "Экстренная медицинская помощь".

Апробация прошла на выборке ординаторов 2-го года обучения по различным специальностям. В апробации участвовали 30 ординаторов. При наличии 70% и выше правильно выполненных действий от общего количества действий станция ОСКЭ считалась пройденной.

Результаты апробации весовых коэффициентов для испытуемых, проходивших станцию "Экстренная медицинская помощь", ситуация (сценарий) "Острый коронарный синдром (ОКС1), кардиогенный шок", приведены в таблице. При создании методики проведения экспертизы для установления весовых коэффициентов исходно основополагающим постулатом была выбрана важность правильного выполнения того или иного пункта оценочного чек-листа станции ОСКЭ. В соответствии с этим были расставлены веса. При расчете весовых коэффициентов пунктов оценочного чек-листа станции ОСКЭ не оценивали корреляцию между значимостью пункта оценочного чек-листа и вероятностью правильного ответа на данный пункт.

Данные таблицы показывают, что у испытуемых, совершивших больше ошибок в действиях с высокой значимостью, уменьшается суммарный результат по сравнению с тем, который был у них при одинаковой значимости всех пунктов чек-листов. Наоборот, в случае появления ошибок у испытуемых в действиях с минимальным уровнем значимости суммарный балл становится больше. Несомненно, что подобные уточнения результатов испытуемых наиболее важны в зоне нечетких решений, окружающих проходной балл в 70% 2-сторонней окрестностью по 10% влево и вправо от проходного балла.

Также при оценке результатов апробации весовых коэффициентов для пунктов оценочного чек-листа станций ОСКЭ была оценена теснота связи между значимостью пунктов и частотой ошибок, совершаемых испытуемыми. На рисунке приведен график корреляции вероятности совершения ошибок (неверные действия или их отсутствие) испытуемыми и подсчитанных весовых коэффициентов пунктов оценочного чек-листа станции "Экстренная медицинская помощь" на примере ситуации (сценария) "Гипогликемия". На графике наглядно видно, что между ними отсутствует значимая корреляция. При этом наибольшая вероятность совершения ошибок испытуемыми приходится на пункты оценочного чек-листа с достаточно низкой значимостью, в то время как в пунктах с высокой значимостью испытуемые редко совершали ошибки.

Результаты апробации весовых коэффициентов для пунктов оценочного чек-листа станции ОСКЭ "Экстренная медицинская помощь" на примере ситуации (сценария) "Острый коронарный синдром (ОКС1), кардиогенный шок"

Корреляция вероятности совершения ошибок аккредитуемыми и подсчитанных весовых коэффициентов пунктов оценочного чек-листа станции "Экстренная медицинская помощь" на примере ситуации (сценария) "Гипогликемия"

Таким образом результаты, полученные при апробации методики определения оптимальных весовых коэффициентов для пунктов чек-листов станций ОСКЭ, свидетельствуют о потенциальной возможности увеличения количества аккредитуемых, успешно прошедших практико-ориентированный этап аккредитации при использовании весовых коэффициентов пунктов оценочного чек-листа станции ОСКЭ по сравнению с классическим методом подсчета результатов. В то же время при использовании данной методики аккредитуемые, неверно выполняющие действия, значимо влияющие на здоровье и жизнь пациентов, будут иметь меньшие шансы на успешное прохождение станции ОСКЭ, что приведет к увеличению обоснованности аккредитационных решений.

При проведении практико-ориентированного этапа аккредитации в 2020 г. планируется реализация пилотного проекта по внедрению весовых коэффициентов для оценочных рубрик чек-листов на 2 станциях ОСКЭ "Базовая сердечно-легочная реанимация взрослых" и "Экстренная медицинская помощь". Вначале члены аккредитационной комиссии будут оценивать действия аккредитуемых стандартным образом. После этого балл каждого испытуемого будет подсчитан 2 способами: с использованием классического варианта с одинаковой значимостью пунктов оценочного чек-листа и с установленными весовыми коэффициентами.

Принятие аккредитационного решения будет осуществляться традиционным способом на основе результата без весовых коэффициентов. В дальнейшем будет проведено сравнение результатов испытуемых при использовании весовых коэффициентов и без них. Результаты пилотного проекта позволят принять решение о целесообразности использования весовых коэффициентов пунктов оценочного чек-листа станции ОСКЭ.

ОСНОВНЫЕ ВЫВОДЫ ПО РАБОТЕ И РЕКОМЕНДАЦИИ В ПОСЛЕДУЮЩИЕ ГОДЫ

1. Использование весовых коэффициентов позволяет повысить обоснованность оценок действий аккредитуемых при прохождении станции ОСКЭ.

2. Для повышения точности весовых коэффициентов оценочных пунктов чек-листов станций ОСКЭ рекомендуется проводить краткое обучение экспертов методу присвоения баллов оценочным градациям в соответствии с заданной шкалой перед началом работы в условиях аккредитации.

3. Для повышения точности весовых коэффициентов необходимо увеличить количество экспертов до 30-35, обеспечив возможность повышения согласованности результатов их работы путем коллегиального обсуждения спорных случаев.

4. В контексте развития методики предлагается учитывать не только значимость пунктов оценочного чек-листа станции ОСКЭ, но и вероятность совершения ошибки аккредитуемым в данном действии. Для этого необходимо накопить опыт проведения практико-ориентированного этапа по станциям ОСКЭ для выявления пунктов, в которых аккредитуемые наиболее часто будут совершать ошибки. Вполне вероятно, что именно эти ошибки впоследствии будут наиболее часто совершать врачи в своей клинической практике. Кроме того, данные ошибки могут позволить выявить наиболее сложные для запоминания позиции, слабые места в обучении студентов медицинских вузов и ординаторов.

ЛИТЕРАТУРА

1. Baig L.A., Violato C. Temporal Stability of Objective Structured Clinical Exams: a longitudinal study employing Item Response Theory // BMC Medical Education. 2012. Vol. 12, N 1. DOI: https://www.doi.org/10.1186/1472-6920-12-121.

2. Crotwell Timmerman B.E., Strickland D.C., Johnson R.L, Payne J.R. Development of a "universal" rubric for assessing undergraduates’ scientific reasoning skills using scientific writing // Assessment & Evaluation in Higher Education. 2011. Vol. 36, N 5. P. 509-547.

3. Kilminster S., Roberts T. Standard setting for OSCEs: Trial of borderline approach // Advances in Health Sciences Education. 2003. Vol. 8. P. 1-9.

4. Объективный структурированный клинический экзамен. Сборник практических руководств для медицинских преподавателей / Под ред. Балкизова З.З. Москва : Издательская группа "ГЭОТАР-Медиа", 2015.

5. Оценка профессиональной готовности специалистов в системе здравоохранения / под ред. Т. В. Семеновой. Москва : ГЭОТАР-Медиа, 2019. 272 с.

6. Найденова Н.Н. Формирование репрезентативной выборки: Учебное пособие. Москва : Логос, 2003. 150 с.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»