Определение весомости позиций контрольного перечня и компонентов опроса экзаменационного терминала при проведении крупномасштабного объективного структурированного клинического экзамена: стоит ли затрачивать усилия?

Состояние проблемы. Прошлые исследования показывают, что использование внешних балльных систем дифференцированных оценок не может заметно повлиять на качество итоговой оценки, в частности, на ее надежность и обоснованность. Тем не менее, некоторыми центрами аттестации и научными учреждениями применяются дифференцированные балльные системы, основанные на экспертной оценке относительной важности отдельных позиций (пунктов) или компонентов опроса при проведении объективного структурированного клинического экзамена (OSCE).

Цели. Изучить влияние применения упрощенных моделей балльной оценки, в которых практически не используются дифференцированные балльные системы, на надежность итоговых оценок и решений при проведении объективных структурированных клинических экзаменов, требуемых для выдачи лицензий на ведение врачебной практики в Канаде.

Метод. Мы применили 4 взвешенные балльные системы различной степени сложности к данным, полученным при проведении 3 объективных структурированных клинических экзаменов. Мы сравнивали надежность балльных оценок, соотношение сдавших/не сдавших экзамен, корреляцию между балльной оценкой и точностью классификационных решений и согласованность результатов между моделями и управлениями.

Результаты. Применение взвешенных балльных систем меньшей сложности приводило к сходной надежности и доле успешно сдавших экзамен, как и применение более сложной взвешенной балльной системы. Наблюдались минимальные изменения соотношения сдавших/не сдавших экзамен, имели место сильная и статистически достоверная корреляция между итоговыми балльными оценками для всех моделей и управлений. Точность классификационных решений и согласованность результатов были очень высокими и сходными для 4 моделей балльной оценки.

Выводы. Принятие упрощенной взвешенной балльной модели для данного объективного структурированного клинического экзамена не уменьшало его измерительных характеристик. Вместо разработки сложных взвешенных балльных моделей время и усилия экспертов могли бы быть использованы на разработку других важных систем тестирования и комплексных задач практически без ущерба для качества балльных систем оценки и решений при проведении данного итогового объективного структурированного клинического экзамена (OSCE).

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»