Weighting checklist items and station components on a large-scale OSCE: Is it worth the effort?
Состояние проблемы. Прошлые исследования показывают, что использование внешних балльных систем дифференцированных оценок не может заметно повлиять на качество итоговой оценки, в частности, на ее надежность и обоснованность. Тем не менее, некоторыми центрами аттестации и научными учреждениями применяются дифференцированные балльные системы, основанные на экспертной оценке относительной важности отдельных позиций (пунктов) или компонентов опроса при проведении объективного структурированного клинического экзамена (OSCE).
Цели. Изучить влияние применения упрощенных моделей балльной оценки, в которых практически не используются дифференцированные балльные системы, на надежность итоговых оценок и решений при проведении объективных структурированных клинических экзаменов, требуемых для выдачи лицензий на ведение врачебной практики в Канаде.
Метод. Мы применили 4 взвешенные балльные системы различной степени сложности к данным, полученным при проведении 3 объективных структурированных клинических экзаменов. Мы сравнивали надежность балльных оценок, соотношение сдавших/не сдавших экзамен, корреляцию между балльной оценкой и точностью классификационных решений и согласованность результатов между моделями и управлениями.
Результаты. Применение взвешенных балльных систем меньшей сложности приводило к сходной надежности и доле успешно сдавших экзамен, как и применение более сложной взвешенной балльной системы. Наблюдались минимальные изменения соотношения сдавших/не сдавших экзамен, имели место сильная и статистически достоверная корреляция между итоговыми балльными оценками для всех моделей и управлений. Точность классификационных решений и согласованность результатов были очень высокими и сходными для 4 моделей балльной оценки.
Выводы. Принятие упрощенной взвешенной балльной модели для данного объективного структурированного клинического экзамена не уменьшало его измерительных характеристик. Вместо разработки сложных взвешенных балльных моделей время и усилия экспертов могли бы быть использованы на разработку других важных систем тестирования и комплексных задач практически без ущерба для качества балльных систем оценки и решений при проведении данного итогового объективного структурированного клинического экзамена (OSCE).
All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)