Пересечение
Существует еще один технический недостаток, позволяющий "умелым" студентам правильно отвечать на вопросы, не имея соответствующих знаний. Пример:
Что из перечисленного лучше всего описывает организмы, чаще всего вызывающие бактериальную пневмонию у детей?
А. Грамположительные кокки, в цепочках.
Б. Грамположительные кокки, в парах.
В. Грамотрицательные кокки, в парах.
Г. Грамотрицательные кокки, в цепочках.
Д. Грамположительные бациллы, в парах. Правильные ответы использованы чаще, чем неправильные. Вариант "грамположительные" встречается в ответах 3 раза из 5. "Кокки" встречаются 4 раза из 5. "В парах" встречается 3 раза из 5. Таким образом, "положительные", "пары" и "кокки" = Б.
Совпадение слов в описании и ответах
Данный недостаток проиллюстрируем примером.
7-летний мальчик направлен к вам с расстройством поведения и сложностями в обучении. У него проблемы в школе и дома, и он вызывающе противостоит авторитету, делая все, что ему говорят, наоборот.
Какой диагноз наиболее вероятен?
А. Синдром дефицита внимания с гиперактивностью.
Б. Расстройство аутистического спектра.
В. Нарушение привязанности.
Г. Специфическое нарушение способности к обучению.
Д. Вызывающее оппозиционное расстройство.
В самом условии есть подсказка в виде слов "вызывающе" и "наоборот". Таким образом, ничего не зная по теме, можно выбрать ответ, содержащий эти слова. И он окажется правильным.
Абсолютные или нечеткие ответы
В формулировке подводящего вопроса и вариантов ответов не должно быть как абсолютных формулировок ("никогда", "всегда", "хорошо", "плохо"), так и размытых, нечетких утверждений ("редко", "иногда", "часто", "возможно", "может быть").
Вот пример задания с указанными техническими ошибками.
Какое из следующих утверждений наиболее точно характеризует круп у детей?
А. Хорошо купируется декзаметазоном перорально.
Б. Может быть осложнением гиперкальциемии.
В. Никогда не наблюдается у пациентов младше 3 мес.
Г. Редко смертельно.
Д. Возможно, связана с незрелостью хрящевой ткани.
Во-первых, медицина - область неточная, здесь не бывает "всегда" и "никогда". Во-вторых, нечеткие утверждения, например "редко" и "часто", имеют субъективную окраску как для составителя задания, так и для экзаменуемого и базируются на личном опыте, который может не совпасть. В третьих, неоднозначные словосочетания "может быть" не имеют определенности и делают ответ одновременно возможным и невозможным.
Отрицание в вопросах или вариантах ответа
Например:
Что из этого не является причиной...?
Какое из этих лекарств не следует давать ребенку?
Что из перечисленного не характерно для...?
Никогда не используйте их. Они путают "хороших" студентов и являются плохими дискриминаторами (различителями).
"Ничего" или "все" перечисленное
В своей практике как обучающегося, так и преподавателя вы наверняка встречались с вопросами, в которых подводящий вопрос формулировался подобным образом. Пример:
Какие из следующих исследований лучше всего подходят для 5-летнего ребенка с внебольничной пневмонией средней тяжести?
А. Развернутый общий анализ крови.
Б. Посев крови.
В. C-реактивный белок.
Г. Рентгенография грудной клетки.
Д. Ничего из перечисленного.
Е. Все перечисленное.
Использование вариантов ответов Д и Е недопустимо, так как они включают в себя или исключают другие варианты ответа. Чаще всего автор использует такие формулировки, когда трудно придумать достаточно эффективные уникальные дистракторы.
Представление числовых показателей
При использовании вариантов ответа с числовыми параметрами необходимо, чтобы они были представлены в порядке возрастания/убывания в одинаковом формате. Недопустимо сочетание в одном наборе ответов конкретных значений и диапазонов. Помимо этого, недопустимо пересечение интервалов. Поясним это на следующем примере.
Какова доля детей в России, поступающих в больницу с бронхиолитом?
А. 1-5%.
Б. 3%.
В. Более 10%.
Г. 15%.
Д. 1/4 доли.
В данном примере варианты ответов А и В представлены диапазонами, в то время как варианты ответов Б, Г и Д - конкретными числовыми показателями. Помимо этого, область, охватываемая вариантом В, включает в себя варианты ответов Г и Д. Область, охватываемая вариантом ответа А, включает в себя вариант ответа Б. Еще очень выделяется из ряда вариант ответа Д. Очевидно, что сколько-нибудь образованный человек в состоянии перевести абсолютные доли в проценты, но не это является целью проверки. Поэтому данный набор ответов рекомендуется исправить следующим образом:
А. 1-3%.
Б. 4-9%.
В. 10-14%.
Г. 15-24%.
Д. 25-30%.
Таким образом, мы получили набор вариантов в арифметической последовательности, однородных единицах с непересекающимися равномерными интервалами. Теперь мы можем быть уверены, что время, отведенное экзаменуемому на ответ, не будет потрачено на расстановку чисел в определенной последовательности.
Формулировка подводящего вопроса и вариантов ответа
Подводящий вопрос всегда должен быть сформулирован в виде закрытого вопроса и заканчиваться вопросительным знаком. Недопустимо формулировать вопрос таким образом, чтобы подразумевалось продолжение фразы. Варианты ответа должны быть представлены в именительном падеже или инфинитиве (если подразумеваются действия). Это позволит избежать согласования вопроса с ответами в роде, числе и падеже.
Недопустимы следующие формулировки подводящего вопроса:
Пациенту показано...
Необходимо назначить/выполнить...
Вы назначите...
Назначьте исследования...
Сформулируйте диагноз...
Диагноз?
Выберите тактику ведения...
Ваши действия?
Вместо этого используйте следующие формулировки:
Что из перечисленного показано пациенту?
Что необходимо назначить?
Какие исследования необходимо назначить?
Каков наиболее вероятный диагноз?
Какова наиболее подходящая тактика ведения?
Рассмотрим пример.
Исследование больного следует начинать:
А. С УЗИ брюшной полости.
Б. Ирригографии.
В. Ректального пальцевого исследования.
Г. Фиброколоноскопии.
Подводящий вопрос в данном случае необходимо переформулировать.
С какого исследования следует начать?
Набор вариантов ответа приобретет следующий вид.
А. УЗИ брюшной полости.
Б. Ирригография.
В. Ректальное пальцевое исследование.
Г. Фиброколоноскопия.
Повторения слов в вариантах ответа
Повторение слов во всех вариантах ответа приводит к увеличению времени, затрачиваемого на прочтение задания, и никак не влияет на выбор ответа. Пример:
Что из перечисленного является наиболее подходящем в лечении?
А. Парацетамол и ингаляция ипратропия бромида.
Б. Парацетамол и ингаляция будесонида.
В. Парацетамол и ингаляция лазолвана.
Г. Парацетамол и ингаляция увлажненного кислорода.
Д. Парацетамол и ингаляция кислорода.
В данном случае необходимо переформулировать вопрос, вынеся повторяющееся слово в сам подводящий вопрос.
Ингаляция каким препаратом лучше всего подойдет данному пациенту?
Тогда варианты ответа приобретут следующий вид.
А. Ипратропия бромид.
Б. Будесонид.
В. Лазолван.
Г. Увлажненный кислород.
Д. Кислород.
Таким образом, вопрос становится короче, проще к восприятию, и снижается время ответа.
Дополнительные условия в вариантах ответа
В тестовых заданиях очень важно, чтобы вся информация, необходимая для выбора правильного ответа, была в сценарии. Недопустимо введение дополнительных условий в вариантах ответа. Пример:
Какова тактика ведения пациента?
А. Выжидательная тактика.
Б. Противовоспалительная терапия.
В. В случае сохранения лихорадки более 5 дней назначить антибиотики.
Г. Антибактериальная терапия.
В данном примере вариант ответа В содержит дополнительное условие в виде сохранения лихорадки. Если требуется проверить именно способность назначить лечение в данном случае, то необходимо составить вопрос таким образом, чтобы указание на сохраняющуюся лихорадку было уже заложено в сценарий.
Проверка тестовых заданий с одним правильным ответом
Составители (авторы) тестовых заданий зачастую допускают технические ошибки, особенно если необходимо разработать большой пул тестовых вопросов в короткий промежуток времени. Поэтому очень важен процесс рецензирования. В идеале он должен состоять из двух этапов:
1) контентное рецензирование экспертом по специальности, в ходе которого выявляются смысловые ошибки, несоответствие клиническим рекомендациям, общепринятым классификациям и порядкам оказания медицинской помощи;
2) структурное рецензирование методистом, в ходе которого устраняются технические ошибки или выявляются "проблемные" задания. Под "проблемными" подразумеваются задания, которые либо являются плохими дискриминаторами (различителями), либо слишком легкие и сложные вопросы, либо вопросы, ответы на которые неоднозначны (2 ответа, например, могут оказаться правильными).
Ниже предлагаем вам краткую инструкцию по проверке собственных вопросов или заданий, составленных другим автором. Хорошее тестовое задание обладает следующими признаками.
· Задание соответствует матрице экзамена и проверяет применение знаний в клиническом контексте, а не фактические знания или эрудицию.
· Сценарий должен быть представлен в виде клинической ситуации с описанием виртуального пациента (жалобы, анамнез, данные осмотра и т. д.).
· Все числовые параметры имеют признанные единицы измерения (лабораторные показатели, витальные показатели, индексы, параметры измерений и т. д.).
· Все необходимые для ответа данные уже есть в сценарии.
· Отсутствие дополнительных условий в вариантах ответа.
· На вопрос можно ответить, не видя вариантов ответа.
· На вопрос нельзя ответить, прочитав только подводящий вопрос, не читая сценария.
· Подводящий вопрос сформулирован в виде закрытого вопроса, заканчивающегося вопросительным знаком. Недопустимо продолжение фразы.
· Отсутствие отрицания в подводящем вопросе.
· Все варианты ответов однородны (все являются диагнозами, например).
· Варианты ответов в именительном падеже или инфинитиве.
· Отсутствие в вариантах ответов формулировок "все перечисленное" и "ничего из перечисленного".
· Варианты ответов одинаковой длины и степени подробности.
· Отсутствие пересечений в вариантах ответов (которые наводят на правильный ответ).
· Числовые данные в вариантах ответов (при наличии) представлены в арифметическом порядке, интервалы не пересекаются.
· Отсутствие логических и грамматических несоответствий и повторений слов (которые наводят на правильный ответ).
· Отсутствие абсолютных или нечетких ответов ("никогда", "всегда", "хорошо", "плохо", "редко", "иногда", "часто", "возможно", "может быть").
Примеры хорошо сформулированных подводящих вопросов
Какой диагноз наиболее вероятен?
Какой возбудитель наиболее вероятно вызвал заболевание?
Какое состояние с наибольшей вероятностью имеется у пациента?
Какое осложнение с наибольшей вероятностью развилось у пациента?
Какое исследование необходимо выполнить пациенту в первую очередь?
Какое исследование поможет подтвердить диагноз?
Какое исследование является наиболее информативным в данном случае?
Что из перечисленного вызвало данное осложнение?
Какой фактор в наибольшей степени спровоцировал данное заболевание?
Какова тактика ведения пациента?
Какая схема лечения наиболее показана пациенту?
Какой препарат необходимо назначить в первую очередь?
Что необходимо выполнить в первую очередь?
Какова степень тяжести состояния...?
Литература/References
· Miller G.E. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65: S63-7.
· Al-Eraky M., Marei H. A fresh look at Miller’s pyramid: assessment at the ‘Is’ and ‘Do’ levels. Med Educ. 2016; 50 (12): 1253-7. DOI: https://www.doi.org/10.1111/medu.13101. PMID: 27873421
· Van der Vleuten C.P.M. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education. 1996; 1 (1): 41-67. DOI: https://www.doi.org/10.1007/BF00596229
· Al-Rukban M.O. Guidelines for the construction of multiple choice questions tests. J Family Community Med. 2006; 13 (3): 125-33.
· Balaha M.H. Simplified guidelines for multiple-choice question writing to increase faculty compliance and ensure valid student results. Education in Medicine Journal. 2019; 11 (4): 1-17. https://doi.org/10.21315/eimj2019.11.4.1
· NBME® ITEM-WRITINGGUIDE. Constructing Written Test Questions for the Health Sciences. 2020. URL: www.nbme.org