Контроль знаний - важная часть обучения
При правильном использовании контроль может содействовать достижению конечных целей обучения. Контроль также помогает восполнять пробелы в обучении, побуждая к широкому самостоятельному чтению и активному участию в учебном процессе.
Так как контроль знаний оказывает сильное влияние на процесс обучения, необходимо разрабатывать такие наборы тестовых заданий, образующих тест, которые будут способствовать достижению задач обучения.
Оптимальным содержанием теста при этом будет отображение содержания учебной программы в виде тестовых заданий.
Другим преимуществом тестирования является то, что при использовании тестов с вопросами множественного выбора почти всегда есть единственный "оценщик" (обычно компьютер) и серии или группы вопросов; чтобы сформировать выборку, необходимо только отобрать подгруппы вопросов для использования в тесте.
При других методах оценки знаний (устный экзамен, экзамен со стандартными пациентами, письменный экзамен) выборка является гораздо более сложным процессом, потому что при любом методе, когда нельзя провести механическую оценку, требуется отбор по второму измерению - отбор "оценщика".
Данная статья сфокусирована на том, как составлять качественные тестовые задания, которые оценивают умение интерпретировать данные и принимать решения, что является важной составляющей знаний, умений и навыков медицинских специалистов. В то же время мы понимаем, что необходимо использовать максимальное число доступных методов контроля. Ни один метод не может оценить сразу все интересующие нас умения и навыки.
ЦЕЛИ ТЕСТИРОВАНИЯ
- Создать мотивацию к обучению.
- Найти пробелы в знаниях, требующие коррекции или дополнительного изучения.
- Найти слабые стороны учебной программы.
ЧТО ДОЛЖНО БЫТЬ ПРОВЕРЕНО?
- Содержание теста должно соответствовать целям обучения.
- Время тестирования по каждой теме должно отражать относительную важность темы.
- Совокупность тестовых заданий должна быть репрезентативной по отношению к учебным целям.
Форматы тестовых заданий
В работах российских и зарубежных авторов применяются различные классификации тестовых заданий, в этой статье мы будем придерживаться классификации, принятой в публикациях NBME - Национального совета медицинских экзаменаторов (США), организации, ответственной за оценку знаний медицинских специалистов и допуск их к врачебной деятельности в США с 1916 г. Из всего разнообразия тестовых заданий наиболее технологичными и удобными для массового тестирования являются вопросы множественного выбора (Multiple Choice Questions - MCQ).
Все разнообразие вопросов множественного выбора можно разделить на 2 большие категории тестовых заданий: - требующие от экзаменуемого выбрать все подходящие ответы (Верно/Неверно);
- требующие от экзаменуемого указать один ответ (один лучший ответ).
Тестовые задания формата "Верно/Неверно" требуют от экзаменуемых выбрать все верные варианты:
_ С1 (А/В/Оба/Ни один из выше обозначенных);
_ К (комплексные тестовые задания);
_ X (простые тестовые задания);
_ Имитационные клинические задачи.
Тестовые задания форматов с одним лучшим ответом требуют от экзаменуемых выбрать один лучший ответ:
_ А (4 варианта ответа, или отдельные тестовые задания, или блоки);
_ В (4 или 5 вариантов ответа для блока из 2-5 тестовых заданий);
_ R (тестовые задания расширенного выбора в блоках по 2-20 тестовых заданий).
Исследования, проведенные с целью выяснения оптимального количества вариантов ответа в заданиях множественного выбора, показали, что при прочих равных условиях, большое количество вариантов лучше, чем малое. Вопросы расширенного выбора показывают наиболее репрезентативные результаты, на 2-м месте вопросы А-типа с 5 вариантами ответа, остальные типы вопросов показывают худшие результаты. Также доказано, что тестовые задания расширенного выбора труднее для испытуемых, чем контент-параллельные задания с 5 вариантами ответов, так как вероятность угадывания значительно снижается.
Тестовые задания с выбором одного (наиболее правильного) ответа
Тестовые задания с одним, наиболее правильным ответом, (А-тип) являются наиболее широко и часто используемым форматом тестовых вопросов. Они состоят из условия задания (клинической ситуации), вопроса и серии из 5 вариантов ответа (обычно 1 верного и 4, реже другого количества, дистракторов - отвлекающих ответов).
Пример задания с одним лучшим ответом:
32-летний мужчина в течение 4 дней отмечает нарастающую слабость в конечностях. Был ранее здоров, но перенес респираторную инфекцию 10 дней назад. Температура 37,8 °С, АД 130/80 мм рт.ст., пульс 94/мин, ЧДД 42/мин, дыхание поверхностное. У больного наблюдается симметричная слабость мышц обеих половин лица и проксимальных и дистальных мышц конечностей. Чувствительность сохранена. Глубокие сухожильные рефлексы не вызываются; отмечаются сгибательные подошвенные рефлексы.
Какой из нижеперечисленных диагнозов является наиболее вероятным?
A. Острый диссеминированный энцефаломиелит.
B. Синдром Гийена-Барре.
C. Миастения гравис.
D. Полиомиелит.
E. Полимиозит.
Заметьте, что неверные варианты ответа не являются абсолютно не верными.
Варианты ответа можно представить следующим образом:
Несмотря на то что неверные варианты ответа не являются абсолютно неверными, они все же менее правильны, чем эталонный ответ. Экзаменуемый должен выбрать "наиболее вероятный диагноз". Эксперты согласятся, что в данном случае наиболее вероятным диагнозом является ответ В.
Также они согласятся, что остальные диагнозы тоже вероятны в какой-то степени, но менее, чем ответ В. Когда варианты ответа представляют собой однородную совокупность (в данном случае от "наиболее вероятного" до "наименее вероятного" диагноза), эти варианты не должны быть абсолютно неверными (в отличие от вопросов формата "Верно/Неверно").
Другие примеры тестовых заданий с одним (наиболее правильным) ответом даны в Приложении 1.
Тестовые задания расширенного выбора
Тестовые задания расширенного выбора (R-тип) представляют собой вопросы, организованные в блоки, которые используют единый список вариантов ответа для всех тестовых заданий в блоке. Правильно составленный блок объединяет 4 компонента: (1) тему; (2) список вариантов ответа; (3) вводный вопрос и (4) условия по меньшей мере 2 тестовых заданий, как это показано на примере ниже.
Тестовые задания расширенного выбора гармонично дополняют задания с одним (наиболее правильным) ответом: не уступая им по качеству оценки знаний, они позволяют обратить более пристальное внимание на важные темы, смоделировать ситуации, требующие дифференциальной диагностики, и тем самым глубже оценить клиническое мышление экзаменуемых.
Примеры заданий расширенного выбора даны в Приложении 2.
Не рекомендуемые к применению форматы тестовых заданий
За время использования тестирования для оценки знаний применялось множество форматов тестовых заданий, однако многие из них впоследствии были дисквалифицированы из-за тех или иных недостатков. Подробнее об устаревших форматах см. Приложение 3.
- Тестовые задания формата "Верно/Неверно" (К-тип) состояли из условия задания и 4 вариантов ответа, 1 или более из них были правильными.
Хотя такие вопросы составлять легче, чем задания с одним лучшим ответом, с ними возникает много проблем.
При написании вопроса автор имеет в виду что-то определенное, а тщательный разбор написанных тестовых заданий показывает, что в них есть некоторые недостатки, не заметные автору. Часто различия между "верным" и "неверным" неясны, и нередки ситуации, когда при последующем пересмотре меняется эталон ответа; в некоторых случаях двусмысленность и вовсе устранить нельзя. И наконец есть причина гораздо более серьезная, чем перечисленные выше. Исключая двусмысленность, экзаменатор вынужден оценивать только запоминание отдельных фактов, но не применение знаний (анализ, синтез и умение принимать решение).
- Тестовые задания А-типа с отрицанием. Наиболее проблемными являются тестовые задания, содержащие формулировки типа "Что из следующего верно, КРОМЕ" и "Какое из следующих утверждений НЕверно?" Такие вопросы имеют те же проблемы, что и формат "Верно/Неверно": если варианты ответа невозможно расположить в одном измерении, экзаменуемые не могут определить ни наименее, ни наиболее правильный ответ. С другой стороны, в некоторых экзаменах мы иногда используем четко сфокусированные отрицательные тестовые задания А-типа с короткими (одно слово) вариантами ответа. Главным образом они выступают в качестве достаточно плохой замены тех тестовых заданий, которые требуют от экзаменуемого выбрать несколько ответов. Оптимальный формат тестовых заданий, который может использоваться для этой цели, - формат N-типа, при котором экзаменуемые должны выбрать заранее известное количество (N) правильных ответов.
- Тестовые задания "Верно/Неверно, Верно/Неверно" и "Связь верна/Неверна" (Е-тип) с множественным верными или неверными ответами основываются на анализе отношений.
Считалось, что для правильного ответа на это задание необходимо обладать навыком рассуждения и пониманием основных принципов. Однако тестовые задания Е-типа были сложны для создания, а экзаменуемые считали их запутанными.
Технические дефекты тестовых заданий
Наиболее часто встречаются 2 типа технических недостатков тестовых заданий: связанных с опытностью учащихся в тестировании и с чрезмерной сложностью самих заданий.
Дефекты, связанные с опытом в тестировании, облегчают некоторым опытным учащимся выбор правильных ответов, при этом экзаменуемые основываются только на своем опыте в тестировании. Такие дефекты обычно наблюдаются в тестовых заданиях, которые не сфокусированы и не удовлетворяют правилу закрытых вариантов ответа ("задания надо составлять таким образом, чтобы на любой тестовый вопрос можно было ответить, не глядя на варианты ответов").
- Грамматические подсказки - 1 дистрактор или более грамматически не соответствуют условию задания.
- Логические подсказки - часть вариантов ответа исчерпывает все возможные варианты.
- Абсолютные термины - использование терминов "всегда" или "никогда" в некоторых вариантах ответа.
- Длинный правильный ответ - правильный ответ длиннее, более конкретен или более полон, чем другие варианты ответа.
- Повторение слов - слово или фраза из условия задания повторяется в правильном варианте ответа.
- Тенденция к конвергенции - правильный ответ имеет наибольшее сходство с различными элементами других вариантов ответа.
Дефекты, связанные с чрезмерной сложностью, делают вопрос трудным вне связи с оцениваемым параметром.
- Варианты ответа являются длинными, сложными или двойными.
- Цифровые данные выражены бессистемно.
- Использование неопределенных терминов в вариантах ответа (например, "редко", "обычно").
- Стилистическая неоднородность вариантов ответа.
- Нелогичный порядок вариантов ответа.
- Использование фразы "Ничего из вышеперечисленного", "Правильного ответа нет", "Все ответы правильные" и т.п. в качестве варианта ответа.
- Условия задания слишком сложны или запутаны.
- Ответ на одно тестовое задание вытекает из ответа на предыдущее тестовое задание.
Общие указания по составлению тестовых заданий
- Убедитесь, что на тестовое задание можно ответить, не глядя на варианты ответа, ИЛИ что варианты ответа на 100% верны или неверны.
- Включите в условие наибольшую часть информации из тестового задания; условие задания должно быть длинным, а варианты ответа короткими.
- Избегайте избыточной информации.
- Избегайте запутанных или слишком сложных тестовых заданий.
- Составляйте грамматически правильные и логичные варианты ответа; размещайте их в логическом или алфавитном порядке. Пишите правдоподобные дистракторы, имеющие приблизительно ту же длину, что и правильный ответ.
- Избегайте использования категоричных утверждений типа "всегда", "никогда" и "все", а также неопределенных формулировок типа "обычно" или "часто".
- Избегайте тестовых заданий с отрицаниями (со словами "кроме" или "не" во вводном вопросе).
- Если использование отрицания в условии задания необходимо, варианты ответа должны быть короткими, предпочтительно в 1 слово.
- И самое главное: сосредоточьте внимание на важных моментах; не теряйте время на проверку знания тривиальных фактов.
Содержание тестовых вопросов
Целью любого тестирования является возможность сделать выводы относительно уровня знаний экзаменуемого - выводы, которые можно распространить с конкретных проблем (или случаев, или тестовых заданий), включенных в экзамен, на более широкую сферу, из которой были выбраны случаи (или вопросы). Ясно, что если вы уделяете больше времени какой-либо одной сфере, останется меньше времени на остальные. Независимо от того, идет ли речь о всеобъемлющей оценке или же о тестах по конкретной теме, вы все равно столкнетесь с проблемой отбора материала. Результаты, полученные на выборке (отобранных тестовых заданиях), служат основой для оценки достижений в более широкой сфере, что и является конечной целью тестирования.
При работе с тестовыми заданиями необходимо решить, что следует включить в экзаменационный набор. Внимание, уделяемое проблеме, должно соответствовать ее относительной важности. Для проверки надо выбрать отдельные темы (например, постановку диагноза, решение о следующем этапе лечения) - вы не можете спрашивать сразу обо всем. Характер выборки определяет степень воспроизводимости (надежности, обобщенности) и точности (достоверности, валидности) полученной оценки истинных знаний и умений. Если выборка нерепрезентативна (например, включает вопросы только по кардиологии при контроле общемедицинских знаний), результаты экзамена не дадут возможности оценить достижения в интересующей сфере. Если выборка слишком мала, результаты экзамена могут оказаться недостаточно стабильными, чтобы отразить истинные знания и умения.
Традиционно учебные задания классифицируются по мыслительному процессу, который необходим для ответа на вопрос (т.е. вспоминание, интерпретация или решение проблемы; память, понимание или аргументация). К сожалению, мыслительные процессы, требующиеся для ответа на конкретное тестовое задание, бывает очень трудно определить, поскольку они зависят как от общей подготовки тестируемого, так и от содержания тестового задания.
Более простой и объективный подход к классификации тестовых заданий основывается на задаче, которая ставится перед экзаменуемым. Если тестовое задание требует, чтобы экзаменуемый пришел к заключению, сделал предсказание или выбрал порядок действий, то его можно классифицировать, как задание на применение знаний. Если тестовое задание проверяет только заучивание на память отдельных фактов (не требуя их применения), то оно классифицируется как задание на вспоминание. Все тестовые задания должны требовать применения знаний, позволяя оценить как объем информации, имеющейся у экзаменуемого, так и его умение использовать эту информацию.
Следующая пара условий тестовых заданий иллюстрирует различие между вопросом, оценивающим вспоминание отдельного факта, и вопросом, оценивающим применение знаний.
Составление тестовых заданий по фундаментальным дисциплинам
В качестве условия в заданиях, оценивающих применение фундаментальных знаний, можно использовать клинические ситуации. Например, вместо того чтобы просить указать мышцы, иннервируемые черепно-мозговым нервом, можно описать набор данных физикального осмотра и попросить экзаменуемого определить наиболее вероятное место поражения.
Вместо требования описать дыхательный ацидоз или алкалоз, можно указать величины газов в артериальной крови (и другие данные больного, если необходимо) и попросить экзаменуемого подобрать наиболее вероятное патофизиологическое обоснование.
Лабораторные ситуации также полезны при подготовке заданий на применение знаний. Такие тестовые задания представляют лабораторные исследования и требуют от экзаменуемых использовать понимание фундаментальных принципов для предсказания или объяснения результатов.
Такие тестовые задания эффективно смещают фокус оценки со знания изолированных фактов на использование принципов фундаментальных дисциплин для решения клинических проблем.
Использование клинических (с описаниями больных) и лабораторных ситуаций для оценки применения знаний имеет несколько преимуществ. Во-первых, "внешняя валидность" экзамена значительно возрастает за счет использования тестовых заданий, ориентированных на "решение проблем". Во-вторых, более вероятно, что тестовые задания будут фокусироваться больше на важной информации, нежели на тривиальной.
И в-третьих, такие задания помогают выявить тех экзаменуемых, которые запомнили большой объем фактической информации, но неспособны эффективно использовать ее.
Использование шаблонов
Шаблоны позволяют создавать много тестовых заданий с общей структурой.
Клинические ситуации могут включать некоторые или все из следующих компонентов:
- возраст, пол (например, 45-летний мужчина);
- место оказания помощи (например, обратился в приемный покой);
- жалобы в настоящее время (например, по поводу головной боли);
- длительность (например, продолжающейся в течение 2 дней);
- анамнез жизни (с семейным анамнезом);
- данные физикального обследования;
- результаты диагностических исследований, первоначальное лечение, последующие данные и т.д.
Лабораторные ситуации акцентированы на результатах диагностических исследований; остальные сведения отсутствуют, либо даны в минимальном (вспомогательном) объеме.
Примеры шаблонов тестовых заданий по фундаментальным дисциплинам
- У больного (его описание) наблюдается (тип повреждения и его локализация).
Какая из следующих структур вероятнее всего повреждена?
- У больного (его описание) наблюдается (данные анамнеза). Он принимает (лекарственные препараты). Какой из следующих лекарственных препаратов является наиболее вероятной причиной (такого анамнеза, данных физикального обследования или лабораторных показателей)?
- У больного (его описание) выявляются (аномальные признаки). Какой (дополнительный) признак (симптом) поможет/помогут предположить у больного диагноз-1 (название заболевания), а не диагноз-2 (название заболевания)?
- У больного (его описание) наблюдаются (симптомы и признаки). Такие данные предполагают, что заболевание является результатом (отсутствия или наличия) какого из следующих (ферментов, процессов)?
- Больной (описание) придерживается (специальной диеты). Какое из следующих состояний возникнет вероятнее всего?
- У больного (его описание) наблюдаются (симптомы, признаки или конкретное заболевание). Он получает следующий (лекарственный препарат;
препарат из группы...). Препарат действует путем ингибирования какой из следующих (функций, процессов)?
- У больного (его описание) выявляются (аномальные признаки). Изменения каких из следующих (лабораторных данных) можно ожидать?
- Через (промежуток времени) после (события, например, поездки или приема определенной пищи) у (описание больного, группы людей) появились (симптомы, признаки). Какой из следующих (организмов, веществ) вероятнее всего будет найден при анализе (пищи)?
- После (процедуры) у больного (его описание) возникли (симптомы и признаки). Лабораторные исследования выявили следующие (данные). Что является наиболее вероятной причиной?
- Больной (описание) умер от (заболевания). Что вероятнее всего будет обнаружено при аутопсии?
- У больного наблюдаются (симптомы или признаки). Воздействие какого (токсического вещества) является наиболее вероятной причиной?
- Каков наиболее вероятный механизм терапевтического воздействия данной (группы лекарственных препаратов) на больного с (заболеванием)?
- У больного выявляются (аномальные признаки), но (нормальные признаки). Каков наиболее вероятный диагноз?