К содержанию
Спецвыпуск . 2022

КАК ОПРЕДЕЛЯТЬ СТАНДАРТЫ ДЛЯ ПРАКТИЧЕСКИХ ЭКЗАМЕНОВ: РУКОВОДСТВО AMEE № 85*

Резюме

В руководстве AMEE (Ассоциация медицинского образования в Европе) предлагается обзор методов, используемых при определении проходных баллов для экзаменов, оценивающих практические навыки. Рассмотрение различных целей оценки обеспечит контекст для обсуждения методов определения стандартов, за которыми последует описание различных типов стандартов, которые обычно выделяют в медицинском образовании. Представлено пошаговое руководство по процессу определения стандартов. Руководство содержит подробные объяснения и примеры методов определения стандартов, и в каждом разделе представлены примеры исследований, выполненных с использованием этих методов при проведении практических экзаменов у медицинских работников. Руководство предназначено для тех, кто отвечает за определение проходных баллов на экзаменах и ищет ресурс, объясняющий методы определения проходных баллов. В руководстве рассмотрены основания для проведения оценки, даны определения стандартов и предложены методы их применения, которые исследовались при проведении практических экзаменов. В 1-м разделе руководства описаны типы стандартов, во 2-м - рекомендации по подготовке к исследованию по определению стандартов. Следующие разделы включают описание порядка проведения обсуждения, выбора метода, определения проходного балла и поддержание стандарта. В руководстве приведены аргументы в пользу мероприятий по определению проходных баллов, которые на основании результатов исследований соответствуют цели оценки и являются воспроизводимыми.

* Впервые опубликовано в журнале "Medical Teacher": McKinley D.W., Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85. Medical Teacher. 2014; 36 (2): 97-110. DOI: https://doi.org/10.3109/0142159X.2013.853119. Полное описание условий доступа и использования см. на странице: https://www.tandfonline.com/action/journalInformation?journalCode=imte20

Введение

Определение стандарта - ​это процесс определения или суждения об уровне знаний и навыков, необходимых для достижения типичного уровня выполнения задания, а затем определения балла по шкале экзаменационных баллов, соответствующей этому стандарту успеваемости. Процедуры определения стандарта используются для обеспечения концептуального определения компетентности для специальности или образовательного домена и для реализации этой концепции. При рассмотрении концептуального определения компетентности целесообразно проанализировать критерии, разработанные в компетентностно-ориентированном медицинском образовании. При определении стандарта выполнения может оказаться полезной описательная информация, представленная в разработке вех или контрольных показателей (Holmboe et al., 2010). Процесс определения стандартов предназначен для перевода концептуального определения компетентности в операционную версию, называемую проходным баллом (Kane, 1994; Norcini, 1994). Проверка соответствия проходного балла является еще одним важным элементом сбора доказательств в поддержку обоснованности интерпретации результатов теста (American Educational Research Association et al., 1999; Kane, 2006). Были разработаны и исследованы различные подходы к определению проходных баллов на экзаменах. В этом руководстве будет представлен обзор методов, которые обычно использовались при практических экзаменах. Рассмотрение различных целей оценки обеспечит контекст для обсуждения методов определения стандартов, за ними последует описание различных типов стандартов, которые обычно выделяют в медицинском образовании. Будет представлено пошаговое руководство по процессу определения стандарта.

Практические аспекты

Несмотря на обширные исследования в области определения стандартов как на тестовых, так и на практических экзаменах, не существует "правильного" проходного балла и "наилучшего" метода.

Различные методы дают разные результаты.

· Заранее определенные проходные баллы, установленные без учета содержания экзамена или успеваемости экзаменуемых, могут сильно различаться в зависимости от сложности и содержания экзаменов, что влияет на правильность принимаемых решений.

· Выбор метода зависит от цели экзамена и доступных ресурсов.

· Проходной балл должен определяться группой экспертов (например, преподавателями), знакомых с целью оценки и оцениваемым доменом.

· Выбранный метод определения стандарта должен быть тесно увязан с целями оценки; быть простым для понимания и внедрения; требовать суждений, основанных на данных о результатах успеваемости; требовать продуманных действий и основываться на результатах исследований.

Цели оценки

В сфере образования часто возникает необходимость оценить, овладевают ли обучающиеся знаниями, навыками и умениями, необходимыми для успешной работы в конкретной сфере деятельности. Для определения наличия "достаточных знаний, навыков и умений" в рамках программы оценки обычно используются различные методы (Dijkstra et al., 2010).

В области медицинского образования существует множество подходов к оценке знаний, навыков, умений и отношений абитуриентов, студентов, выпускников и практикующих врачей. В течение некоторого времени для оценки компетентности врача преподаватели использовали любой доступный, даже неподходящий метод оценки (Norcini, McKinley, 2007). Например, хотя для врача важно уметь эффективно взаимодействовать с медицинским персоналом, оценка этого аспекта не может быть проверена надлежащим образом с помощью письменных экзаменов. Было разработано и внедрено несколько методов оценки, позволяющих перейти к практической оценке, которая связана с тем, что ожидается на практике. При обучении медицинских работников часто используются стандартизированные пациенты (СП), обычно без медицинского образования, обученные изображать жалобы "реальных" пациентов (Patil et al., 2003). Этот тип оценки предоставляет испытуемым возможность показать то, что они умеют (например, правильно провести медицинский осмотр, общаться с пациентом), а не то, что они знают (Miller, 1990).

При разработке методов оценки действий испытуемых также использовались другие методы или даже комбинации методов (Nestel et al., 2006). Во многих медицинских профессиях было введено использование различных экзаменов на рабочем месте, включая анализ амбулаторных карт и оценки методом "360 градусов" (Norcini, Burch, 2007). Эти типы оценки обычно используются в качестве мер по повышению качества и включают экспертную оценку, оценку результатов практической деятельности и меры оценки удовлетворенности пациентов или клиентов (Norcini, 2003).

Для различных целей оценки, по крайней мере отчасти, были разработаны разнообразные инструменты. Цели оценки могут быть следующие: определение тех, кто имеет право поступить в медицинский вуз (например, вступительные экзамены); проверка выполнения требований учебного курса (например, аудиторные экзамены); готов ли студент перейти на следующий уровень подготовки (например, итоговые экзамены в конце учебного года); готовность испытуемого заниматься полученной профессией (например, лицензионный и сертификационный экзамен) или доказательство компетентности испытуемого (например, поддержание сертификации). Обычно предполагается, что баллы, полученные на основании оценки, указывают на способность студента "использовать соответствующие знания, навыки и суждения для предоставления качественных профессиональных услуг при ведении врачебных приемов в конкретной практической области" (Kane, 1992, с. 167). Баллы часто используются для принятия решений (или интерпретации) относительно того, приобрели ли студенты (или выпускники) достаточные знания и навыки для начала или продолжения профессиональной деятельности. Таким образом, баллы, полученные на экзаменах, используются для разделения испытуемых на 2 группы или более (например, сдавшие или не сдавшие экзамен). Результаты экзаменов могут использоваться для принятия решений о том, кто нуждается в дополнительной педагогической помощи, перейдет ли испытуемый на следующий уровень обучения или достиг ли он необходимой квалификации в проверяемой области.

M.T. Kane (Kane, 1992) определил компетентность как степень, в которой индивидуум может справляться с различными ситуациями, возникающими в определенной профессиональной области (с. 165). В сфере образования, лицензирования и сертификации оценка проводится для определения уровня квалификации кандидатов. Например, при разработке способов измерения компетентности, таких как объективный структурированный клинический экзамен (ОСКЭ), могут использоваться принципы, связанные с оценкой определенных доменов, включая определение характеристик, соответствующих удовлетворительному выполнению (Pell et al., 2010). Независимо от того, состоит ли экзамен из тестовых заданий с выбором ответа или практических заданий, важно учитывать, является ли целью сравнение испытуемого с другими кандидатами в рамках той же оценки или определение его уровня квалификации. В следующем разделе руководства описаны типы стандартов, соответствующих различным целям.

Типы стандартов

Стандарты можно разделить на относительные (иногда называемые нормативно-ориентированными) или абсолютные (иногда называемые критериально-ориентированными) (Livingston, Zieky, 1982). Стандарты, которые устанавливаются на основе сравнения тех, кто проходит оценку, друг с другом, являются относительными стандартами. Например, когда проходной балл устанавливается на основе количества или процента испытуемых, которые сдадут экзамен, стандарт является относительным. Этот тип определения стандарта обычно используется при отборе на работу или зачислении на образовательные программы, где количество доступных мест ограничено. При проведении квалификационных экзаменов (например, выпуск, сертификация, лицензирование) относительные стандарты обычно не используются, так как уровень подготовки групп испытуемых, как и содержание оценки, могут меняться с течением времени. Когда заранее определенные проходные баллы используются в учебных (аудиторных) тестах, уровень подготовки студентов группы и сложность данного теста не учитываются (Cohen-Schotanus, van der Vleuten, 2010). Уровень подготовки испытуемого и сложность теста являются факторами, которые могут отрицательно повлиять на подтверждение соответствия проходного балла. Чтобы избежать недостатков, связанных с методом определения относительных стандартов, в случае аттестационных экзаменов (например, лицензирование или сертификация) чаще используются подходы, позволяющие определить абсолютные стандарты.

Стандарты, установленные путем определения количества тестовых заданий, на которые необходимо ответить (или которые необходимо выполнить) правильно, чтобы сдать экзамен, являются абсолютными стандартами. Например, если для прохождения теста с несколькими вариантами ответа экзаменуемый должен правильно ответить на 75% вопросов, стандарт является абсолютным. При использовании абсолютных стандартов может возникнуть ситуация, что принятые решения приведут к ситуации, когда все экзаменуемые сдадут или провалят экзамен.

Установление стандартов и практические экзамены

При проведении практических экзаменов используется несколько методов установления стандартов. Поскольку относительные стандарты устанавливаются на основе желаемого результата (например, зачисление на факультет 75 лучших кандидатов) и, следовательно, они легче поддаются определению, в этом руководстве основное внимание будет уделено методам установления абсолютных стандартов (сравнительный анализ приведен в табл. 1). Эти методы включают проверку экзаменационных материалов или результатов выполнения задания испытуемыми, и итоговые проходные баллы могут выводиться исходя из суждений группы профильных экспертов.

Таблица 1. Особенности методов определения стандарта

Подходы к установлению абсолютных стандартов ориентированы либо на задания, либо на испытуемых (Livingston, Zieky, 1982). При использовании методов, ориентированных на задания, экзаменаторы сосредоточиваются на содержании экзамена. Примерами методов определения стандартов, ориентированных на задания, служат методы Ангоффа (Angoff, 1971), Эбеля (Ebel, 1972) и Недельского (Nedelsky, 1954). Напротив, при использовании методов, ориентированных на испытуемых, эксперты сосредоточиваются на успеваемости испытуемых. Эти методы включают методы контрастных групп, граничных групп и пограничной регрессии (Livingston, Zieky, 1982; Wood et al., 2006). В случае методов, ориентированных на испытуемых, задача экспертов состоит в том, чтобы определить, отражают ли оцениваемые ими результаты наличие у испытуемого знаний и навыков, необходимых для соответствия стандарту (например, на уровне минимальной компетентности).

Аспекты подходов, ориентированных на задания и испытуемых, в отношении тестовых экзаменов, были представлены в предыдущем руководстве AMEE (Bandaranayake, 2008). В настоящем руководстве описан порядок применения некоторых из этих подходов к ОСКЭ. В частности, даны рекомендации по использованию методов Ангоффа, пограничных групп, пограничной регрессии, контрастных групп и компромиссных методов установления стандартов с использованием симулированных данных ОСКЭ. Остальная часть руководства разделена на 4 главы: подготовка к проведению исследования для определения стандарта, проведение самого исследования, выведение проходного балла и внедрение и поддержание стандарта.

Подготовка к проведению исследования для определения стандарта

Проходной балл, как правило, определяется экспертной группой, знакомой с целью оценки и оцениваемой областью. Прежде чем группа приступит к работе, необходимо выполнить ряд шагов. Во-первых, необходимо набрать соответствующих экспертов. В целях повышения объективности и получения достоверных проходных баллов члены экспертной группы должны быть осведомлены о содержании экзамена и его цели (Jaeger, 1991; Raymond, Reid, 2001). Кроме того, они должны быть знакомы с квалификацией студентов, проходящих экзамен. И наконец, необходимым условием является наличие опыта работы с данным методом оценки. Члены группы, которые выносят суждения о квалификации медицинских работников, должны быть экспертами в своей профессии и быть знакомы с требованиями, предъявляемыми к обучающимся на различных этапах обучения, так как они хорошо понимают последствия, связанные с прохождением экзамена. Поскольку ОСКЭ часто используется для проверки клинических и коммуникативных навыков, преподаватели, которые участвовали в проведении ОСКЭ в качестве экзаменаторов, или те, кто помогал в разработке материалов, используемых при проведении экзамена (например, чек-листов), идеально подходят в качестве экспертов группы по определению стандарта. Например, для определения стандартов в отношении коммуникативных навыков врачей в качестве экспертов можно рассматривать других членов медицинской бригады (например, сестринский персонал, инструкторов по обучению стандартизированных пациентов). В силу знакомства с ожидаемыми результатами работы врачей в клинических условиях они также подходят для участия в процессе определения стандартов. Следует рассмотреть возможность подбора подходящего состава экспертной группы с учетом пола, дисциплины (например, педиатрия, общая медицина) и профессиональной деятельности (например, преподавательский состав и практикующие врачи). Это особенно важно, когда проходной балл определяет кандидатов, которые приступят к профессиональной деятельности (например, лицензионный экзамен). Чем больше экспертов, тем больше вероятность того, что итоговый проходной балл будет стабильным (Ben-David, 2000). Однако также важно учитывать вопросы управления большой экспертной группой. Необходимое количество экспертов должно определяться рядом факторов: последствиями, связанными с принятием экзаменационных решений; количеством заданий, которые необходимо оценить; разумными сроками для проведения совещания по определению стандарта и доступными ресурсами. Успешные совещания по определению стандарта могут проводиться с участием как 4, так 20 экспертов. Наличие большой группы предоставит координатору совещания возможность распределить участников на более мелкие группы для большего охвата материала. Решающим фактором будут ресурсы (например, место проведения, количество координаторов), доступные для проведения совещания.

Следующим шагом в организации совещания является подготовка материалов, которые будут использоваться при обучении членов экспертной группы. Подготовка экспертов имеет большое значение; необходимо выработать четкое понимание стандарта экзамена (например, студент, нуждающийся в исправлении; выпускник, готовый к практике под руководством наставника; специалист, готовый к самостоятельной практике) (Ben-David, 2000; Bandaranayake, 2008). Пониманию стандарта могут содействовать критерии, которые обычно являются частью компетентностно-ориентированной учебной программы. Этот тип информации может помочь в определении знаний, умений и навыков, которые составляют стандарт успеваемости в конкретном контексте и на определенном этапе карьеры медицинского работника (Frank et al., 2010).

В рамках ознакомления для обучения можно использовать экзаменационные материалы. Например, для определения стандарта прохождения ОСКЭ члены экспертной группы могут пройти некоторые станции в качестве испытуемых. Это позволяет экспертам посмотреть на экзамен со стороны испытуемого. Затем проводится обсуждение характеристик, определяемых стандартом. Наконец, членам экспертной группы предоставляется возможность применить на практике выбранный метод.

В следующем разделе руководства пред­ставлены методы, которые можно использовать в целях определения проходных баллов для практических экзаменов, в качестве примера используется ОСКЭ. Эти методы обычно применяются для выведения проходных баллов для ОСКЭ и экзаменов с участием стандартизированных пациентов (Norcini et al., 1993; Boulet et al., 2003; Downing et al., 2006). В каждом разделе приводится описание исследований, касающихся метода, используемого в ОСКЭ или экзаменов с участием СП. Для предоставления подробных рекомендаций по определению проходных баллов для ОСКЭ были собраны данные по итоговому курсовому экзамену 50 студентов по 5 станциям ОСКЭ. Также были получены данные для тестового экзамена, состоящего из 50 вопросов. Этот симулированный набор данных будет использоваться для иллюстрации ряда методов, которые могут применяться для определения проходных баллов для ОСКЭ.

Проведение совещания по определению стандарта: модифицированный метод Ангоффа

Пункты чек-листа

Было проведено несколько исследований, в рамках которых для определения стандартов для каждого пункта чек-листа использовался модифицированный метод Ангоффа (например Downing et al., 2003, 2006). Для этого процесса необходимо подготовить материалы по конкретным случаям для всех членов экспертной группы, включая чек-листы и форму для выставления оценок. Координатору совещания понадобится средство отображения оценок (флипчарт, проектор), также он должен подготовить формы для ввода данных и, если возможно, настроить электронные таблицы чек-листов по каждому кейсу. Это позволит провести простой анализ данных и вычислить средние значения для пунктов чек-листа, экзаменаторов и кейсов. В ходе исследований участники экспертной группы анализируют пункты чек-листа, и задача состоит в том, чтобы оценить процент испытуемых, отвечающих стандарту прохождения задания (например, минимально компетентные кандидаты), которые правильно выполнят действие, описанное в чек-листе ОСКЭ.

В табл. 2 показан примерный чек-лист пунктов для кейса с падением пожилого пациента. После обсуждения стандарта выполнения и получения материалов по конкретным кейсам экспертам рекомендуется рассмотреть первые 5 пунктов чек-листа в рамках группы. В примере наблюдается большая разница между оценками экспертов 10 и 13 по пункту 3. Следует организовать обсуждение расхождений в 15% или более с целью достижения консенсуса в отношении определения и задачи оценки. При наличии пунктов, расхождение по которым составляет 15% или более, после совещания их следует проанализировать на наличие проблем, связанных с содержанием пункта чек-листа. Возможно, по некоторым пунктам расхождения в 15% и более не решатся путем обсуждения, но таких пунктов не должно быть много. Эти пункты, возможно, потребуется исключить из определения проходного балла, и любое обсуждение, которое проведут члены экспертной группы, может оказаться полезным при принятии этого решения. После выставления оценок и проведения обсуждения в рамках группы эксперты могут оценить отдельно остальные пункты чек-листа.

Таблица 2. Модифицированный метод Ангоффа: пункты чек-листа

В таблице, используемой для этого примера, показана средняя оценка всех членов экспертной группы. Чтобы получить проходной балл по данному случаю, была рассчитана средняя оценка по всем пунктам чек-листа и членам экспертной группы. В этом примере проходной балл составляет 67%. Если испытуемые правильно выполнят 67% или более пунктов чек-листа, они получат проходной балл по этому кейсу. Указанные действия, связанные с использованием модифицированного метода Ангоффа, предпринимаются для определения проходного балла для одного кейса. Этот процесс повторяется со всеми чек-листами станций, включенных в ОСКЭ. Как только участники экспертной группы завершат процесс оценки, можно начинать ввод данных. Ввод данных можно упростить путем использования электронной таблицы для каждого кейса. Вычисление среднего значения по пунктам и экспертам позволяет получить минимальный проходной балл для каждого кейса. В зависимости от порядка начисления баллов и представления результатов оценки проходные баллы для ОСКЭ могут рассчитываться путем усреднения проходных баллов по конкретным кейсам или доменам ОСКЭ (например, сбор анамнеза, физикальный осмотр, общение).

Ситуационные задания

Хотя модифицированный метод Ангоффа используется для сбора оценок на уровне пунктов чек-листа, чаще члены экспертной группы выносят свои оценки на уровне конкретного кейса или станции. Одним из обоснований такого подхода является то, что пункты чек-листа взаимосвязаны; вероятность задать вопрос или выполнить действие зависит от постановки других вопросов или других результатов физикального обследования (Ben-David, 2000; Boulet et al., 2003). Если метод Ангоффа применяется на уровне конкретного кейса, задачей членов экспертной группы является оценка процента испытуемых, которые будут соответствовать стандарту выполнения задания исходя из содержания кейса, а не отдельных пунктов чек-листа для станции (Kaufman et al., 2000). В качестве альтернативы членам группы можно предложить проанализировать пункты чек-листа и определить процент пунктов, по которым испытуемые, соответствующие стандарту выполнения (например, минимально компетентные), получат проходной балл.

Члены экспертной группы рассматривают материалы по данному кейсу и проводят аналогичную подготовку к вводу данных. Однако в зависимости от количества кейсов, подлежащих анализу в рамках процесса определения стандарта выполнения заданий, можно использовать 1 электронную таблицу. В табл. 3 приведен пример формата электронной таблицы для симулированной ситуации, о которой мы упоминали ранее, по 5 станциям ОСКЭ для курсового тестирования 50 студентов. Этот пример предусматривает 5 экспертов. Как и ранее, обсуждаются характеристики испытуемых, соответствующих стандарту выполнения, представляются и рассматриваются тестовые материалы, и члены экспертной группы приступают к выполнению задания по оцениванию. Большое значение имеет отработка этого метода. На основе этого примера 6-й кейс будет использован для отработки метода и проведения обсуждения членами экспертной группы. Оценки из этого кейса не будут использоваться для получения проходного балла. Оценки по отдельным кейсам (процент правильных ответов) для всех студентов представлены в последнем столбце таблицы. При наличии времени члены экспертной группы могли бы предоставить свои оценки, а затем получить информацию о результатах выполнения задания на станциях всеми студентами. Затем они могут изменить свои оценки. Вычисление среднего значения по экспертам и станциям позволяет получить проходной балл для ОСКЭ.

Таблица 3. Модифицированный метод Ангоффа: проходной балл по каждой станции

Проведение совещания по определению стандарта: пограничная группа

Поскольку оба модифицированных подхода Ангоффа (пункты чек-листа и уровень конкретного кейса) обычно используются для определения проходных баллов в ОСКЭ и экзаменов с участием стандартизированных пациентов, члены экспертной группы могут столкнуться с задачей определения процента испытуемых, соответствующих стандарту, которые получат проходные баллы за правильное выполнение пунктов чек-листа или которые правильно справятся с конкретным случаем (Boulet et al., 2003). Для ОСКЭ часто используется метод, который основан на результатах выполнения заданий испытуемыми, а не на экзаменационных материалах, - ​это метод пограничных групп. Метод пограничных групп требует определения характеристик (например, знаний, умений и навыков) "пограничного" испытуемого. "Пограничным" является испытуемый, чьи знания и навыки не совсем достаточны, но в то же время не являются недостаточными (Livingston, Zieky, 1982). Экзаменационные материалы (или фактические действия экзаменуемых) оцениваются экспертами как "сдано", "пограничный уровень" или "не сдано". Затем проходной балл устанавливается на уровне среднего (т. е. 50-го процентиля) балла пограничной группы (например Rothman, Cohen, 1996).

Одна из модификаций этого метода, которая применяется в ОСКЭ, заключается в использовании оценок, собранных во время проведения экзамена (например Reznick et al., 1996). Эта модификация не требует создания экспертной группы; вместо этого наблюдатели предоставляют информацию, используемую для определения проходного балла для каждой станции. В случае привлечения экспертов (например, врачей, преподавателей) для оценки станций ОСКЭ их можно спросить, будут ли наблюдаемые ими результаты выполнения заданий считаться "пограничными". Такой подход позволит сэкономить время за счет сбора оценок экзаменаторов во время проведения экзамена. После определения испытуемых, чьи результаты выполнения заданий считаются пограничными, проходной балл можно рассчитать путем определения среднего балла всех испытуемых, которые были классифицированы как "пограничные".

Чтобы проиллюстрировать этот подход, будет использоваться тот же набор данных, что и для модифицированного подхода Ангоффа, который представлен в табл. 4. 50 студентов прошли тестирование, и экзаменаторы выставили оценку, указывающую на наблюдаемый результат выполнения заданий на каждой станции - ​"не сдал", "пограничный уровень", "сдал" или "высший балл". На станции ОСКЭ из 50 студентов 9 показали "пограничный" результат. Чтобы получить проходной балл для станции, был рассчитан средний балл (т. е. 50-й процентиль). Для этого примера проходной балл был определен с помощью программного обеспечения для электронных таблиц: MEDIAN (C 23, C 26, C 29, C 36, C 37, C 42, C 43, G2, G6); где "C" и "G" указывают столбцы, в которых расположены оценки ОСКЭ, а цифры указывают строки для оценок пограничных испытуемых. В этом примере средний балл составляет 64%, поэтому испытуемые с баллами 64% или выше будут считаться сдавшими экзамен.

Таблица 4. Пример сбора индивидуальных результатов при использовании метода пограничных групп

Модификация этого подхода используется Медицинским советом Канады (Smee, Blackmore, 2001) в виде 6-балльной шкалы оценок: "низшая", "плохая", "пограничная неудовлетворительная", "пограничная удовлетворительная", "хорошая" и "отличная". Средний балл станции для тех испытуемых, которые получили "пограничную неудовлетворительную" и "пограничную удовлетворительную" оценки, рассчитывается для выведения проходного балла для станции. Модифицированный метод граничных групп (Modified Borderline Group Method) дает хорошие результаты при наличии достаточного количества испытуемых, которые были оценены как "пограничные" для данной станции. Однако стабильность проходного балла зависит от количества испытуемых в "пограничной неудовлетворительной" и "пограничной удовлетворительной" категориях. Если "пограничную" оценку имеют несколько испытуемых, то расчет проходного балла на основе среднего балла их станции вряд ли будет стабильным. Другими словами, надежность минимального проходного балла, полученного на основе 2 или 3 результатов, скорее всего, будет очень низкой.

Чтобы преодолеть этот потенциальный недостаток, T.J. Wood и соавт. (2006) изучили возможности применения регрессионного подхода. Использование всего диапазона оценок ОСКЭ может быть особенно полезным, если в экзамене участвовало лишь небольшое число испытуемых. Поскольку число испытуемых, классифицированных как "пограничные", может быть очень небольшим, итоговый проходной балл может быть менее точным, чем в случае использования всех баллов (Wood et al., 2006). В этой модификации оценка выполнения пунктов чек-листа является зависимой переменной; ранжирование - ​независимой переменной. Цель регрессионного анализа состоит в том, чтобы спрогнозировать оценку выполнения пунктов чек-листа испытуемыми, классифицированными как "пограничные" для данной станции.

Метод пограничной регрессии прост и может применяться с использованием Microsoft Excel. Подробная информация об этом методе представлена на рис. 1-5, на которых изображена последовательность из 7 шагов.

· Шаг 1. Подготовьте таблицу с баллами ОСКЭ и оценками экзаменаторов.

· Шаг 2. Нажмите на вкладку с надписью "Данные", во всплывающем окне выберите "Анализ данных". Инструмент анализа - ​"Регрессия".

· Шаг 3. Определите "Диапазон входных данных Y" - ​прогнозные показатели. В данном случае это оценки ОСКЭ в колонке C.

· Шаг 4. Определите "Диапазон входных данных X" - ​показатели, которые будут использоваться для прогнозирования баллов. В этом случае будут выбраны оценки, предоставленные "Экзаменатором PF1" в колонке D.

· Шаг 5. Определите место расположения результатов анализа. В этом примере мы присвоили электронной таблице имя "Лист 3". Нажмите кнопку OK в окне "Регрессия" (правый верх­ний угол).

· Шаг 6. Результаты регрессионного анализа ("Сводные данные") на "Листе 3".

· Шаг 7. Формула для получения проходного балла: проходной балл (медиана оценок * "Переменная 1"). Постоянное слагаемое.

Рис. 1. Электронная таблица баллов объективного структурированного клинического экзамена и оценок экзаменатора

Рис. 2. Анализ данных "Регрессия"

Рис. 3. Определение переменных для анализа

Рис. 4. Место расположения результатов анализа

Рис. 5. Результаты регрессионного анализа

Для этого примера проходной балл равен 7,4=(2×11,561)+52,326, где 2 - ​медиана оценок, 11,561 - ​"Переменная 1", 52,326 - ​постоянное слагаемое.

Проходной балл может быть скорректирован на стандартную ошибку оценки (помеченную как "Стандартная ошибка" в Сводных данных), если в ходе проверки был сделан вывод, что экзаменатор на станции был особенно суровым (или снисходительным).

Проведение совещания по определению стандарта: метод контрастных групп

Метод контрастных групп требует, чтобы члены экспертной группы рассматривали работу испытуемых и классифицировали результаты как приемлемые или неприемлемые (Livingston, Zieky, 1982). В образовании для классификации испытуемых по этим категориям используется информация, полученная с помощью других видов оценки (Hambleton et al., 2000). При наличии других показателей аналогичного содержания определяются две группы испытуемых. Затем результаты экзамена, на основе которого устанавливаются стандарты выполнения, используются для создания распределений (по одному для каждой группы), и проводится сравнительный анализ распределений, чтобы определить степень их совпадения. Это делается путем сведения в таблицу процентной доли испытуемых в каждой категории и на каждом уровне оценки, которые считаются "компетентными". Проходной балл - ​это точка, на которой около 50% испытуемых считаются компетентными. Для экзаменационных программ в области медицинского образования трудно найти другой измеритель, который позволял бы оценить те же навыки, которые измеряются в ОСКЭ. В медицинском образовании наиболее часто используется вариант, когда члены экспертной группы принимают решение о соответствии результатов выполнения задания, которые они оценивают по интересующему показателю (например, ОСКЭ или экзамен с участием СП), характеристикам, связанным с установленными стандартами. Одним из примеров вариации этого подхода является получение проходного балла путем регрессии числа экспертов, оценивших выступление как "компетентное", к результатам тестов и установивших проходной балл в точке, в которой 50% членов экспертной группы оценили выступление как "компетентное" (Burrows et al., 1999).

В другом варианте метода контрастных групп эксперты оценивали результаты испытуемых по проверяемому экзамену, не зная полученных ими оценок (Clauser, Clyman, 1994). Затем проходной балл был определен как пересечение 2 распределений баллов. Применение этого подхода можно проиллюстрировать на предыдущем примере. 50 студентов прошли тестирование, и экзаменатор выставил оценку, указывающую, относятся ли наблюдаемые результаты к категории "сдано" или "не сдано". В табл. 5 показан набор данных, включающий диапазоны баллов и количество испытуемых, результаты которых оценены экзаменатором как "сдано" или "не сдано". В дополнение к колонкам под заголовком "Решение экзаменатора" указывается общее количество испытуемых, набравших баллы в пределах этого диапазона. В этом примере оценки экзаменатора отделены от диапазона оценок; вместо этого представьте, что оценки основаны на результатах выполнения пунктов чек-листа, заполненном другим экспертом. Результаты показывают, что эксперт обозначил сдавших экзамен испытуемых даже в самой нижней части диапазона баллов. Колонка "Процент сдавших" указывает на процент испытуемых, которые сдали бы экзамен, если бы проходной балл был установлен чуть выше диапазона баллов.

Таблица 5. Пример применения метода контрастных групп

a"Сглаженные" средние значения не могут создаваться для самого высокого и самого низкого балла.

Например, если бы проходной балл был установлен на уровне 50% правильных ответов, 46 испытуемых сдали бы экзамен, а число сдавших составил бы 92%. На рис. 6 показана область совпадений в распределении баллов. Учитывая подход, изученный Клаузером и Клейманом (Clauser, Clyman, 1994), точка пересечения даст рекомендуемый проходной балл 65%. Испытуемые с результатом 65% или выше будут считаться сдавшими, а те, у кого результат 64% или ниже, - ​не сдавшими экзамен.

Рис. 6. Пример применения метода контрастных групп

Определение проходных баллов экзамена

Хотя рассмотренные методы позволяют выводить проходные баллы для каждого задания практического экзамена, часто требуется определить проходной балл для экзамена в целом. Если испытуемые должны получить проходной балл по каждому проверяемому заданию или навыку, норма является конъюнктивной. Если учитываются результаты по всем задачам или навыкам, норма является компенсационной (Haladyna, Hess, 1999; Ben-David, 2000). При принятии решения о том, требовать ли от экзаменуемых успешного выполнения каждой задачи или рассматривать результат в целом, необходимо учитывать несколько факторов. Во-первых, результаты испытуемых, скорее всего, будут варьировать от задачи к задаче. Другими словами, вероятнее всего, в результатах каждого испытуемого будет наблюдаться несоответствие. Одни задания испытуемый будет выполнять лучше, чем другие. Кроме того, надежность оценки в случае отдельных задач, наверное, будет намного ниже, чем надежность оценки всех задач. Поскольку конъюнктивные нормы, скорее всего, приведут к увеличению числа обучающихся, не сдавших экзамен, необходимо учитывать последствия провала экзамена и логистику пересдачи или повторного обучения (Ben-David, 2000). Установление компенсационных норм предполагает усреднение (или суммирование) результатов по всем заданиям для получения экзаменационного балла. Компенсационные нормы позволяют испытуемым компенсировать плохой результат по одному заданию лучшим результатом по другому. Степень, в которой задачи (или навыки) соотносятся друг с другом, может содействовать принятию компенсационного или конъюнктивного решения (Ben-David, 2000). Другой вариант - ​рассмотреть вопрос о способе представления результатов испытуемым. Это решение важно, потому что тем, кто управляет процессом определения стандарта, необходимо будет решить, как будут использоваться полученные проходные баллы. В конъюнктивной модели, чтобы сдать экзамен, испытуемые должны набрать или превысить балл по каждому заданию. В компенсационной модели для определения проходного балла за экзамен может использоваться средний проходной балл по заданиям. В отношении станций ОСКЭ решения могут приниматься по всем задачам (компенсационная модель), но, чтобы сдать экзамен, необходимо успешно выполнить задание на каждый навык (например, коммуникация, принятие клинических решений). Учет отзывов, предоставленных испытуемым, сыграет важную роль в определении того, какой метод - ​компенсационный, конъюнктивный или комбинированный, будет использоваться для определения проходного балла за экзамен.

Компромиссные методы

Хотя результаты, полученные от членов экспертной группы по определению стандарта, являются наиболее важными элементами при определении проходного балла, для определения итогового проходного балла, который будет применяться к экзаменам, часто используется дополнительная информация (Geisinger, 1991; Geisinger, McCormick, 2010). Одним из видов информации, которая учитывается при выведении проходного балла, является соотношение между количеством сдавших и не сдавших тест испытуемых. Компромиссные подходы, предложенные W.K.B. Hofstee (Hofstee, 1983), C.H. Beuk (Beuk, 1984) и D.N.M. De Gruijter (De Gruijter, 1985), прямо предусматривают учет экспертной группой как проходного балла, так и процента сдавших (или не сдавших) экзамен испытуемых. Каждый подход предполагает, что у экспертов есть мнение, что представляют собой приемлемый проходной балл и процент сдавших.

W.K.B. Hofstee предположил, что выбранный проходной балл является только одним из множества возможных проходных баллов. Кроме того, существует возможность построить график всех возможных вариантов с процентом не сдавших. Чтобы убедиться, что экспертная группа учла эти данные, проводится обсуждение установленного стандарта (например, минимальной компетентности, уровня квалификации и т. д.), рассматриваются детали экзаменационного процесса, и членам экспертной группы предлагается ответить на 4 вопроса:

(1) Каков минимально допустимый процент студентов, не сдавших экзамен? (Минимальный процент не сдавших; fmin)

(2) Каков максимально допустимый процент студентов, не сдавших экзамен? (Максимальный процент не сдавших; fmax)

(3) Каков наименьший допустимый процент правильных оценок, который можно было бы считать проходным? (Минимальный проходной балл; kmin)

(4) Каков наибольший допустимый процент правильных оценок, который можно было бы считать проходным? (Максимальный проходной балл; kmax)

4 базовые точки рассчитываются путем усреднения оценок, выставленных всеми экспертами. На графике отображается процент испытуемых, которые сдали бы тест при всех возможных значениях проходного балла, а также и 4 базовые точки, исходя из четырех оценок группы по установлению норм выполнения теста. На рис. 7 приведен пример применения метода W.K.B. Hofstee. В этом примере 140 студентов прошли курсовой экзамен, состоящий из 50 вопросов.

Рис. 7. Пример применения метода W.K.B. Hofstee

Кривая на графике показывает прогнозируемый процент не сдавших, исходя из процента оценок, полученных за правильные ответы на вопросы теста. Инструкторам были заданы 4 вопроса, которые приводились выше:

(1) Каков минимально допустимый процент студентов, не сдавших экзамен? Средний показатель: 20%.

(2) Каков максимально допустимый процент студентов, не сдавших экзамен? Средний показатель: 30%.

(3) Каков наименьший допустимый процент правильных оценок, который можно было бы считать проходным? Средний показатель: 60%.

(4) Каков наибольший допустимый процент правильных оценок, который можно было бы считать проходным? Средний показатель: 75%.

На основании информации, полученной от экспертов, наносятся 2 точки: пересечение наименьшего допустимого процента не сдавших и наибольшего допустимого процента правильных ответов и пересечение наибольшего допустимого процента не сдавших и наименьшего допустимого процента правильных ответов (см. рис. 7). Эти 2 точки создают линию, пересекающую кривую, которая определяется процентом правильных ответов и прогнозируемым процентом не сдавших. Проходной балл определяется пунктирной линией от пересечения до оси x (процент правильных ответов). Процент не сдавших определяется пунктирной линией от пересечения до оси y (процент не сдавших).

При модификации метода W.K.B. Hofstee C.H. Beuk (Beuk, 1984) предложил членам экспертной группы сообщить, в какой степени каждую из их оценок следует учитывать при определении окончательного проходного балла. Другими словами, членам экспертной группы необходимо было ответить на вопрос, в какой степени их решения ориентированы на испытуемых или на задание. Вычисляются средние значения и стандартные отклонения как проходных баллов, так и приемлемых процентов сдавших экзамен. На графике отображены средний процент сдавших и средний проходной балл. Определяется точка на графике, где эти 2 показателя пересекаются. Компромисс заключается в использовании отношения стандартного отклонения процента сдавших к стандартному отклонению проходного балла. Точка, в которой распределение баллов пересекает линию, образованную на основе наклона, составляет проходной балл. D.N.M. De Gruijter (1985) далее предложил задать членам экспертной группы дополнительный вопрос об уровне неопределенности в отношении этих двух оценок. Методы C.H. Beuk и D.N.M. De Gruijter не были описаны в литературе по медицинскому образованию, но метод W.K.B. Hofstee использовался рядом исследователей.

N. Schindler и др. (Schindler et al., 2007) сообщили об использовании подхода W.K.B. Hofstee при определении проходных баллов за прохождение хирургической практики. Поскольку цель состояла в том, чтобы установить за прохождение практики общий проходной балл вместо индивидуальных оценок (тестовые экзамены, ОСКЭ, оценки за прохождение практики, рейтинги уровня профессионализма), группа по определению стандарта приняла решение о целесообразности использования метода W.K.B. Hofstee. Использование многочисленных взаимосвязанных оценок привело группу к выводу об установлении компенсационных норм, хотя недостаток профессионализма может привести к их невыполнению. Прежде чем ответить на 4 вопроса по методу W.K.B. Hofstee, члены экспертной группы проанализировали распределение баллов для всех студентов, а также для тех, кто не сдал экзамен в предыдущие годы, наряду с критериями выставления оценок и экзаменационными материалами. Авторы обнаружили, что эксперты достигли высокого уровня согласия и что процент сдавших был выведен обоснованно применительно к предыдущим данным по их успеваемости.

Выбор метода для определения стандарта

При наличии множества доступных методов, возможно, будет трудно решить, какой из них является лучшим. При выборе метода определения стандарта необходимо руководствоваться практическими соображениями. Метод должен позволять выносить суждения на основе информации; предпочтительны процессы, позволяющие выносить экспертные суждения с учетом результатов выполнения задания. Выбранный метод должен быть тесно увязан с целью оценки. Метод должен требовать вдумчивых усилий от тех, кто участвует в процессе, и в его основе должны лежать исследования. Наконец, метод должен быть легким для понимания и простым в реализации.

Важно иметь в виду, что исследование по определению стандарта позволит вывести рекомендуемый проходной балл и что балл должен соответствовать уровню выполнения задания, согласующегося с целью экзамена и процессом определения стандарта. Например, если экзамен используется для выявления студентов, нуждающихся в дополнительном обучении или исправлении, то проходной балл позволяет отделить группу студентов, готовых к следующему этапу обучения, от группы, которой следует повторить курс. В этом случае уровень выполнения заданий может быть не таким высоким, как уровень, соответствующий компетентности в самостоятельной практике. Если экзамен используется для выявления студентов, готовых к выпуску и приступить к практике под руководством опытного специалиста, то сдавшие экзамен обладают характеристиками, подтверждающими готовность приступить к практике под руководством наставника. Результат прохождения этих экзаменов имеет разное значение, и при окончательном определении проходного балла эти различия должны учитываться. Хотя определить наилучший метод невозможно, выбор должен основываться на цели экзамена, а также на практических соображениях, изложенных в этом руководстве.

Внедрение стандарта

Поскольку исследование по определению стандарта позволяет получить рекомендуемый проходной балл, существуют дополнительные вопросы, которые необходимо рассмотреть до внедрения результатов, полученных в процессе установления стандарта. Одно из важных решений, которое необходимо принять, заключается в том, будет ли проходной балл компенсационным или конъюнктивным. Для проведения ОСКЭ и экзаменов с участием стандартизированных пациентов обычно используется несколько станций. Если оценка усреднена (или суммирована) по всем кейсам, проходной балл должен быть получен аналогичным образом (т. е. усреднен или суммирован по всем кейсам). В этом примере норма будет считаться компенсационной; испытуемые, которые наберут или превысят проходной балл, пройдут, и плохие результаты на одной станции могут компенсироваться лучшими результатами на другой станции. В качестве альтернативы проходной балл может выводиться для каждого кейса/станции, и дополнительное требование может состоять в том, что для прохождения аттестации необходимо получить проходной балл по определенному количеству кейсов. В этом случае норма будет конъюнктивной. Поскольку ситуационные задания часто используются для измерения как клинических навыков, так и навыков межличностного общения, проходные баллы могут выводиться отдельно для каждого из этих навыков, и требование для прохождения будет заключаться в том, чтобы соответствовать или превышать проходной балл в каждой области. Такой подход также можно было бы считать конъюнктивным.

При принятии заключения о том, будет ли решение о сдаче или несдаче компенсационным или конъюнктивным, важно учитывать результаты исследований, проведенных в этой области. Результаты выполнения по разным задачам могут весьма различаться (Traub, 1994), и результаты, продемонстрированные в одном кейсе, вряд ли будут надежным показателем уровня подготовки испытуемого (Linn, Burton, 1994). Конъюнктивные нормы, основанные на требованиях отдельных станций, приведут к более высокому проценту не сдавших и могут повлечь за собой неправильные решения из-за ошибки измерения (Hambleton, Slater, 1997; Ben-David, 2000). В то время как более высокие проценты не сдавших также будут обусловлены конъюнктивными нормами, учитывающими соответствующие области навыков, разумно требовать выведения проходного балла для каждой области без возможности компенсации за счет других областей. M.F. Ben-David (Ben-David, 2000) полагает, что большое значение при принятии решения о компенсационных и конъюнктивных нормах имеет анализ конструкта, измеряемого с помощью оценки. Важными критериями, которые следует учитывать при принятии решения, являются цель оценки и обратная связь о результатах. Например, было бы очень полезно, чтобы испытуемые знали, что им необходимо улучшить свои навыки физикального обследования, но что они обладают достаточными навыками сбора анамнеза и коммуникативными навыками. В этом случае было бы разумно установить отдельные проходные баллы исходя из измеряемых навыков.

Еще одним фактором является формат представления результатов экзамена испытуемым и другим заинтересованным сторонам. Если ОСКЭ проводится в качестве курсовой оценки, не сдавшие экзамен студенты (и их преподаватели), возможно, захотят узнать о сильных и слабых сторонах, чтобы сосредоточить свои усилия на повышении квалификации. Даже студенты, сдавшие экзамен, возможно, захотят узнать, есть ли какие-либо области, в которых они могли бы совершенствоваться. Предоставление обратной связи важно, особенно для не сдавших экзамен испытуемых (Livingston, Zieky, 1982; American Educational Research Association et al., 1999).

Наконец, важно учитывать процент сдавших экзамен. Понимание последствий принимаемых решений жизненно важно для обеспечения понимания и утверждения процесса лицами, принимающими решения. Маловероятно, что будет возможно вывести рекомендуемый проходной балл во время совещания по определению стандарта, поэтому следует провести встречу с заинтересованными сторонами (например, преподавателями, заведующими кафедрами), чтобы проинформировать их о результатах исследования и о последствиях (то есть о количестве сдавших).

Поддержание стандарта

После проведения совещаний, выведения и утверждения проходного балла следует подумать о том, как будет формироваться проходной балл для следующего экзаменационного цикла. Поскольку результаты выполнения заданий испытуемыми и сложность экзамена с течением времени могут меняться, один и тот же проходной балл может иметь разный эффект. В случае пересмотра экзаменационных материалов необходимо еще раз провести совещание по определению стандарта. Даже при отсутствии изменений в экзаменационных материалах важно следить за результатами выполнения заданий испытуемыми и сложностью экзамена, а также за последствиями введения проходного балла (то есть за изменениями процента сдавших). Если тест станет легче (то есть испытуемые получат более высокие баллы), а проходной балл останется прежним, то процент сдавших, скорее всего, увеличится. И наоборот, если тест станет более сложным, процент сдавших, скорее всего, снизится. Рекомендуется регулярно пересматривать определение стандарта, а также проходной балл в свете изменений экзамена. Мониторинг успеваемости на экзамене имеет особое значение, если он используется для определения квалификации испытуемого, независимо от того, означает ли это переход на следующий уровень обучения или начало самостоятельной практики.

Заключение

Несмотря на обширные исследования по определению стандартов как для тестов с несколькими вариантами ответа, так и для практических экзаменов, не существует правильного проходного балла и наилучшего метода. Различные методы дают разные результаты. Выбор метода зависит от цели исследования и ресурсов, доступных в рамках мероприятия по определению стандарта. Указанные методы, рекомендации и примеры приведены с целью предоставления информации, необходимой для принятия решений относительно выбора метода, подготовки к совещанию, проведения совещания и анализа полученных данных, а также внедрения и поддержания стандартов.

Заявление об отсутствии конфликта интересов: авторы заявляют об отсутствии конфликта интересов. За содержание и написание настоящей статьи авторы несут единоличную ответственность.

Литература/References

1. American Educational Research Association, American Psychological Association, National Council on Measurement in Education, 1999. Standards for educational and psychological testing. American Educational Research Association, Washington DC.

2. Angoff W.H. Scales, norms, and equivalent scores. In: Thorndike R.L, ed. Educational measurement. Washington, DC: American Council on Education. 1971, p. 508-600.

3. Bandaranayake R.C. Setting and maintaining standards in multiple choice examinations: AMEE Guide No. 37. Med Teach. 2008; 30: 836-45.

4. Ben-David M.F. AMEE Guide No. 18: Standard setting in student assessment. Med Teach. 2000; 22: 120-30.

5. Beuk C.H. A method for reaching a compromise between absolute and relative standards in examinations. J Educ Measure. 1984; 21: 147-52.

6. Boulet J.R., De Champlain A.F., McKinley D.W. Setting defensible performance standards on OSCEs and standardized patient examinations. Med Teach. 2003; 25: 245-9.

7. Burrows P.J., Bingham L., Brailovsky C.A. A modified contrasting groups method used for setting the passmark in a small scale standardised patient examination. Adv Health Sci Educ Theory Pract. 1999; 4: 145-54.

8. Clauser B.E., Clyman S.G. A contrasting-groups approach to standard setting for performance assessments of clinical skills. Acad Med. 1994; 69: S42-S44.

9. Cohen-Schotanus J., van der Vleuten C.P.M. A standard setting method with the best performing students as point of reference: Practical and affordable. Med Teach. 2010; 32: 154-60.

10. De Gruijter D.N.M. Compromise models for establishing examination standards. J Educ Measure. 1985; 22: 263-9.

11. Dijkstra J., Van der Vleuten C.P.M., Schuwirth L.W.T. A new framework for designing programmes of assessment. Adv Health Sci Educ Theory Pract. 2010; 15: 379-93.

12. Downing S.M., Lieska N.G., Raible M.D. Establishing passing standards for classroom achievement tests in medical education: A comparative study of four methods. Acad Med. 2003; 78: S85-S87.

13. Downing S.M., Tekian A., Yudkowsky R. Procedures for establishing defensible absolute passing scores on performance examinations in health professions education. Teach Learn Med. 2006; 18: 50-7.

14. Ebel R. Essentials of educational measurement. 2nd ed. Englewood Cliffs, NJ: Prentice-Hall. 1972.

15. Frank J.R., Snell L.S., Cate O.T, Holmboe E.S., Carraccio C., Swing S.R., Harris P., Glasgow N.J., Campbell C., Dath D., et al. Competency-based medical education: Theory to practice. Med Teach. 2010; 32: 638-45.

16. Geisinger K.F. Using standard-setting data to establish cutoff scores. Educ Measure: Issu Pract. 1991; 10: 17-22.

17. Geisinger K.F., McCormick C.M. Adopting cut scores: Post-standardsetting panel considerations for decision makers. Educ Measure: Issu Pract. 2010; 29: 38-44.

18. Haladyna T., Hess R. An evaluation of conjunctive and compensatory standard-setting strategies for test decisions. Educ Assess. 1999; 6: 129-53.

19. Hambleton R.K., Jaeger R.M., Plake B.S., Mills C. Setting performance standards on complex educational assessments. Appl Psychol Measur. 2000; 24: 355-66.

20. Hambleton R.K., Slater S.C. Reliability of credentialing examinations and the impact of scoring models and standard-setting policies. Appl Measur Educ. 1997; 10: 19-28.

21. Hofstee W.K.B. The case for compromise in educational selection and grading. In: Anderson S.B., Helmick J.S., ed. On educational testing. San Francisco, CA: Jossey-Bass. 1983, p. 109-27.

22. Holmboe E.S., Sherbino J., Long D.M., Swing S.R., Frank J.R. The role of assessment in competency-based medical education. Med Teach. 2010; 32: 676-82.

23. Jaeger R.M. Selection of judges for standard-setting. Educ Measu: Iss Pract. 1991; 10: 3-14.

24. Kane M.T. The assessment of professional competence. Eval Health Prof. 1992; 15: 163-82.

25. Kane M.T. Validating interpretive arguments for licensure and certification examinations. Eval Health Prof. 1994; 17: 133-59; discussion 236-41.

26. Kane M.T. Validation. In: Brennan R.L., ed. Educational measurement. Westport, CT: American Council on Education and Praeger Publishers. 2006, p. 17-64.

27. Kaufman D.M., Mann K.V., Muijtjens A.M.M., van der Vleuten C.P.M. A comparison of standard-setting procedures for an OSCE in undergraduate medical education. Acad Med. 2000; 75: 267-71.

28. Linn R.L., Burton E. Performance-based assessment: Implications of task specificity. Educ Measure: Issu Pract. 1994; 13: 5-8.

29. Livingston S.A., Zieky M.J. Passing scores: A manual for setting standards of perfromance on education and occupational tests. Educ Testing Serv. Princeton, New Jersey. 1982.

30. Miller G.E. The assessment of clinical skills/competence/performance. Acad Med. 1990; 65: S63-S67.

31. Nedelsky L. Absolute grading standards for objective tests. Educ Psychol Measur. 1954; 14: 3-19.

32. Nestel D., Kneebone R., Black S. Simulated patients and the development of procedural and operative skills. Med Teach. 2006; 28: 390-1.

33. Norcini J., Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007; 29: 855-71.

34. Norcini J.J. Principles for setting standards on certifying and licensing examinations. In: Rothman A.I., Cohen R., ed. The Sixth Ottawa Conference on Medical Education. Toronto: University of Toronto Bookstore. 1994, p. 346-7.

35. Norcini J.J. Work based assessment. Br Med J. 2003; 326: 753-5.

36. Norcini J., McKinley D. Assessment methods in medical education. Teach Teacher Educ. 2007; 23: 239-50.

37. Norcini J.J., Stillman P.L., Sutnick A.I., Regan M.B., Haley H.L., Williams R.G., Friedman M. Scoring and standard setting with standardized patients. Eval Health Prof. 1993; 16: 322-32.

38. Patil N.G., Saing H., Wong J. Role of OSCE in evaluation of practical skills. Med Teach. 2003; 25: 271-2.

39. Pell G., Fuller R., Homer M., Roberts T. How to measure the quality of the OSCE: A review of metrics - AMEE guide no. 49. Med Teach. 2010; 32: 802-11.

40. Raymond M.R., Reid J. Who made thee a judge? Selecting and training participants for standard setting. In: Cizek G.J., ed. Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates. 2001, p. 119-58.

41. Reznick R.K., Blackmore D., Dauphine´e W.D., Rothman A.I., Smee S. Large-scale high-stakes testing with an OSCE: Report from the Medical Council of Canada. Acad Med. 1996; 71: S19-S21.

42. Rothman A.I., Cohen R. A comparison of empirically- and rationallydefined standards for clinical skills checklists. Acad Med. 1996; 71: S1-S3.

43. Schindler N., Corcoran J., DaRosa D. Description and impact of using a standard-setting method for determining pass/fail scores in a surgery clerkship. Am J Surg. 2007; 193: 252-7.

44. Smee S.M., Blackmore D.E. Setting standards for an objective structured clinical examination: The borderline group method gains ground on Angoff. Med Educ. 2001; 35: 1009-10.

45. Traub R.E. Facing the challenge of multidimensionality in performance assessment. In: Rothman A.I., Cohen R., ed. Proceedings of the Sixth Annual Ottawa Conference on Medical Education. Toronto: University of Toronto Bookstore. 1994, p. 9-11.

46. Wood T.J., Humphrey-Murto S.M., Norman G.R. Standard setting in a small scale OSCE: A comparison of the modified borderline-group method and the borderline regression method. Adv Health Sci Educ. 2006; 11: 115-22.

Впервые опубликовано на русском языке: Медицинское образование и профессиональное развитие. 2022. Т. 13, № 1. С. 55-80.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»