Объективный структурированный клинический экзамен. Руководство

Мед. образование и проф. развитие. 2016. № 3. С. 27-51.

Объективный структурированный кли­нический экзамен (ОСКЭ) - это метод, который используют для оценки клини­ческой компетентности. Роналд Харден, впервые применивший его в 1975 г., дает сле­дующее определение: "Подход к оценке кли­нической или профессиональной компетент­ности, в котором ее компоненты оценивают планомерно и структурированно, с особым ак­центом на объективности оценки".

В основе метода лежит комплексная оценка с конечным множеством (обычно от 10 до 20) оценочных станций, модели­рующих различные аспекты клинической компетентности. Все участники проходят одинаковые испытания, последовательно переходя от станции к станции в соответ­ствии с расписанием, при этом результаты выполнения заданий оцениваются с помо­щью чек-листов. Для проведения ОСКЭ можно использовать различные тренажеры и симуляторы, стандартизированных или реальных пациентов. Суть ОСКЭ заклю­чается в отборе примеров и имитации про­цесса обследования и лечения пациента, поэтому практические испытания на стан­циях ОСКЭ обычно представляют задания на интерпретацию исследований, оценку коммуникативных навыков (сбор анам­еза, сообщение плохих новостей), а так­же технических навыков. Таким образом, ОСКЭ - это больше, чем комплексный экзамен. ОСКЭ позволяет проверить клиические компетенции, причем в процес­се его выполнения оценивается уровень клинических навыков и способностей, связанных с компетентностью самостоятельного осуществления медицинской деятельности. В отличие от традиционных методов оценки ОСКЭ позволяет оценить и продемонстрировать, что учащиеся мо­гут сделать, а не то, что они знают.

За 40 лет, прошедших со времени изо­бретения метода, наблюдается стабильный рост использования ОСКЭ для проведения экзаменов у студентов и у ординаторов во всем мире. ОСКЭ используется для эк­заменов при повышении квалификации в системе непрерывного медицинского образования (НМО) и в качестве средства получения обратной связи для коррекции процесса обучения. Сегодня ОСКЭ ис­пользуется в качестве средства оценки:

- для достижения минимального прием­лемого стандарта для студентов и рези­дентов при переводных и выпускных экзаменах в большинстве медицинских школ США, Великобритании и Канады. В Казахстане ОСКЭ стал обязательным экзаменом после III, IV и VII курсов во всех медицинских вузах;

- интернов при назначении на более высокие должности в Королевских кол­легиях врачей различных специальностей в Великобритании;

- для формативной оценки для коррек­ции обучения студентов-медиков;

- выпускников, претендующих на ли­цензию для занятия должности или на сертификат для практической дея­тельности.

На модели ОСКЭ основаны часть 2 эк­замена PLAB в Великобритании, Квали­фикационный экзамен-II Медицинского совета Канады и раздел оценки клинических умений экзамена для получения ме­дицинской лицензии в США (USMLE).

С 2016 г. методика ОСКЭ применяется в качестве второго этапа первичной аккре­дитации специалистов в России.

Сильные и слабые стороны метода ОСКЭ как инструмент для оценки кли­нической компетентности обладает мно­жеством преимуществ по практичности, надежности и действенности. Некоторые авторы утверждают, что ОСКЭ с его мно­гочисленными вариациями сегодня доми­нирует в сфере оценки успеваемости. Как правило, чем больше станций с различны­ми практическими испытаниями в рамках ОСКЭ, тем выше степень надежности его результатов и обоснованности содержа­ния. Результаты исследований, проведен­ных Аккредитационным советом по после­дипломному медицинскому образованию США (ACGME), указывают на то, что до­биться необходимой степени надежности можно при внедрении ОСКЭ, состоящего из 20 практических испытаний. Исследование, проведенное ACGME, показывает корреляцию от 0,59 до 0,71 между резуль­татами ОСКЭ и предаттестационных экза­менов. Таким образом, при наличии доста­точного количества станций ОСКЭ может считаться надежным инструментом про­верки знаний с достаточно высокой степе­нью надежности.

Преимущества объективного структурированного клинического экзамена

Валидность - степень, в которой содер­жание теста позволяет оценить действи­тельно приобретенные или подлежащие проверке умения.

Как уже отмечалось выше, по сравне­нию с традиционным подходом к клини­ческим экзаменам ОСКЭ обеспечивает более достоверную оценку клинической компетентности. Экзаменаторы могут за­ранее определить, что необходимо прове­рить, и планировать содержание экзамена для проверки определенных знаний, уме­ний и навыков. При этом можно контроли­ровать не только содержание, но и степень сложности экзамена: более простые случаи для студентов младших курсов, более слож­ные для старших. При оценке акцент мо­жет быть смещен с проверки фактических знаний на тестирование широкого спектра умений и навыков, включая сбор анамнеза. Помимо наиболее распространенных ме­тодов клинического обследования можно включить методы исследований, которые применяют узкие специалисты: офтальмо­логи, оториноларингологи.

По мере накопления опыта проведе­ния ОСКЭ, помимо традиционно охваты­ваемых им доменов, таких как коммуни­кационные навыки, клинический осмотр, выполнение медицинских процедур и ин­терпретация данных, в содержание экза­мена все больше включаются оценка про­фессионализма, безопасности пациентов и межпрофессиональных навыков.

Надежность - воспроизводимость результатов тестирования ОСКЭ характеризуется не только боль­шей достоверностью, но и большей надеж­ностью. Результат экзамена мало зависит от конкретного экзаменатора и стандар­тизированного пациента (СП) Использо­вание экзаменаторами чек-листов и тесто­вых заданий закрытого типа (с выбором одного наилучшего ответа) обеспечивает более объективную оценку. Дополнитель­ным преимуществом ОСКЭ является то, что большой набор станций позволяет оценить более широкий спектр навыков учащихся.

Высокую надежность ОСКЭ обуслов­ливают следующие факторы:

- экзаменуемые проходят через набор станций, оценивающих разные аспек­ты клинической компетентности;

- все экзаменуемые получают одинако­вый набор заданий;

- каждого экзаменуемого оценивает мно­жество подготовленных экзаменаторов, наблюдающих за выполнением заданий на различных станциях;

- на станциях, включающих выполне­ние процедур, используются симуляторы с электронным или компьютерным контролем и объективной оценкой в реальном времени;

- в чек-листах, разрабатываемых для каждой станции отдельно, отражено то, что должно оцениваться в рамках экзамена.

Практичность

Еще одним преимуществом ОСКЭ является возможность оценивать боль­шие группы студентов. При этом можно регулировать нагрузку экзаменаторов, оставляя их только на тех станциях, где их присутствие действительно необходи­мо: наблюдение за сбором анамнеза или обследованием пациента. Формирование четких инструкций и чек-листов для оцен­ки на каждой станции в отличие от тра­диционных устных экзаменов позволяет привлекать в качестве экзаменаторов бо­лее широкий круг преподавателей и кли­ницистов. ОСКЭ позволяет заранее определить критерии сдачи экзамена и после его проведения предоставить обратную связь профессорско-преподавательскому составу и студентам.

Гибкость

Гибкость ОСКЭ как метода оценки ста­ла причиной его широкого использования в самых разных дисциплинах и на различ­ных этапах медицинского образования. Соблюдая общие принципы метода, мож­но широко варьировать количество стан­ций и время выполнения задания, а соот­ветственно, продолжительность экзамена, использование тренажеров, симуляторов, СП для оценки различных компетенций, формат заданий и ожидаемых от экзаменуемого ответов, использование экзамена­торов, формат обратной связи и т.д.

Справедливость оценки

Справедливость - характеристика ме­тода оценки, демонстрирующая отсутствие влияния на результат и дискриминации экзаменуемых. Для обеспечения справедливости экзамена необходимо жест­ко следовать установленным правилам и стандартам. Справедливость, выгодно отличающая ОСКЭ от традиционных ме­тодов оценки, обеспечивается следующи­ми факторами:

- в отличие от традиционных методов с вытягиванием билета все экзаменуе­мые выполняют одинаковый набор заданий;

- каждого экзаменуемого оценивают множество экзаменаторов с исполь­зованием заранее согласованных чек-листов и шкал оценки;

- используются симуляторы и тренаже­ры с объективной компьютерной или электронной оценкой правильности выполнения процедур;

- СП отобраны в соответствии с полом, возрастом, данным в задании, и стан­дартно общаются со всеми экзаменуе­мыми;

- содержание экзамена соответствует учебному плану и ожидаемым результа­там обучения, а также профессиональ­ным стандартам.

Недостатки объективного структурированного клинического экзамена

Нельзя не упомянуть о недостатках ОСКЭ, ограничивающих его примени­мость. При использовании ОСКЭ не проверяется способность студента рас­сматривать пациента как нечто целое - различные компетенции студентов те­стируют с помощью отдельных блоков заданий. Поэтому, учитывая, что при оценке клинической компетентности каждый подход имеет свои преимуще­ства, не нужно ограничиваться одним подходом к оценке, необходимо приме­нять и другие методы, позволяющие оце­нить способность студента справляться с клиническим случаем в целом, а для этого можно применять виртуальных па­циентов. При оценке клинической ком­петентности выпускников и ординаторов ОСКЭ можно дополнить оценкой работы в палате по отчетам наставников.

Существенным недостатком ОСКЭ для многих образовательных организаций мо­жет стать большая загруженность органи­заторов и экзаменаторов. Экзаменаторы должны быть готовы к тому, что им предстоит очень внимательно многократно наблюдать одно и то же задание. Можно попытаться снизить нагрузку на экзамена­торов, обеспечив их ротацию по станциям, однако при этом необходимо обеспечить экзаменаторам дополнительный брифинг и время для тщательного ознакомления с новыми станциями.

Если в процессе экзамена участву­ют реальные пациенты, их следует тща­тельно подбирать, а инструкции для эк­заменуемых должны минимизировать неудобства, причиняемые пациентам. При оценке владения определенной ме­тодикой в распоряжении экзаменатора должно быть несколько пациентов, что­бы обеспечить им отдых. При этом не­обходимо обеспечить однородность па­циентов по полу, возрасту, проявления основного заболевания. Использование симуляторов значительно упрощает про­ведение экзамена.

Участие в ОСКЭ может быть стрессом для студентов, не знакомых с методикой его проведения, поэтому важно исполь­зовать этот метод не только для итоговой, но и для текущей оценки. Экзамен нужно проводить в специально подготовленных помещениях, максимально реалистично повторяющих клинические условия.

Для подготовки к ОСКЭ необходимо потратить больше времени, чем для тра­диционного экзамена, однако необходимо отметить, что эти усилия компенсируются не только вышеперечисленными преиму­ществами метода, так как при каждом по­следующем проведении ОСКЭ подготовка занимает меньше времени, а банк готовых блоков объективного экзамена и кон­трольных листов позволяет уменьшить за­трачиваемое время и усилия.

Применение объективного структурированного клинического экзамена ОСКЭ можно использовать практиче­ски во всех ситуациях, в которых требуется оценить уровень клинической компетент­ности.

Этапы медицинского образования ОСКЭ широко применяется на стадии отбора абитуриентов в медицинские вузы, для профессиональной ориентации, а также используется в качестве итогового экза­мена в конце курса обучения или как метод промежуточной оценки.

Отбор абитуриентов. Традиционно, факторами, определяющими отбор абиту­риентов в медицинские вузы, являются их академические достижения по определен­ным дисциплинам, однако, оставляя в сто­роне методы их оценки, этих факторов не­достаточно для отбора студентов, которые могут стать хорошими врачами. Дополни­тельные испытания при приеме абитури­ентов, которые вузы имеют право вводить на собственное усмотрение, могут быть со­средоточены на выявлении таких характе­ристик, как навыки общения, способность к сопереживанию, мотивация к обучению, критическое мышление, поведение в кри­зисных ситуациях. ОСКЭ хорошо под­ходит для оценки таких категорий, и его модификации (Multiple Mini-Interview - MMI) применяются для отбора абитури­ентов в ряде стран. Многолетнее иссле­дование, проведенное в Канаде, показало прямую корреляцию между результатами, продемонстрированными абитуриентами на таком экзамене с их дальнейшими успе­хами при обучении и в национальном лицензионном экзамене. Систематический обзор исследований использования MMI показал его валидность, надежность и при­менимость в качестве метода отбора абиту­риентов.

Додипломное образование (специалитет).

В Университете Данди (Шотландия), где метод был впервые применен, студентам присваиваются степени за клиническую компетентность в конце осеннего, весенне­го и летнего триместров на 3-м и 4-м годах обучения. Данные степени учитываются экзаменаторами при заключительной оцен­ке, проводимой в конце V курса. ОСКЭ также может быть подходящим методом для проведения последипломных экзаме­нов, для которых были описаны проблемы с оценкой клинической компетентности. В Казахстане ОСКЭ применяется в качестве переводного экзамена после III и V курсов - при завершении обучения в бакалавриате как итоговый экзамен, после VII курса - при итоговой аттестации после обучения в 2-лет­ней интернатуре.

В США 101 из 130 аккредитованных ме­дицинских школ используют ОСКЭ в ка­честве итогового экзамена и промежуточ­ных экзаменов после клинических циклов. Вертикальная интеграция дисциплин с ранним включением в программы обу­чения на начальных курсах клинических аспектов позволяет использовать методику уже после первого года обучения.

ОСКЭ используется и для рутинной оценки прогресса студентов в процессе обучения как по отдельным дисциплинам, так и по общей успеваемости.

Обучение в ординатуре. ОСКЭ широко используется как наиболее релевантный инструмент оценки выпускников про­грамм ординатуры (резидентуры). ACGME рекомендует использование ОСКЭ для оценки после каждого года резидентуры, а также для оценки отдельных структурных единиц EPA (Entrusted professional activi­ties - самостоятельная профессиональная деятельность); помимо клинических ком­петенций это навыки, связанные с пере­дачей и безопасностью пациента, а также с телефонными коммуникациями.

Непрерывное медицинское образование. Практика применения ОСКЭ в НМО чаще всего сосредоточенна на оценке программ обучения, а также на выявлении образо­вательных пробелов и потребностей. На­пример, в Великобритании ОСКЭ при­меняется для ревалидации лицензии при подозрении на наличие потенциальных проблем, а также при лицензировании врачей-иностранцев.

Области применения ОСКЭ особенно хорошо подходит для критериально-ориентированных, барьер­ных экзаменов, которые проводятся для принятия решения об успешности завер­шения программы обучения и заключения о достижении студентом критериев, пред­усмотренных программой обучения или стандартами, и его готовности к самостоя­тельной практической деятельности или переходу к следующей части курса. В ряде стран ОСКЭ является частью экзамена для допуска к специальности. Так, в США с 2004 г. ОСКЭ является частью нацио­нального лицензионного экзамена. Этап 2CS (Clinical Skills) включает 12 станций ОСКЭ по 15 мин, ранее разработанных Educational Commission for Foreign Medical Graduates (ECFMG) для оценки иностран­ных выпускников.

C 2016 г. ОСКЭ используется в качестве второго этапа первичной аккредитации в Российской Федерации.

ОСКЭ также широко используется в качестве инструмента формативной оценки для выявления областей знаний, в которых у студента имеются пробелы и в которых ему необходимо приобрести дополнительные навыки. Экзамен может быть составлен таким образом, чтобы от­бирать студентов, обладающих определенными навыками или способностями, например, для выявления учащихся со способностями выше средних, как, на­пример, в экзамене на членство в Коро­левском обществе терапевтов в Велико­британии.

Для лучшего понимания областей при­менения ОСКЭ важно понять связь между компетентностью и способностью к вы­полнению клинической работы. Часто ОСКЭ характеризуют как инструмент для оценки практических умений. Это не со­всем верно, так как умения - это только один аспект клинической деятельности. Любой инструмент оценки способно­сти к клинической деятельности должен содержать задачи разного уровня слож­ности: для обучающихся, выпускников и для профессионалов/экспертов. Клю­чевое различие между ОСКЭ и оценкой на рабочем месте заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй - способности к клинической деятельности, как часто считается. Тем не менее различие между ними очень су­щественно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в зависи­мости от контекста оценки. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оцен­ки выполнения задач в смоделированных условиях.

ОСКЭ следует использовать для оценки определенных знаний и умений, которые невозможно адекватно оценить с приме­нением устного, письменного или ком­пьютерного экзамена. Типичными приме­рами таких умений являются способность экзаменуемого собирать анамнез или вы­полнять медицинские манипуляции. В то же время существует риск того, что при проведении ОСКЭ может произойти вы­деление отдельных практических умений с целью их оценки. Это приводит к сни­жению генерализуемости - способности метода всесторонне оценивать выполне­ние задач экзаменуемым. Крайне важно, чтобы практические умения, необходи­мые для выполнения медицинских про­цедур, тестировались не изолированно, а в сочетании с другими умениями, на­пример, с коммуникативными навыками или с умением составлять план лечения, что позволяет более глобально оценить способность экзаменуемого к самостоя­тельной клинической деятельности.

Применять ОСКЭ избыточно, напри­мер, для оценки способности экзаменуе­мого интерпретировать рентгеновский снимок или распознать повышенный уро­ень мочевины и назвать его возможные причины. Эти когнитивные навыки легко оценить при помощи методов письмен­ной оценки, и они требуют привлечения меньших ресурсов. Планирование стан­ции ОСКЭ для оценки способности эк­заменуемого поставить мочевой катетер приводит к риску изолированного выпол­нения отдельного практического умения, тогда как в реальности экзаменуемым придется одновременно общаться с па­циентом и применять знания о процедуре в процессе ее выполнения.

Воздействие на процесс обучения

Многочисленные исследования по­казывают положительное воздействие ОСКЭ на процесс обучения. Одним из очевидных преимуществ применения данного метода является то, что внимание учащихся сосредоточено на приобретении клинических умений и навыков. Знания учащихся испытывают в условиях, мак­симально приближенных к клиническим, в которых можно наиболее точно оценить их умения и компетенции, необходимые в клинической практике. Как упомина­лось выше, ОСКЭ обеспечивает высокую достоверность и хорошую обратную связь при текущей оценке знаний учащегося. Исследователями было установлено, что участие в ОСКЭ улучшает степень вла­дения компетенцией при прохождении последующих практических испытаний, а также улучшает качество учебного опыта испытуемых.

В то же время ОСКЭ может оказывать потенциально негативное воздействие на процесс обучения, так как он предполага­ет прохождение ограниченного количества практических испытаний, иллюстрирую­щих уровень компетенций в области кли­нической медицины. При этом существует опасность того, что учащийся может под­готовиться к экзамену, сосредоточившись на освоении отдельных навыков к некото­рым категориям, не связывая их с клини­ческой деятельностью.

Участие СП, использование симуляторов и манекенов с объективной оценкой и немедленной обратной связью позволя­ют оценить практические и клинические компетенции в виде текущей (форматив­ной) оценки, выявить пробелы и сосредо­точить внимание учащегося на этих ком­петенциях.

Подготовка и планирование объективного структурированного клинического экзамена

Организационная структура

Для успешного осуществления ОСКЭ требуется многочисленный коллектив спе­циалистов. Как правило, в медицинских вузах существуют подразделения или ответ­ственные лица, контролирующие проце­дуры оценки знаний учащихся. Внедрение ОСКЭ должно осуществляться с помощью этого подразделения. Рациональным под­ходом может стать формирование отдель­ного подразделения, которое будет зани­маться внедрением ОСКЭ в существующие программы оценки. После успешного вне­дрения ОСКЭ это подразделение должно осуществлять непрерывный анализ и обе­спечение качества, используемые и в отно­шении других методик оценки.

В рамках этого подразделения реко­мендуется назначить руководителя группы по проведению ОСКЭ, в обязанности кото­рого будут входить контроль планирова­ния, организации и проведения экзамена и соответствующая отчетность. Этот чело­век должен обладать знаниями экспертно­го уровня или предшествующим опытом проведения ОСКЭ. Если выполнить эти условия невозможно, назначенный ру­ководитель должен пройти обучение, со­бирать необходимую информацию путем анализа литературы, посещения специали­зированных семинаров и обращения за по­мощью к специалистам из других центров.

Проектирование экзамена

Составление проекта - это процесс определения содержания экзамена. В слу­чае ОСКЭ это подразумевает отбор сово­купности компонентов оцениваемых компетенций и частоту, с которой каждый из них должен демонстрироваться в ходе эк­замена. В каждом проекте ОСКЭ должны учитываться контекст экзамена, те знания и умения, которые необходимо оценить в соответствии с учебным планом, и не­обходимость повторения оценки тех или иных областей знаний с помощью различ­ных методов.

Как мы уже отмечали ранее, в первую очередь ОСКЭ подразумевает оценку спо­собности выполнять определенные ма­нипуляции в смоделированных условиях и, таким образом, в основном определяет степень сформированности той или иной клинической компетенции.

Процесс проектирования должен обе­спечить формирование необходимого набора элементов из учебного плана, от­носящихся к овладению предусмотрен­ными образовательным и/или профес­сиональным стандартом компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, про­ект ОСКЭ состоит из двумерной матри­цы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникатив­ные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те пробле­мы или состояния, в отношении которых демонстрируются эти умения. Пример подобного проекта приведен в табл. 1 и, более подробно, в Приложении 2. Про­ектирование может проводиться аттеста­ционной комиссией автономно, однако в случае проведения наиболее важных экзаменов, темы, включаемые в тестовый проект, можно согласовывать с помощью метода экспертной оценки Дельфи или других методик опроса экспертов.

Длительность экзамена (количество станций) Для разработки проекта экзамена предварительно необходимо определить его длительность. Это будет зависеть от числа станций ОСКЭ и продолжитель­ности пребывания экзаменуемого на каждой станции. Как правило, станция ОСКЭ включает одно задание, выпол­нение которого четко ограничено по времени, - на его выполнение канди­датам дается 5-10 мин. Достоверность и валидность зависят от числа станций и общей длительности экзамена. Адек­ватное и реалистичное определение вре­мени, необходимого для выполнения заданий, способствует повышению валидности тестирования. В то же время увеличение объема оцениваемых знаний и умений обычно за счет введения в эк­замен необходимого числа станций спо­собствует повышению достоверности. Доказано, что специфичность заданий является основной причиной недостаточной достоверности; таким образом, для проведения достоверного обобщения профессиональных способностей канди­дата необходимо оценивать клинические компетенции в широком диапазоне.

Число станций, которое необходимо для получения достоверного показателя, отражаемое альфой Кронбаха или ко­эффициентом обобщаемости (G), опре­деляет продолжительность экзамена. Значение коэффициента G в диапазоне от 0,7 до 0,8 отражает приемлемую до­стоверность в случае экзаменов особой важности. Подробное обсуждение этого предмета выходит за рамки данного ру­ководства, заинтересованные читатели могут обратиться к руководствам AMEE № 49, 54 и 66.

В практическом плане при принятии решения о продолжительности теста необ­ходимо учитывать, с одной стороны, коэф­фициенты достоверности, а с другой - про­блемы, связанные с возможностями вопло­щения и наличием необходимых ресурсов. В большинстве случаев при наличии четко построенных станций ОСКЭ достаточной достоверности удается достичь с помо­щью 12-20 станций продолжительностью по 5-10 мин каждая.

Разработка банка станций объективного структурированного клинического экзамена

Прежде чем к банку заданий будут добавлены новые станции, они должны пройти процесс независимой оценки и пилотного включения. По возможно­сти следует использовать психометриче­ские данные на каждом отдельном этапе, включая оценку возможности дифференцировки экзаменуемых. Представленная схема содержит описание одного из подхо­дов к формированию совокупности этапов ОСКЭ, обеспечивающих оценку выполне­ния расписания (см. рисунок). Эту схему можно использовать в качестве пошагово­го руководства или адаптировать ее к ин­дивидуальным требованиям. Кроме того, используя эту схему, можно обновить су­ществующий набор станций или оценить их качество путем выполнения определен­ных шагов алгоритма.

Выбор тем для новых станций

В тех организациях, где ОСКЭ предсто­ит использовать впервые, проект экзамена, в основе которого лежат результаты, пред­полагаемые учебным планом, может стать приемлемой стартовой точкой, опреде­ляющей задания, входящие в состав новых станций ОСКЭ. В тех случаях, когда по­следовательность станций ОСКЭ уже за­дана, руководитель группы по проведению ОСКЭ или эксперты в соответствующих учебных дисциплинах, могут проанализи­ровать ее и определить недостатки в воз­можностях оценки тех или иных умений или разделов знаний.

Необходимость добавления новых станций может возникнуть и при внесе­нии изменений в учебный план или кор­рекции задач обучения в рамках отдель­ных модулей или дисциплин. Оценку знаний и умений при этом необходимо сопоставлять с объемом обучения по вы­бранным темам в соответствии с учеб­ным расписанием. При аккредитации специалистов содержание экзамена це­лесообразно определять единообразно на всей территории страны с утверждением требований к экзамену на федеральном уровне.

После того как определена область оце­ниваемых знаний, важно удостоверить­ся в том, что в формате ОСКЭ в течение ограниченного времени, отведенного на каждую станцию, можно реально оценить компетенции, которыми, как предполага­ется, должны владеть экзаменуемые.

Выбор авторов для станции

Руководитель группы по проведению ОСКЭ отвечает за отбор сотрудников, ко­торые будут планировать и составлять стан­ции ОСКЭ. Если уже имеется группа опыт­ных экзаменаторов, очевидным решением будет поиск добровольцев для составления вопросов в этой группе. В других случаях при составлении вопросов в качестве кон­сультантов могут быть приглашены экспер­ты по тем или иным учебным дисциплинам. Для того чтобы специалист, занимающийся составлением тестовых материалов, мог вы­полнить эту работу надлежащим образом, важно, чтобы он был ознакомлен с фун­даментальными принципами ОСКЭ. Для специалистов, впервые сталкивающихся с такой задачей, должны быть проведены краткие ознакомительные семинары или разработаны письменные инструкции.

Выбор типа станции

Руководитель группы по проведению ОСКЭ или лицо, координирующее состав­ление вопросов, должен проконсультиро­вать составителей вопросов о том, какие именно требуются вопросы. Понимание различных форматов вопросов ОСКЭ крайне важно при выборе необходимых типов станций, позволяющих оценить те или иные результаты обучения (табл. 2).

Выбор шаблона для станции объективного структурированного клинического экзамена

После того как выбран тип станции, не­обходимо разработать подходящий шаблон для составления задания или использовать уже имеющийся шаблон. Шаблон помога­ет авторам разрабатывать задания, имею­щие общий формат, который соответствует формату других заданий банка. Подобная стандартизация позволяет избежать ситуа­ции, при которой кандидаты оказывают­ся в невыгодном положении за счет того, что задания предлагаются в непривычном формате, и помогает сохранить объектив­ность оценок.

Руководство для экзаменатора

Содержание руководства для экзаме­натора по оценке для каждой станции бу­дет зависеть от раздела оценки, избранной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если имеется список контрольных вопросов (чек-лист) или оценочная шкала, составителю следует дополнять их по мере составления вопросов. Если предполагает­ся использовать единую оценочную шкалу, формировать критерии оценки для инди­видуальных этапов не нужно.

Собрание экзаменаторов

Проведение собраний с экзаменатора­ми - один из методов обеспечения каче­ства новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это дает возможность всем участникам изучить задания, составленные другими участ­никами. Благодаря присутствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции.

Помимо того, что процесс независи­мой оценки позволяет проанализировать клиническую точность и адекватность за­дач, предлагаемых на том или ином этапе экзамена, он помогает выявить проблемы, связанные с валидностью и генерализуемостью экзамена.

Пилотное выполнение

После независимого анализа на собра­нии экзаменаторов необходимо провести пилотное выполнение станции, которое помогает выявить проблемы, связанные с ее практическим осуществлением и рас­пределением времени на выполнение тех или иных этапов задания. При необходи­мости при пилотировании можно внести изменения в станции для повышения ка­чества оценки этих этапов. На этой стадии можно провести первичный психометри­ческий анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее сле­дует перепланировать и вновь провести пробное выполнение.

Часто пилотирование проводят в рам­ках пробного или этапного экзамена, в ре­зультате чего дополнительными преиму­ществами могут стать ориентирование экзаменуемых и непосредственное предо­ставление им информации об их профес­сиональных возможностях.

Если те или иные станции пилотиру­ются в рамках экзаменов высокой степени значимости, важно поставить экзаменуемых в известность о включении пилотной станции в экзамен и о том, что результа­ты этой станции не повлияют на общую экзаменационную оценку. В связи с не­обходимостью получения валидных и до­стоверных данных о результатах пилотных станций экзамена, включенных в реаль­ный экзамен, сведения о том, какие имен­но станции пилотируются, обычно не раз­глашают.

Психометрический анализ

При разработке новых станций, если в рамках пробного ОСКЭ используется полный набор новых заданий, психометри­ческий анализ продемонстрирует общую достоверность набора вопросов. Использо­вание G-теории позволит определить число сходных станций, необходимых для обе­спечения достаточной надежности тестиро­вания путем проведения исследований или исследования принятия решений на осно­вании имеющихся данных. Для получения данных об источниках вариабельности или ошибок рекомендуется применять Item Response Theory (IRT). Эта теория может использоваться в том случае, если одна или несколько станций пилотируются в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данного руководства, но достаточно подроб­но разбирается в руководстве AMEE № 49; G-теория подробно рассматривается в ру­ководстве AMEE № 68.

Выбор типа оценки

При разработке банка станций для ОСКЭ необходимо определить применяе­мый тип оценки, соответствующий ожиданиям, связанным с выполнением задания. Выделяют 2 основных типа оценки: анали­тические и холистические.

Аналитический метод балльной оценки

Список контрольных вопросов, или чек-лист, - это список утверждений, описываю­щих действия, выполнения которых ожида­ют от экзаменуемых на определенном этапе. Этот список готовят заранее, на основании консультации с группой, занимающейся разработкой станций ОСКЭ, и в соответ­ствии с оцениваемыми компетенциями.

Чек-листы могут быть бинарными ("да/ нет", "выполняется/не выполняется"), при этом оценка кандидатам выставляется в зависимости от того, выполнено или не выполнено задание, без уточнения каче­ства его выполнения. Такие чек-листы не всегда позволяют определить низкий или высокий уровень выполнения задания.

В некоторых случаях чек-листы могут включать 5-7-балльные оценочные шка­лы, что позволяет экзаменаторам выставлять оценки кандидатам в зависимости от качества выполнения ими заданных дей­ствий. Эти чек-листы с оценочными шка­лами отличаются от глобальной (холисти­ческой) оценки, описываемой ниже.

Традиционно основным преимуще­ством бинарных чек-листов считается их потенциальная способность давать объ­ективную оценку и обеспечивать боль­шую степень согласия между различ­ными экзаменаторами. Первоначально такие контрольные списки использовались Р. Харденом. Тем не менее накапливаются доказательства, ставящие под сомнение эту точку зрения и показывающие, что объек­тивность не всегда обеспечивает более вы­сокую достоверность оценки результатов экзамена. Это особенно актуально в том случае, когда в проведении ОСКЭ участву­ют экзаменаторы, являющиеся экспертами в той или иной дисциплине.

Примеры бинарных чек-листов и оце­ночных шкал (которые можно рассматри­вать как мини-глобальные оценки, посколь­ку в этом случае оценивается один элемент всей специальности) показаны в табл. 3.

Холистическая оценка (глобальная оценочная шкала) В отличие от контрольных списков, характеризующихся специфичностью для конкретного задания, глобальные оце­ночные шкалы позволяют экзаменатору оценить весь процесс в целом. При оцен­ке специалиста высокого класса, который, возможно, не следует заранее определен­ной последовательности шагов, указанной в проверочном листе, но все же выпол­няет задание в соответствии с высшими стандартами с легкостью и быстротой, мы сталкиваемся с тем, что навыки кандидата может отразить только общая (глобальная) оценка процесса выполнения задания.

Глобальные шкалы позволяют экза­менатору определить не только факт вы­полнения действия, но и то, как хорошо оно было выполнено. Таким образом, этот метод позволяет лучше оценивать навыки, для которых качество выполнения столь же важно, как и сам факт их выполнения.

Примером может стать оценка способ­ности кандидатов сопереживать пациентам на этапах демонстрации коммуникативных навыков. Следовательно, холистические шкалы более полезны при оценке таких сфер, как суждение, сопереживание, орга­низация знаний и технические навыки.

Глобальные шкалы отличаются от описанных выше оценочных шкал в кон­трольных списках вследствие того, что ис­пользование глобальных шкал позволяет получить более целостное представление о выполнении задания на станции.

Формирование коллектива экзаменаторов

Участие в экзамене квалифицирован­ных экзаменаторов играет решающую роль в обеспечении достоверности оценок. Обучение и повышение квалификации экзаменаторов - это непрерывный процесс, в ходе которого к коллективу добавляются новые экзаменаторы, а имеющиеся полу­чают новые знания.

Отбор потенциальных экзаменаторов

Достоверность оценок, выставляемых экзаменаторами, зависит не только от по­следовательной системы осуществляемой ими проверки знаний, но и от клиниче­ского опыта экзаменаторов, оценивающих экзаменуемых на тех или иных станциях ОСКЭ. Как правило, врачи оценивают компетенции будущих врачей, а меди­цинские сестры - будущих медицинских сестер, однако владение связанными со станциями профессиональными навыка­ми может обусловливать дополнительную гибкость и снижать временные издержки.

Иногда для снижения затрат времени на поиск необходимого количества врачей, которые могли бы выступить в качестве эк­заменаторов, к приему медицинских экза­менов привлекаются лица, не являющиеся врачами. Имеются литературные данные, свидетельствующие о том, что оценки, вы­ставляемые симулированными пациента­ми, хорошо коррелируют с оценками вра­чей. Тем не менее в одном из исследований авторы указывают, что совпадение оценок врачей и лиц, не являющихся врачами, на­блюдается при выставлении оценок с ис­пользованием контрольных списков, но не подтверждается при использовании гло­бальных оценок.

Независимо от того, являются ли экза­менаторы специалистами в определенной области медицины, подготовка всех экза­менаторов позволяет уменьшить вариабельность оценок экзаменаторов и увели­чить согласованность их поведения, что может способствовать повышению досто­верности экзаменационных оценок.

Для проведения ОСКЭ в качестве ито­гового экзамена для обеспечения объек­тивности важно привлекать экзаменато­ров, не знакомых с экзаменуемыми и не принимавших участия в их обучении. При проведении переводных экзаменов в каче­стве экзаменаторов можно привлечь пре­подавателей старших курсов, при итоговой аттестации необходимо привлекать внеш­них экзаменаторов. Они могут быть при­глашены из различных учреждений, могут проконтролировать соблюдение стандар­тов в сравнении с другими учреждениями, а также подтвердить, что процесс оцен­ки достижений студента носит строгий и справедливый характер и осуществляет­ся в соответствии с утвержденными прика­зами и правилами.

Помимо работников образователь­ных или научных организаций к прове­дению итоговых экзаменов желательно, а в случае с аккредитацией специалистов обязательно привлечение специали­стов из практического здравоохранения. Большинство потенциальных врачей-экзаменаторов работают в местных лечебно-профилактических учреждениях; важно выявлять и обращаться к тем из них, кто проявляет особый интерес к медицин­скому образованию.

Как правило, экзаменаторы не полу­чают дополнительного финансового воз­награждения, а также у них возникают трудности, связанные с их отсутствием на основном месте работы во время проведе­ния экзаменов, поэтому их участие в про­ведении экзаменов следует рассматривать как часть их образовательной активности в рамках НМО и профессиональной под­готовки с зачислением соответствующего количества часов.

Семинары для обучения экзаменаторов

Семинары для обучения и повышения квалификации экзаменаторов должны проводиться задолго до начала экзаменов. Уровень подготовки зависит от исходной ситуации и возможностей экзаменаторов. Как и в случае других видов обучения, ре­зультаты семинаров по повышению квали­фикации экзаменаторов должны быть до­статочно разносторонними.

Эти семинары могут быть организова­ны в форме мастер-классов: как правило, они включают вводную лекцию, группо­вое обсуждение и практическую часть, в ходе которой экзаменаторам дается воз­можность выставить оценки за пробный ОСКЭ или просмотреть видеозапись ре­ального ОСКЭ с выставлением оценок. Разработаны средства онлайн-обучения для экзаменаторов, включающие видео­записи правильного и некорректного по­ведения экзаменатора при проведении ОСКЭ.

Цели обучения и ожидаемые результаты обучения экзаменаторов:

- Понимать сферу применения и прин­ципы экзамена ОСКЭ.

- В ходе экзамена демонстрировать последовательное профессиональное поведение.

- Понимать и использовать оценочные рубрики для обеспечения стандартиза­ции оценки.

- Дать письменное заключение о про­фессиональной пригодности, если это требуется, при итоговых экзаменах.

- Дать устное заключение по окончании станции экзамена при промежуточных экзаменах.

- Обеспечить конфиденциальность экза­менационных ведомостей кандидатов.

Несмотря на то что многие экзаме­наторы регулярно участвуют в экзаменах и поддерживают свои умения, необходимо обновлять их знания. Кроме того, потребность в дополнительном обучении экза­менаторов может возникнуть в результате изменения формата экзамена или правил выставления оценок, а также при измене­нии требований регулирующих органов. Такое обновление знаний может осущест­вляться либо с помощью онлайн-ресурсов, либо в рамках отдельных семинаров.

Формирование цепочки и подбор оборудования для объективного структурированного клинического экзамена

Цепочка объективного структурирован­ного клинического экзамена

Цепочка - это термин, используемый для описания комплекса станций, обеспечиваю­щих безостановочный поток кандидатов во время экзамена. Каждый экзаменуемый на протяжении экзамена должен посетить все пункты цепочки. Количество экзаменуемых в каждой группе должно быть равно числу экзаменационных пунктов, если только не используется система перевалочных стан­ций. Каждому кандидату назначается на­чальная станция, и затем он переходит от станции к станции по направлению цепочки до тех пор, пока все станции не будут пройде­ны. За построение этой цепочки несет ответ­ственность группа по проведению по ОСКЭ.

Цепочка с перевалочными станциями

Добавление перевалочных станций по­зволяет экзаменуемым и экзаменаторам сделать перерыв, при этом в случае необходимости к группе можно добавить еще одного экзаменуемого. Следует позабо­титься о том, чтобы эта станция была аку­стически изолирована, т.е. чтобы кандидат, находящийся на этой станции, не мог услы­шать, что говорят на других станциях. Это помещение необходимо четко пометить и сообщить кандидатам о нем до начала эк­замена (еще лучше обеспечить для студен­тов практические семинары для ознакомле­ния с экзаменационной цепочкой). Важно помнить, что цепочка не может начинаться с комнаты отдыха или заканчиваться ею, так как если перевалочные станции нахо­дятся в начале или в конце цепочки, канди­дат может пропустить одну или несколько станций.

Формирование отдельных станций

При формировании отдельных станций следует позаботиться о назначении поме­щений, оборудования и персонала, под­ходящих для выполнения тех или иных за­даний. Например, станция, не требующая участия экзаменатора, на которой канди­дату представляются результаты инстру­ментального исследования и несколько письменных вопросов, потребует только уголка, в котором поместятся стул и стол, тогда как база для оценки выполнения первой помощи потребует достаточного пространства для размещения манекена, дефибриллятора и рабочего места экзаме­натора.

На каждой станции необходимо обе­спечить надлежащие приспособления для осуществления всех процедур, предусмо­тренных заданием, например регулируемое освещением при осмотре глазного дна или тихая зона для аускультации грудной клетки.

Помещения для проведения объективного структурированного клинического экзамена

Для обеспечения средовой реалистич­ности помещения, выделенные для стан­ций ОСКЭ, должны быть оформлены и оснащены с максимальным сходством с реальными условиями в клинике. Часть оборудования, характерная для соответ­ствующих клинических помещений, но не применяемая в рамках заданий на данной станции может имитироваться при помо­щи макетов или фотообоев.

В зависимости от выбранного для станции задания можно создать имита­ционный родильный блок, палаты пе­диатрического профиля или интенсивной терапии, процедурный кабинет, смотро­вую или операционную. Во всех случаях при оснащении этих помещений следует руководствоваться требованиями к осна­щению подобных помещений в клини­ке. В помещениях должна быть обеспе­чена техническая возможность записи видеоизображения и аудиосигнала. Для обеспечения прямого наблюдения и дис­танционного управления тренажерами имитационные классы желательно соеди­нять с кабинетами наблюдения при по­мощи окон с односторонними зеркальны­ми стеклами в смежной стене. При этом должна быть предусмотрена возмож­ность двусторонней трансляции звука из помещения в операторскую, и наоборот. В качестве имитационных кабинетов ре­комендуется использовать помещения площадью не менее 8 м2.

Необходимо обеспечить звукоизоля­цию помещений, используемых для ОСКЭ. В кабинетах, где предполагается проведе­ние процедур с использованием жидкостей (имитация кровотечений, очистительные клизмы, катетеризация мочевого пузыря, промывание желудка, инъекции), реко­мендуется обеспечить влагостойкое на­польное покрытие.

В помещениях необходимо обеспечить электроснабжение, для некоторых видов симуляционного и медицинского обо­рудования может понадобиться подводка сжатого воздуха.

Симуляционное оборудование

Оборудование, необходимое для каж­дой станции ОСКЭ, должно быть вклю­чено в документацию на этапе описания каждой станции. Все оборудование должно быть доставлено заблаговременно, задолго до проведения ОСКЭ, и приведено в ра­бочее состояние. В наличии всегда долж­ны быть запасное оборудование, сменные части, расходные материалы и батареи на случай поломки или отказа основного обо­рудования.

Следует принять решение об исполь­зовании студентами во время экзамена собственных инструментов и оборудова­ния. Если предполагается, что студенты должны иметь собственные стетоскопы, им нужно об этом сообщить заранее.

Если требуется более сложное обору­дование, например высокореалистичные симуляторы пациента, в наличии должен быть технический персонал, способный программировать и управлять этим обо­рудованием, поскольку большинство эк­заменаторов не знакомы с такими устрой­ствами.

Пример оснащения центра для прове­дения первичной аккредитации симуляционным и вспомогательным оборудованием приведен в Приложении 3.

Проведение экзамена

Подготовка

После принятия решения о дате прове­дения экзамена, а также согласования его содержания и оценок должны быть выпол­нены следующие задачи:

1. Назначение координатора экзамена. Данное лицо будет отвечать за все аспекты организации экзамена.

2. Необходимо собрать всех экзамена­торов и вспомогательный персонал для об­суждения организации экзамена. Должна быть согласована роль каждого экзамена­тора. Если по какой-либо причине экза­менатор не может присутствовать на таком собрании, материалы должны быть пере­даны ему в печатном виде, и любые возни­кающие вопросы должны быть выяснены до начала экзамена.

3. Должен быть назначен, по меньшей мере, один запасной экзаменатор, способ­ный занять место экзаменатора, который не может присутствовать в день экзамена в нужное время.

4. Необходимо назначить лицо, ответ­ственное за соблюдение графика проведе­ния экзамена. Эту функцию может выпол­нять лаборант или секретарь. Сигналом для смены станций может служить звонок или зуммер. Он должен быть отчетливо слышен, и в то же время не быть слишком громким.

5. Должен быть назначен сотрудник, который проведет инструктаж студентов в день экзамена.

6. Должны быть назначены сотрудни­ки, выполняющие во время экзамена роли администратора, следящего за временем, и проводников.

7. На данной стадии следует проинфор­мировать секретаря комиссии, чтобы дать ему возможность запланировать время, не­обходимое для подготовки:

а) контрольных материалов;

б) инструкций для экзаменаторов и кан­дидатов;

в) списка студентов, сдающих экзамен;

г) списка всех станций с указанием по­мещений;

д) списков экзаменаторов и оборудова­ния с распределением по станциям;

е) плана расположения станций.

8. Вахтеры или дежурные на входе в зда­ние, где проводится экзамен, должны быть проинформированы о том, какие помеще­ния используются для экзамена, чтобы не допустить путаницы при поиске нужных помещений экзаменуемыми и внешними экзаменаторами.

9. В случае проведения экзамена на территории медицинской организации медицинский персонал должен быть про­информирован об ограничении перемеще­ний, а пациенты и их родственники долж­ны быть проинформированы о том, что в течение экзамена посещение пациентов будет запрещено.

10. При участии в экзамене пациентов, последние должны отбираться заранее, по меньшей мере за 1 нед до экзамена, чтобы обеспечить время для обследования каж­дого из них экзаменатором соответствую­щей станции и организатором экзамена, а также для составления необходимой до­кументации и вопросов.

11. Пациенты, участвующие в экзамене, должны быть проинформированы о том, что от них ожидают и должны заполнить форму информированного согласия на участие в экзамене.

12. Симуляторы, используемые в экза­мене, должны быть проверены на предмет достоверности воспроизведения симпто­мов и возможности объективного контроля выполнения задания для данной станции экзаменатором соответствующей станции и организатором экзамена.

13. На станциях, включающих обсле­дование студентами пациента, при тести­ровании больших групп студентов должно присутствовать не менее 3 схожих по воз­расту, полу и проявлениям основного забо­левания пациентов.

14. Рекомендуется запланировать за­пасную станцию на случай невозможно­сти использования одной из запланиро­ванных.

15. Если пациенты, принимающие уча­стие в экзамене, являются амбулаторны­ми, следует принять меры по их доставке в больницу и из больницы в день экзамена. Пациенты должны прибыть в палату не ме­нее чем за 30 мин до начала экзамена.

16. Студенты должны быть заблаговре­менно проинструктированы о типе экза­мена.

17. Студенты должны быть проинфор­мированы о том, какие инструменты им потребуются во время экзамена, например стетоскоп, неврологический молоточек, мерная лента. Должны быть согласованы меры на случай отсутствия у студента не­обходимого оборудования: будет ли оно предоставляться? будет ли студент допу­щен к экзамену?

18. Методика фиксации и подсчета баллов, которая будет применяться на эк­замене, должна быть спланирована пред­варительно. Если для этой цели планиру­ется использовать программные средства, необходимо их тщательно проверить во время пробного экзамена.

19. Нужно проверить наличие всех ин­струментов, необходимых для проведения экзамена (например, камертона для иссле­дования слуха).

20. Должны быть сделаны все надле­жащие приготовления, чтобы обеспечить работу систем видеонаблюдения и аудио-контроля.

21. Необходимо предусмотреть нали­чие освежающих напитков для экзамена­торов, пациентов и, по необходимости, студентов.

В день перед экзаменом

1. Станции должны быть четко обозна­чены перед экзаменом - это принципиаль­но важно. Необходимо проверить, может ли лицо, не участвующее в планировании, найти дорогу от одной станции к следу­ющей.

2. Необходимо проверить наличие обору­дования, требующегося для проведения экза­мена. Данное оборудование может включать медицинские инструменты, симуляционное оборудование, расходные материалы, имита­торы лекарственных средств, а также устрой­ство для сигнализации о необходимости пе­рехода на следующую станцию.

3. Необходимо проверить системы ви­деонаблюдения и аудиоконтроля, убедить­ся в возможности бесперебойной записи экзамена, наличии достаточного объема свободного места на устройствах хранения данных для записи всего экзамена.

4. Учитывая невозможность оставления экзаменатором рабочего места в течение длительного времени, желательно обеспе­чить наличие освежающих напитков.

5. Экзаменаторы должны пройти за­ключительный инструктаж по экзамену в целом и их конкретной роли в нем. Каж­дому экзаменатору должно быть предо­ставлено:

а) напоминание о времени и месте проведения экзамена (экзамен не может быть начат, пока не соберутся все экзаме­наторы);

б) список станций экзамена с обозначе­нием их станции;

в) план расположения станций;

г) инструкция для экзаменатора на станции;

д) чек-лист для их станции.

6. Для экзаменуемых должны быть под­готовлены следующие документы:

а) набор общих инструкций (пример представлен в Приложении 1);

б) план расположения станций;

в) карточки с маршрутом;

г) бейджи с крупно нанесенными по­следовательными номерами по числу сту­дентов;

д) при наличии компьютеризирован­ной системы контроля доступа - бескон­тактные идентификационные карты.

В день экзамена

Собрания в день экзамена

Перед началом экзамена необходимо провести несколько собраний для брифин­га участников для обсуждения следующих вопросов:

Собрание экзаменуемых:

- инструктаж;

- описание цепочки с указанием стар­тового пункта, перевалочных станций (при наличии);

- напоминание о правилах и нормах поведения;

- карантинные процедуры;

- правила противопожарной безопас­ности.

Собрание экзаменаторов:

- цель экзамена (этапный или итоговый);

- проверка соответствия экзаменуемых списку в начале экзамена;

- ознакомление с чек-листами и прави­лами заполнения экзаменационных ведомостей;

- важность поддержания конфиденци­альности станций и оценок;

- недопустимость сообщения экзаменуе­мым информации сверх того, что допу­скается сценарием;

- необходимость одинакового отноше­ния ко всем экзаменуемым;

- процедуры сообщения о проблемах;

- заполнение документов после оконча­ния экзамена;

- правила противопожарной безопас­ности.

Собрание стандартизированных паци­ентов:

- важность стандартизации поведения;

- роль СП в обеспечении обратной связи;

- помещения для отдыха, время переры­вов и приема пищи;

- правила противопожарной безопас­ности.

Проведение экзамена

1. Организатор экзамена должен при­быть не менее чем за 1 ч до запланирован­ного начала экзамена.

2. Он должен проверить расположение и нумерацию станций и провести послед­нюю проверку оборудования и стандарти­зированных или реальных пациентов.

3. Оборудование, предназначенное для экзамена, должно быть распределено по станциям, где оно будет использоваться.

4. Оборудование для видеонаблюдения и аудиоконтроля должно быть включено и подготовлено к началу записи.

5. Экзаменуемые должны пройти ин­структаж в отдельном помещении и иметь возможность поставить вопросы. Пример "Инструкций для студентов" представлен в Приложении 1.

6. Организатор должен убедиться в том, что все экзаменаторы прибыли и заняли соответствующие станции. При необхо­димости нужно заменить отсутствующего экзаменатора запасным.

7. После того как все подготовлено к эк­замену, начинают регистрацию экзаменуе­мых с выдачей им бейджей со случайными номерами, регистрируемыми администра­тором экзамена в списке студентов вруч­ную или с помощью компьютера карточек с индивидуальным маршрутом.

8. По сигналу экзаменуемые должны занять исходную станцию, которая была им назначена. После того как все студенты и экзаменаторы займут свои места, по сиг­налу (обычно в виде звонка, зуммера или голосовой команды), который должен быть отчетливо слышен, начинается экзамен.

9. Лицо, следящее за временем, должно звонить в звонок с интервалом, заданным при проектировании экзамена для перехо­да на следующую станцию и начала озна­комления с заданием, а затем через 1 мин для входа на станцию.

10. Если в тот же день экзамен должна пройти вторая группа экзаменуемых, не­обходимо проверить, что они находятся в зоне для инструктажа до завершения пер­вой части экзамена, и отделены от своих коллег, прошедших первую часть экзамена. При невозможности одновременного сбо­ра экзаменуемых необходимо обеспечить "карантин" для завершивших экзамен, чтобы ограничить их общение с вновь при­бывающими претендентами.

11. Следует убедиться в том, что в кон­це экзамена у всех экзаменаторов были собраны контрольные листы с отметками. Данные материалы передаются секретарю комиссии.

12. После завершения экзамена, прово­димого в медицинской организации, необ­ходимо проинформировать об этом меди­цинский персонал и пациентов.

Решение проблем

В день экзамена могут возникнуть раз­личные проблемы. Некоторые распростра­ненные проблемы при проведении ОСКЭ и их возможные решения описаны ниже (здесь не разбираются проблемы, возника­ющие при проведении централизованной первичной аккредитации, не связанные непосредственно с процедурой ОСКЭ).

- Поломки оборудования

Всегда под рукой следует иметь запас­ное оборудование. Если экзаменуемые теряют время на ожидание запасного оборудования, можно перенести стан­цию экзамена на конец цепочки.

- Непредсказуемое поведение студентов

Экзаменуемые в условиях экзаме­национного стресса часто ведут себя непредсказуемо, в частности они могут потеряться в месте проведения экза­мена или на этапах цепочки ОСКЭ. Заранее назначенные проводники должны помогать экзаменуемым пере­двигаться в правильном направлении между станциями. Экзаменаторам ино­гда необходимо поторопить студента, чтобы он своевременно перешел на следующую станцию, если он пропу­стил звонок или голосовую команду.

- Экзаменуемые уносят инструкции или оборудование из экзаменационных поме­щений

- Инструкции должны быть надежно закреплены на стене, столе или под­ставке или отображаться на мони­торах перед входом на станцию. Экзаменаторы и вспомогательный пер­сонал должны внимательно следить, чтобы экзаменуемые не забрали из экзаменационного помещения обору­дование.

- Экзаменатор уносит экзаменационные ведомости или информацию об экзамена­ционной станции. В результате инфор­мация о содержании экзамена может быть разглашена и не может исполь­зоваться для следующих групп экзаме­нующихся.

- Экзаменаторы должны быть преду­преждены о том, что все документы должны оставаться в месте проведе­ния экзамена. Вспомогательный пер­сонал собирает все документы прежде, чем экзаменаторы покинут экзамена­ционные помещения, для того чтобы снизить вероятность такого происше­ствия.

- Различные характеристики СП, влияю­щие на стандартизацию станции экза­мена

В редких случаях СП могут вести себя по-разному с различными сту­дентами или предоставлять ненуж­ную информацию. Тщательный отбор и тренировочные процедуры должны свести к минимуму эту проблему.

После экзамена

1. Необходимо обеспечить подсчет ре­зультатов экзамена или заполнение ком­пьютерных форм и выставление оценок в ведомости в соответствии с исходным планом.

2. Студентам в кратчайшие сроки сле­дует предоставить обратную связь. Это мо­жет быть сделано путем раздачи некоторым студентам контрольных листов с коммен­тариями экзаменаторов или обсуждения экзамена со студентами, особенно с теми, кто получил плохие результаты.

3. Необходимо фиксировать и доку­ментировать любые возможные проблемы, возникшие при организации экзамена, чтобы не допустить их в будущем.

4. Фиксируйте любые предложения, которые могут быть полезны при органи­зации следующего экзамена.

5. Кураторы и экзаменаторы должны обсудить успешность студентов для вы­явления очевидных пробелов в знаниях и умениях и принятия надлежащих мер по их устранению.

Обеспечение успеха объективного структурированного клинического экзамена

Для успешного использования ОСКЭ необходимы тщательная подготовка и жесткое соблюдение правил проведе­ния экзамена. Можно выделить несколько факторов, критически влияющих на на­дежность и валидность ОСКЭ.

Количество станций. Использование большой выборки клинических случа­ев в экзамене существенно повышает его надежность, при этом важное значение для обеспечения надежной оценки общей компетентности экзаменуемых имеет пра­вильное определение продолжительности отдельных станций.

Стандартизированные шкалы оценки. Важно заранее разработать и утвердить шкалы оценки, обеспечивающие оценку экзаменаторами разных экзаменуемых по одним и тем же критериям, что уменьшает разброс оценок между разными экзамена­торами и экзаменуемыми.

Привлечение обученных экзаменаторов. Подготовка экзаменаторов снижает раз­брос оценок между разными экзаменато­рами и повышает единообразие поведе­ния экзаменаторов, а значит, надежность оценки. Кроме того, возможность ротации экзаменаторов по станциям может умень­шить системную погрешность, связанную с экзаменаторами.

Использование помещений и оборудо­вания. Для каждой станции необходимо отдельное помещение или отделение с ис­пользование мобильных перегородок. Важ­но обеспечить видеонаблюдение и аудио­запись. На станциях, включающих выпол­нение процедур, должны использоваться симуляторы с электронным контролем и объективной оценкой в реальном вре­мени. Применение систем менеджмента симуляционного центра повышает надеж­ность и существенно снижает трудоем­кость подготовки и проведения экзамена.

Стандартизованное поведение пациен­тов. Плохо стандартизованные пациенты, поведение которых может варьироваться разными экзаменуемыми, могут суще­ственно снижать надежность экзамена.

Плохая организация ОСКЭ может при­вести к тому, что экзаменуемые будут учить­ся проходить экзамен, а не улучшать свое реальное выполнение клинических задач. В то же время важно не допустить пере­грузки экзаменуемых оценкой, пытаясь оценить слишком много компонентов вы­полнения задач на одной экзаменационной станции. Примером такой перегрузки явля­ется задание экзаменуемому на одной стан­ции собрать анамнез, обследовать пациента с кровохарканьем, интерпретировать рент­геновский снимок и пояснить возможный диагноз. Хотя это может отражать реальную клиническую ситуацию за счет помещения оцениваемых умений в определенный кон­текст, маловероятно, что можно адекватно оценить все эти умения на одной станции, учитывая ограниченное время ее прохож­дения.

В заключение необходимо отметить, что ОСКЭ - это инструмент, и результаты его использования в первую очередь зави­сят от усилий и квалификации организато­ров. Как и любые достижения, все преиму­щества оценки с использованием ОСКЭ достигаются ценой значительных усилий.



Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»