Важность оценки знаний и определения ценности в медицинском образовании (пер с англ. под ред. З.З. Балкизова)

Резюме Предыдущая статья была посвящена образовательному процессу как основе "хорошего" медицинского образования, методам обучения и преподавания и связи между базовым, постдипломным и непрерывным профессиональным развитием. Все эти этапы можно было бы охарактеризовать прежде всего как линейные процессы, начинающиеся с определенной преподавательской и учебной деятельности и часто заканчивающиеся итоговой аттестацией, которая, хочется надеяться, является надежным способом проверки того, как много мы запомнили и можем применять на практике. Оценка знаний обычно является частью учебной программы. Цель этой статьи - не только дать читателю представление о значении терминов, касающихся оценки знаний, но и показать, что процессы оценивания выражаются в мероприятиях, которые носят цикличный и динамичный характер. Их можно использовать для повышения эффективности обучающей модели и даже собственных способностей.

Экзамены, сэр, - это чистейшая чепуха, от начала до конца. Если ты джентльмен, так тебя учить нечему, тебе достаточно того, что ты знаешь. А если ты не джентльмен, то знания тебе только во вред.

Оскар Уайльд, "Портрет Дориана Грея"


Определение терминов

Медицинское образование похоже на другие отрасли здравоохранения тем, что насыщено терминологией, которую представители этой сферы часто используют в разных смыслах, не до конца понимая их значение. Как и в здравоохранении, где ясность понимания является залогом высокого качества медицинской помощи, твердое знание терминологии совершенно необходимо в медицинском образовании. Несмотря на многолетние споры, традиционно считается, что оценка и определение ценности остаются недостаточно понятными вопросами и часто не имеют точного определения. С точки зрения философии спор заключается в том, должна ли это быть оценка обучения, т.е. проверка его результатов, или оценка ради обучения, т.е. та, которая влияет на улучшение учебной программы. Подобный спор затрагивает и определение ценности. Либо она является просто оценкой, но называется другими словами, либо ее применение позволяет определить реальное значение любой образовательной деятельности.

Оценка, происходит от латинского глагола "assidere", обозначающего "сидеть рядом" (таким образом, при оценке обучения мы "сидим рядом с учеником", и это подразумевает, что оценка - это то, что мы делаем вместе с нашими учениками, а не по отношению к ним). Оценка обычно используется для описания результата систематического сбора информации о том, что ученик знает и умеет. Оценка часто ассоциируется с некими показателями, отметками или процентами, а также может быть связана со словами, отражающими степень овладения тем или иным процессом, - "отлично","хорошо", "средне", или "плохо".

При описании оценки сложно избежать применения других сопутствующих  ей терминов. Если оценка - это измерение, то необходимо знать, что она измеряет.  Компетентность является одним из таких объектов измерения. Она относится к специальному умению, который был приобретен учеником и теперь оценивается. Компетентность и цели, или результаты часто используются взаимозаменяемо при описании того, что должно быть измерено. Чтобы успешно выполнить это измерение, необходимо проводить оценку, исходя из определенных  стандартов, или исходных показателей. При описании достижений студентов обычно опираются на стандарты достижений, как и при описании соответствующего исходного показателя. Если мы измеряем и сравниваем качество работы студента относительно качества работы большого количества его сокурсников и решаем, в какой степени или куда он подходит согласно шкале оценок, такая форма называется  нормативно-ориентированным оцениванием. Оно используется в том случае, если мы хотим оставить или отсеять необходимый процент студентов. Однако если мы оцениваем деятельность студентов по определенному критерию, это будет критериально-ориентированное оценивание. Согласно этой форме оценки, все студенты успешно проходят аттестацию, если они достигли необходимого стандарта или компетентности.

Обычно используют 3 формы оценки. Формативная оценка - это неформальная, длительная и непрерывная форма оценивания, представляющая собой двусторонний процесс взаимодействия учителя и ученика/учеников, при котором большое значение уделяется обсуждениям сильных и слабых сторон, а также возможностям совершенствоваться. Итоговая или оценка конечных результатов гораздо более формальная и "судейская" (традиционная экзаменационная система). Она в большей степени рассчитана на числовые и количественные показатели, тогда как формативное оценивание дает скорее описательную и качественную характеристику. Личная или ипсативная - направлена на самооценивание; студент проверяет сам себя по определенным стандартам или параметрам, получая представление о качестве собственной деятельности. Эта форма оценки становится очень важной при проблемно-ориентированном обучении, когда  самостоятельное или саморегулируемое изучение материала часто подсказывает студентам, имеющим трудности с пониманием и осмыслением, к какому уровню знаний им необходимо стремиться.

Интересно проследить за тем, как развиваются в последнее время другие формы оценки. Для этого мы предлагаем читателям обратиться к рекомендуемой литературе, в особенности, относящейся к теме аутентичной или реальной оценки, при которой  качество работы студентов оценивается в реалистичных или реальных условиях. Данный вид оценки часто называется моделированием с высокой  степенью достоверности.

Наконец, говоря об оценке, следует подумать о том, являются ли применяемые для оценивания средства надежными и валидными. Достоверность - это показатель степени высокой точности повторения, воспроизведения и постоянства результатов оценочного теста. У всех средств измерения есть вероятность ошибки, и вследствие этой ошибки баллы могут отличаться. Ошибки чаще всего происходят случайно: плохое освещение, шум в помещении для экзамена, волнение студента, болезнь и т.д. Достоверность - это мера того, насколько сильно эти потенциальные ошибки влияют на результаты; следовательно, надежный тест имеет низкий количественный показатель ошибок. Валидность - это показатель степени того, что тест действительно измеряет то, что он должен измерять. Важно заметить, что тест может быть достоверным, но не всегда валидным. Если по внешним признакам можно понять, что способ оценивания точный и измеряет необходимые вещи, то говорят, что у него очевидная валидность. Если его содержание соответствует назначению и действительно измеряет то, что должно измерять, то считается, что у него конструктная валидность. Если оценочный тест, измеряющий определенную компетентность, может прогнозировать качество работы в других областях или компетенциях, он имеет критериальную валидность.

Несколько слов про обобщаемость. Часто нам необходимо знать, можно ли применить ли результаты измерения или теста, проводимого с определенной группой людей, к другим исследованиям. Это характеристика называется обобщаемостью. Если мы проводим 2 измерения IQ, нам интересно, дадут ли они оба одинаковый результат. При совпадении результатов эти измерения называются поддающимися обобщению.

Определение ценности - более широкое понятие, измеряющее значение образовательной деятельности, планов, учебных программ, и т.д. В то время как оценка относится к отдельным ученикам, группам и их достижениям, определение ценности больше относится к процессу, содержанию и целесообразности мероприятий. Типичным примером определения ценности является выражение сомнения по поводу определенного курса обучения:

-Дал ли он результаты?

-Затронул ли он необходимые вопросы?

-Были ли удовлетворены потребности и желания учителей и учеников? Необходимо ли внести изменения при повторном проведении курса?

-Исходя из этих примеров, можно понять, что правильное определение ценности программы/образовательной деятельности требует постановки вопросов и учителем, и учеником, и в результате приводит к поиску возможности изменения последующей деятельности: это циклический и динамичный процесс. Опосредованное измерение того, насколько хорошо образовательная деятельность достигла ожидаемых результатов, происходит путем оценки работы студентов. Если студенты показали хорошее качество работы - курс выполнил свои цели. Эффективность измерения понижается из-за отсутствия возможности выяснить отношение участников (учителя или ученика) к образовательному мероприятию! Подобно итоговой оценке, определение ценности обычно проводится в конце определенной образовательной деятельности. Однако наибольшая эффективность достигается благодаря определению ценности каждого отдельного этапа или компонента данной деятельности. Дальнейшее развитие понятия (определение ценности) выдвигает на первый план потребность объяснить долгосрочные эффекты вмешательства: как образовательное мероприятие повлияло на ежедневную деятельность участников и можно ли это измерить.

Определение ценности требует ясности (результаты должны быть видны всем, они являются общественной собственностью), достоверности (если определение ценности показало, что что-то должно произойти или измениться, то это происходит) и последовательности (это становится важной особенностью всей образовательной деятельности).

Исходя из вышеприведенных ключевых понятий, ни одно образовательное мероприятие не может считаться завершенным без процедуры оценивания и определения ценности. Каждое из них обеспечивает ясность действий, достоверность ответных реакций и последовательность полученных результатов.

Успешная система оценки и определения ценности характеризуется следующими признаками:

1) она основывается на целях, хорошо понятных для оцениваемого и оценщика и согласованных между ними;

2) применяемые методы максимально точно соответствуют целям образовательной деятельности;

3) измерение качества и эффективности работы проводится в начале и в конце обучения;

4) систему можно реализовать в условиях рабочей среды;

5) она проста и достаточно надежна для того, чтобы выдержать изменения в области образования;

6) она проста для понимания;

7) используется последовательно (т.е. логично);

8) она основана на общих, но ясных критериях;

9) воспринимается пользователями и другими людьми как обоснованный подход;

10) разграничивает процессы развития и оценивания;

11) повышает качество обучения всех участников;

12) позволять всем участникам получать обратную связь от оценивающих.

Из этого следует, что:

-оценка должна быть сосредоточена на выполняемой деятельности как можно более близкой к деятельности в реальной жизни;

-оценочное задание должно основываться на практической или клинической деятельности оцениваемого и оценивающего;

-необходимо использовать различные источники и методы оценки;

-задания должны быть осуществимы в контексте обеспечения медицинских услуг;

-оценочные задания не должны требовать использования дополнительных ресурсов.

-должна использоваться система регулярных опросов для гарантии того, что процедуры оценки и определения ценности являются валидными и надежными;

-каждое оценивание, завершающее образовательную деятельность, должно изучается в ходе целенаправленного и активного определения ценности.

Оценка и определение ценности в повседневной клинической деятельности

Эта статья знакомит с некоторыми основными идеями, самими понятиями и способами применения оценки и определения ценности. При необходимости более глубокого изучения этих вопросов читатель может обратиться к соответствующей дополнительной литературе.

Подавляющее большинство читателей, возможно, встречались с этими понятиями, имея опыт в сфере базового и постдипломного образования в качестве студента или преподавателя. Но можем ли мы применять описанные принципы в ежедневной клинической практике? Должны ли мы постоянно оценивать себя и своих коллег? Нужно ли анализировать или оценивать значимость нашей ежедневной деятельности: в личной жизни, профессиональной практике или управлении? Могут ли принципы оценки и определения ценности сформировать основу подходящей системы непрерывного повышения квалификации, будут ли оценка коллег и самооценка неотъемлемыми элементами этого процесса? Может быть, нам не следует считать оценку и определение ценности важными только для образовательной деятельности и отделять их от практики; возможно, они неразрывно связаны с нашей повседневной жизнью.

Вопросы для размышления

-Оценка знаний и определение ценности - ключевые понятия и составляющие любой образовательной деятельности.

-Ясность в описании обоих понятий и их использовании способствует лучшему пониманию терминологии.

-Оба понятия могут применяться в ежедневной практике для повышения уровня профессионального развития.

Список литературы опубликован на сайте www.medobr.ru

“Экзамены наполняют страхом любого, даже самого подготовленного, потому что на экзамене самый глупый может спросить больше, чем самый умный - ответить.”

Чарльз Калеб Колтон 

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»