Свежий взгляд на пирамиду Миллера: оценка на уровне "является" и "делают"

Резюме

Отмечая 25-летие когда-то новаторской пирамиды Джорджа Миллера, мы решили представить обновленный взгляд на нее. В статье обсуждаются 2 вопроса. Верно ли классическая пирамидальная структура передает отношения 4 уровней, описанных Миллером? И может ли модель Миллера удовлетворить неудовлетворенные потребности экспертов в оценке возникающих важнейших аспектов и учесть все более усложняющуюся практику оценки медицинских работников? Для ответа на 1-й вопрос мы еще раз рассмотрели пирамиду Миллера в 2 аспектах, характерных для пирамидальных структур: иерархия и сужение. Мы также предложили разные конфигурации расположения 4 классических уровней и подробно описали их. Для ответа на 2-й вопрос мы обосновали внесение поправок в пирамиду с 2 дополнительными измерениями для оценки личных качеств студентов на уровне "является" и эффективности их работы в группе на уровне "делают" (вместе). В конце статьи мы предложили выйти за рамки пирамиды и рассмотреть структуру "Орбит оценки" для оценки эффективности работы студентов как при самостоятельной работе, так и в группе. 5 "орбит оценки" заостряют внимание педагогов на необходимости оценки возникающих когнитивных и некогнитивных аспектов без применения таких неотъемлемых для пирамидальных структур характеристик, как иерархия или сужение. Орбита "является" учитывает личные качества выпускников, которым мы можем (или не можем) доверить дело нашего врачевания. Оценка работы в группе на уровне "делают" (вместе) предлагает перейти от парадигмы соревновательной оценки студентов к парадигме нормирования и выполнения работы в группе. вклад: оба автора внесли равный вклад в дело разработки и составления статьи и одобрили окончательный вариант представленной рукописи.

*Статья впервые опубликована в журнале Medical Education. 2016; 50 (12): 1253-7. DOI: W.1111/medu.13101

Благодарности: отсутствуют.

Финансирование: отсутствует.

Конфликты интересов: не заявлены.

Революционная пирамида Джорджа Миллера [1] применялась в качестве основного руководства для оценки уровня образования медицинских работников в течение последних двух десятилетий. Миллер создал пирамидальную структуру для оценки клинической компетентности, в которую входили следующие уровни: "знает", "знает как", "показывает как" и "делает" (рис. 1А). Отмечая серебряный юбилей изобретения Миллера, хотелось бы взглянуть на пирамиду по-новому и задать себе два вопроса: (I) верно ли классическая пирамидальная структура передает отношения 4 уровней, описанных Миллером, и (II) может ли модель Миллера удовлетворить неудовлетворенные потребности экспертов в оценке развивающихся важнейших аспектов и учесть все более усложняющуюся практику оценки медицинских работников?

Свойства пирамидальных структур

Пирамиды строили многие цивилизации. С архитектурной точки зрения организация уровней в пирамидальной структуре предполагает учет двух свойств: иерархия и сужение. "Иерархия" означает, что уровень 2 по отношению к уровню 1 является главенствующим и т.д. "Сужение" означает, что более высокие уровни имеют меньшую площадь поверхности по сравнению с уровнями ближе к основанию. Очевидно, что сложнее всего точно и надежно оценить работу независимых специалистов в реальной практике (на уровне "делает"). Чем выше в пирамиде расположены оцениваемые навыки, тем больше оценка должна быть приближена к условиям реальной жизни [2]. Однако иерархия, показанная в пирамиде Миллера, может ввести в заблуждение, так как ни один из уровней (на самом деле) не является главенствующим по отношению к другому в вопросах качества, достоверности, надежности и истинности [2]. Таким образом, уровни пирамиды Миллера можно перестроить в форме сегментированной пирамиды (рис. 1Б), так как оценка на более высоких уровнях не может гарантировать более высокого качества оценки, а наоборот, указывает на растущие потребности и потребность в большем количестве ресурсов.

Рис. 1. Различные конфигурации элементов Миллера для оценки

А - оригинальная пирамида Миллера (вертикальная с иерархией и сужением к вершине); Б - сегментированная пирамида: указывает на то, что ни один уровень не является главенствующим по отношению к другому в вопросах качества, достоверности, надежности и истинности; все уровни дополняют друг друга; В - перевернутая пирамида: показывает растущую важность оценки на рабочем месте (WPBA); Г - вложенная модель: отображает "вложенность" более низких уровней в более высокие; Д - "подвесной чердак": предупреждает специалистов по оценке о возможности овладения навыками иногда при отсутствии поддерживающей когнитивной базы

2-я особенность пирамиды - сужение, при котором уровни с приближением к вершине уменьшаются. Такую характеристику можно интерпретировать 2 гипотезами. Во-первых, возможно, предполагается, что меньшее число студентов сможет достигнуть "узкой" вершины. Эта гипотеза не работает, так как пирамида Миллера отображает домены для оценки, а не достижение результата. Во-вторых, для оценки компетентности и эффективности работы (на вершине) доступно меньше инструментов, чем для оценки знаний (в основании пирамиды). Эта гипотеза также не работает в связи с увеличением инструментов для оценки на рабочем месте (WPBA) [3], которые позволяют экспертам более уверенно подниматься вверх по пирамиде. Еще раз подчеркнем, почему, на наш взгляд, сужение пирамиды Миллера может вводить в заблуждение. Во-первых, современные студенты теперь могут легко получить доступ к информации, что сводит к минимуму ценность оценки имеющихся знаний. Во-вторых, растущий интерес и объем современных исследований в области WPBA повышают значимость более высоких уровней, заставляя расширять (а не сужать) верхние уровни пирамиды. Тогда, возможно, нам следует просто перевернуть пирамиду для предложения большего пространства (значимости) уровням оценки работы в условиях реальной жизни (рис. 1В).

Помимо иерархии и сужения, модель Миллера обладает 3-м свойством, которое отсутствует в обычных пирамидах. Если студенты хорошо выполняют свою работу на практике, предполагается, что они хорошо владеют уровнями "знает" и "знает как". Однако обратное утверждение не очевидно, что предполагает вложенность доменов оценки (рис. 1Г), но концепция вложенности вызывает множество вопросов. Могут ли практикующие врачи освоить определенные задачи без соответствующей когнитивной базы? Ответ: да, иногда. Знания исчезают, если их периодически не актуализировать, а эффективность работы со временем только повышается. Опытные техники, медицинские сестры и даже хирурги могут оставаться компетентными, но не обязательно знать теоретический материал, так как со временем они могут забыть теоретические основы некоторых процедур. Эти данные указывают специалистам по оценке на возможность рассмотрения модели "висячий чердак" (рис. 1Д), при которой эффективность работы не зависит от знаний. Такая конфигурация стала очевидной в связи с наличием множества людей, годами занимающихся врачебной практикой или медсестринским делом при отсутствии необходимых дипломов, овладевая определенными типами процедурных навыков в клинической практике.

Выбор конкретного расположения на рис. 1 можно сделать, приняв к рассмотрению различные переменные, связанные с характером учебного курса, уровнем образования, степенью интеграции и зрелости системы оценки. Например, оригинальная модель пирамиды (см. рис. 1А) подходит для оценки студентов на додипломном уровне по чисто теоретическим предметам (например, анатомии), делая акцент на знании материала, тогда как перевернутая пирамида (см. рис. 1В) отражает важность оценки WPBA при освоении программы хирургической резидентуры. Модель "висячего чердака" (см. рис. 1Д) предупреждает экспертов по оценке о необходимости контроля базовых знаний при оценке на рабочем месте.

Новые элементы оценки

В последние десятилетия исследования в области оценки подкреплялись стремлением обнаружить новые инструменты, улучшить схемы оценки или провести более тщательный анализ (главным образом количественных) результатов успеваемости учащихся. Мы редко подвергаем сомнению цель оценки или размышляем над базовыми, но недооцененными качествами, которые мы должны или могли бы оценить у наших студентов. То же касается и последствий оценки этих качеств для будущей карьеры студентов, выполняющих свои профессиональные обязанности. Пирамида Миллера - важная веха в деле оценки, но мы задаем себе вопрос: является ли она всеобъемлющей и может ли быть пригодна для оценки в условиях новых аспектов современной оценки? Существует длинный список когнитивных и некогнитивных компонентов, которые включают в программы медицинской подготовки для освоения и оценки, например: профессионализм [4], эмоциональная грамотность [5], сознательность [6], эмпатия [7], рефлексия [8], метапознание [9], командная работа [10], лидерство [11], культурная грамотность [12] и профессиональное самоопределение [13]. Включают ли 4 уровня пирамиды Миллера все вышеупомянутые развивающиеся аспекты? Для отражения сложного характера современной практики оценки, по нашему мнению, в пирамиду необходимо внести два дополнительных уровня.

Оценка на уровне "является"

Пирамида Миллера оценивает то, что студент знает и делает, но не оценивает то, кем он является на самом деле.

S. Jarvis-Selinger и соавт. предложили перейти от исключительного акцента на выполнении работы врача в сторону более широкого аспекта, который также включает в себя понятие "быть врачом" [14]. Оценка профессионализма должна выходить за рамки наблюдаемого поведения и исследовать основные установки, ценности и убеждения человека, выступающие двигателем (не)профессионального поведения медицинских работников. Вот почему R.L. Cruess и соавт. недавно добавили пятый уровень ("является") к пирамиде Миллера для оценки профессиональной идентичности выпускников [15]. Контроль продвижения каждого человека в приобретении им профессиональной идентичности должен представлять основную цель медицинского образования с первого дня обучения, даже несмотря на то, что следует проявлять осторожность и не поощрять категоричность при проведении оценки, приводящую к тому, что студенты могут переносить такую оценку на себя, а не на свое поведение. Строгую оценку на уровне "является" можно организовать совместными усилиями психометристов и психологов, которые будут собирать и интерпретировать количественные и качественные данные, полученные на разных этапах оценки и собранные в различных условиях.

Оценка на уровне "делают" (вместе)

В дополнение к сказанному, в медицинском образовании присутствует фундаментальная дилемма, которая заставляет нас ввести еще один уровень в пирамиду Миллера, помимо уровня "является", введенного R.L. Cruess и соавт. Университеты выдают дипломы на основании способностей студентов [16]. После окончания университета врачи начинают работать в коллективе, включающем множество профессионалов из разных областей. А деятельность врачей, получивших компетенции работы в одиночку, может приводить к некомпетентности всего коллектива [17]. Оказание медицинской помощи пациентам сейчас перешло от внутри- к межпрофессиональной практике, что подчеркивает важность последствий оценки коллективной компетентности [18]. Пирамида Миллера оценивает знания ("знает") и эффективность работы ("показывает как" и "делает") отдельных студентов. Кроме того, мы признали необходимость оценки студентов и при работе в группе на уровне "делают" (вместе).

Современные образовательные стратегии, такие как групповое обучение, многопрофильное и междисциплинарное образование, требуют создания новой парадигмы оценки каждого члена команды. Умение работать в команде (например, снятие стресса у персонала, реагирование на чрезвычайные ситуации и коммуникация во время передачи пациента от одного врача другому) повышает безопасность пациентов, особенно в операционных, и такой аспект нельзя оставить без внимания в нашей практике оценки. Оценка специалистов, работающих в группе, представляет сложную задачу по ряду причин, но и оценка на уровне "делает" была недостижимой в то время, когда Миллер создавал свою пирамиду. Специалистам по оценке необходимо определить четкие критерии для оценки динамики работы (процесса) группы и получаемого продукта (результата). Однако сложнейшая задача оценки на уровне "делают" состоит в том, что необходимо каким-то образом разделить показатели групповой работы на индивидуальные оценки. При этом возникают вопросы честности и справедливости такого разделения. Также неясным остается вопрос, каким образом нам необходимо включить уровни "является" и "делают" в пирамиду Миллера так, чтобы управлять нашей оценкой таким же образом, которым Миллер мог делать это с помощью его первоначальной концепции.

Размышления вне концепции пирамиды: оценка с помощью "орбит"

Предпринималось множество попыток по включению третьего измерения в пирамиду Миллера или введения новых уровней ниже уровня "знает" или выше уровня "делает". Мы же попробуем выйти за рамки пирамиды и предложить новую структуру оценки: "5 орбит оценки", траектория которых проходит как вокруг одного, так и между несколькими студентами.

Почему именно орбиты? В отличие от пирамидальной структуры, подразумевающей иерархию и сужение, пространство оценки можно представить в виде орбитальных траекторий для отражения динамического характера оценки и сочетания с требованиями современного медицинского образования и обучения на протяжении всей жизни специалиста. Как и на рис. 2, орбита "является" вращается вокруг студента А для оценки его или ее личных качеств, которые фактически определяют его или ее подход к обучению и стиль работы. Оценка для обучения на уровне "является" может использоваться для объяснения того, почему студенты ведут себя определенным образом, и помогает преподавателям рационализировать свое поведение и представлять больше информативных рекомендаций, обратной связи и консультаций студентам. Орбита "делают" относится к успеваемости студентов А, Б и В, когда они работают (вместе) в команде. Мы объединили 2 уровня Миллера в одну орбиту ("знает"), чтобы включить в нее все когнитивные способности, которые возможно оценить в ходе письменных экзаменов. Орбиты "показывает как" и "делает" выполняют те же функции, что и в верхние уровни пирамиды Миллера.

Узлы на рис. 2 представляют собой пересечения орбиты "делают" с другими, чтобы показать важность оценки предпосылок к командной работе. Например, узел 1 ("является" и "делают") отмечает важность личных качеств, отражающихся на межличностной эффективности работы групп: экстраверсия, открытость, способность договориться и осознание важности работы. Узел 2 ("знает" и "делает") указывает на важность когнитивной основы эффективности работы группы и способности каждого члена принимать на себя разные роли, описанные Белбин (например, генератор идей, координатор, инициатор, наблюдатель, реализатор и отладчик) [20]. Узлы 3 и 4 показывают важность оценки эффективности командной работы в симулированных условиях и в реальной практике соответственно.

Рис. 2. Орбиты оценки

Основа точной оценки включает в себя 5 орбит, а именно: "является", "знает", "показывает", "делает" и "делают" (вместе). Внутренняя орбита "является" включает в себя оценку личностных качеств кандидата А. Внешняя орбита "делают" (вместе) оценивает динамику командной работы и успеваемость студентов А, Б и В. Показатель "Узлы" указывает на личностные качества (точка № 1) и когнитивную базу (точка № 2), которые влияют на эффективность командной работы при моделировании условий (точка № 3) и при работе в условиях реальной практики (точка № 4). "Стрелки" указывают на трансорбитальные пересечения для оценки предпосылок для доверенной профессиональной активности (EPA).

Модель орбит оценки включает ранее неучтенные элементы в признанных во всем мире системах оценки компетенций. Например, траектория "является" указывает на пространство для оценки результатов, указанных во внешнем слое 3-круговой модели Данди, связанных с эмоциональными и личностными компетенциями [21]. Орбита "делают" включает в себя оценку традиционных ролей коллаборатора и менеджера/лидера из модели CanMEDs22. Роли, представленные в модели CanMEDs, настолько взаимосвязаны, что оценка каждого из них в отдельности не дает возможности сделать какие-либо значимые выводы, потому что сумма действий профессионалов намного больше, чем элементы знаний, навыков и отношений каждого отдельного лица или тех элементов, которые можно описать в терминах компетенций.

Нам необходимо выпускать профессионалов, которым мы можем с уверенностью доверять как безопасным практикующим врачам, и, следовательно, компетенции необходимо перевести в плоскость EPA (доверенная профессиональная деятельность) [23]. Конечно, это требует того, чтобы мы достаточно хорошо познакомились с нашими обучающимися и могли принять решение о том, стоит ли им доверять. Также необходимо уделить больше времени делу осознания элементов доверия при оценке будущих специалистов. Три стрелки на рис. 2 указывают на трансорбитальные пересечения для оценки предпосылок для различных EPA. Например, личные качества, такие как добросовестность и уверенность в себе, можно оценить на пересечении орбиты "является", клиническое мышление можно оценить на орбите "знает", а навык межличностного общения можно оценить на других орбитах. Структура "Орбиты оценки" оптимизирует экспертную оценку и объединяет различные источники данных (оценки, описания, проверки и наблюдения) по выбранным качествам для поддержки заслуживающих доверия решений, касающихся обучающихся как по отдельности, так и при работе в группе. Поэтому подход к оценке с помощью орбит предлагает целостный, субъективный и коллективный дискурсы современной практики оценки.

Заключение

Структура "Орбиты оценки" предупреждает преподавателей о необходимости оценки возникающих когнитивных и некогнитивных аспектов без учета таких особенностей пирамидальной конструкции, как иерархия или сужение.

Орбита "является" учитывает личные качества выпускников, которым мы можем (или не можем) доверить дело нашего врачевания. Оценка работы в группе на уровне "делают" (вместе) предлагает перейти от парадигмы соревновательной оценки студентов к парадигме нормирования и выполнения работы в группе.

Выражаясь химическими терминами, атомы (студенты) связаны вместе и образуют молекулы (группы). Они должны делиться или обмениваться электронами (знаниями и опытом), вращающимися на их орбитах, для того чтобы приобрести новые свойства, несмотря на то что большая часть атомной массы (самоопределения) находится в центре ядра. Мы надеемся, что структура "Орбиты оценки" поможет студентам вернуться на их законное место: в центр оценки.

Автор для корреспонденции:

Аль-Эраки Мохамед (Mohamed Al-Eraky) - Университетская больница имени короля Фахда, административное здание № 400, а/я 40344, Аль-Хобар, Саудовская Аравия

E-mail: maleraky0uod.edu.sa

https://orcid.org/0000-0003-2015-7630

Литература/References

1. Miller G.E. The assessment of clinical skills/competence/ performance. Acad Med. 1990; 65: S63-7.

2. van der Vleuten C.P.M., Schuwirth L.W.T. Assessing professional competence: from methods to programmes. Med Educ. 2005; 39 (3): 309-17.

3. Norcini J., Burch V. Workplace - based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007; 29: 855-71.

4. Hodges B.D., et al. Assessment of professionalism: recommendations from the Ottawa 2010 Conference. Med Teach. 2011; 33: 354-63.

5. Arora S., Ashrafian H., Davis R., Athanasiou T., Darzi A., Sevdalis N. Emotional intelligence in medicine: a systematic review through the context of the ACGME competencies. Med Educ. 2010; 44 (8): 749-64.

6. McLachlan J. Measuring conscientiousness and professionalism in undergraduate medical students. Clin Teach. 2010; 7 (1): 37-40.

7. Hojat M., et al. Physician empathy: definition, components, measurement, and relationship to gender and specialty. Am J Psychiatry. 2002; 159: 1563-9.

8. Sandars J. The use of reflection in medical education: AMEE Guide No. 44. Med Teach. 2009; 31: 685-95.

9. Semerari A., et al. The development of the Metacognition Assessment interview: instrument description, factor structure and reliability in a non-clinical sample. Psychiatry Res. 2012; 200: 890-5.

10. Parratt J.A., et al. Expert validation of a teamwork assessment rubric: a modified Delphi study. Nurse Educ Today. 2016; 36: 77-85.

11. O'Sullivan H., McKimm J. Medical leadership and the medical student. Br J Hosp Med (Lond). 2011; 72: 346-9.

12. McKimm J., Wilkinson T. "Doctors on the move": exploring professionalism in the light of cultural transitions. Med Teach. 2015; 37 (9): 837-43.

13. Cruess R.L., Cruess S.R., Boudreau J.D., Snell L., Steinert Y. Reframing medical education to support professional identity formation. Acad Med. 2014; 89: 1446-51.

14. Jarvis-Selinger S., Pratt D.D., Regehr G. Competency is not enough: integrating identity formation into the medical education discourse. Acad Med. 2012; 87: 1185-90.

15. Cruess R.L., Cruess S.R., Steinert Y. Amending Miller's pyramid to include professional identity formation. Acad Med. 2015; 90: 1.

16. Roberts T.E. Assessment est mort, vive assessment 1. Med Teach. 2013; 35: 535-6.

17. Lingard L. What we see and don't see when we look at "competence": notes on a god term. Adv Health Sci Educ Theory Pract. 2009; 14: 625-8.

18. Hodges B. Assessment in the post-psychometric era: learning to love the subjective and collective. Med Teach. 2013; 35: 564-8.

19. Gluyas H. Effective communication and teamwork promotes patient safety. Nurs Stand. 2015; 29: 50-7.

20. Belbin M. Management Teams: Why They Succeed or Fail. 2nd ed. Oxford: Elsevier, 2004: 168 p.

21. Harden J.R., Crosby M.H., Davis M., Friedman R.M. AMEE Guide No. 14: Outcome-based education: Part 5-From competency to metacompetency: a model for the specification of learning outcomes. Med Teach. 1999; 21: 546-52.

22. Whitehead C.R., Kuper A., Hodges B., Ellaway R. Conceptual and practical challenges in the assessment of physician competencies. Med Teach. 2015; 37: 245-51.

23. Ten Cate O., et al. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. 2015; 37: 983-1002.