A FRESH LOOK AT MILLER'S PYRAMID: ASSESSMENT AT THE ‘IS’ AND ‘DO’ LEVELS

• Mohamed Al-Eraky
• Marei H.

Abstract

In its silver jubilee, we celebrate the ground-breaking pyramid of George Miller by submitting a fresh look at it. We discuss two questions. Does the classical pyramidal structure perfectly portray the relationships of the four levels that were described by Miller? Can the model of Miller fulfill the unmet needs of assessors to measure evolving essential constructs and accommodate the increasingly sophisticated practice of assessment of health professionals? In response to the first question, Millers pyramid is revisited in view of two assumptions for pyramidal structures, namely: hierarchy and tapering. Then we suggest different configurations for the same classical four levels and indicate when to use each one. With regard to the second question, we provide a rationale for amending the pyramid with two further dimensions to assess personal qualities of students at the 'Is' level and their performance in teams at the 'Do' (together) level. At the end of the article, we yearn to think outside the pyramid and suggest the Assessment Orbits framework to assess students as individuals and in teams. The five Assessment Orbits alert educators to assess the emerging cognitive and non-cognitive constructs, without implying features such as hierarchy or tapering that are ingrained in pyramidal structures. The 'Is' orbit attends to the personal qualities of graduates 'who' we may (or may not) trust to be our physicians. Assessment of teams at the 'Do' level (together) offers a paradigm shift in assessment from competitive ranking (storming) among students toward norming and performing as teams.

Революционная пирамида Джорджа Миллера [1] применялась в качестве основного руководства для оценки уровня образования медицинских работников в течение последних двух десятилетий. Миллер создал пирамидальную структуру для оценки клинической компетентности, в которую входили следующие уровни: "знает", "знает как", "показывает как" и "делает" (рис. 1А). Отмечая серебряный юбилей изобретения Миллера, хотелось бы взглянуть на пирамиду по-новому и задать себе два вопроса: (I) верно ли классическая пирамидальная структура передает отношения 4 уровней, описанных Миллером, и (II) может ли модель Миллера удовлетворить неудовлетворенные потребности экспертов в оценке развивающихся важнейших аспектов и учесть все более усложняющуюся практику оценки медицинских работников?

Свойства пирамидальных структур

Пирамиды строили многие цивилизации. С архитектурной точки зрения организация уровней в пирамидальной структуре предполагает учет двух свойств: иерархия и сужение. "Иерархия" означает, что уровень 2 по отношению к уровню 1 является главенствующим и т.д. "Сужение" означает, что более высокие уровни имеют меньшую площадь поверхности по сравнению с уровнями ближе к основанию. Очевидно, что сложнее всего точно и надежно оценить работу независимых специалистов в реальной практике (на уровне "делает"). Чем выше в пирамиде расположены оцениваемые навыки, тем больше оценка должна быть приближена к условиям реальной жизни [2]. Однако иерархия, показанная в пирамиде Миллера, может ввести в заблуждение, так как ни один из уровней (на самом деле) не является главенствующим по отношению к другому в вопросах качества, достоверности, надежности и истинности [2]. Таким образом, уровни пирамиды Миллера можно перестроить в форме сегментированной пирамиды (рис. 1Б), так как оценка на более высоких уровнях не может гарантировать более высокого качества оценки, а наоборот, указывает на растущие потребности и потребность в большем количестве ресурсов.

Рис. 1. Различные конфигурации элементов Миллера для оценки

А - оригинальная пирамида Миллера (вертикальная с иерархией и сужением к вершине); Б - сегментированная пирамида: указывает на то, что ни один уровень не является главенствующим по отношению к другому в вопросах качества, достоверности, надежности и истинности; все уровни дополняют друг друга; В - перевернутая пирамида: показывает растущую важность оценки на рабочем месте (WPBA); Г - вложенная модель: отображает "вложенность" более низких уровней в более высокие; Д - "подвесной чердак": предупреждает специалистов по оценке о возможности овладения навыками иногда при отсутствии поддерживающей когнитивной базы

2-я особенность пирамиды - сужение, при котором уровни с приближением к вершине уменьшаются. Такую характеристику можно интерпретировать 2 гипотезами. Во-первых, возможно, предполагается, что меньшее число студентов сможет достигнуть "узкой" вершины. Эта гипотеза не работает, так как пирамида Миллера отображает домены для оценки, а не достижение результата. Во-вторых, для оценки компетентности и эффективности работы (на вершине) доступно меньше инструментов, чем для оценки знаний (в основании пирамиды). Эта гипотеза также не работает в связи с увеличением инструментов для оценки на рабочем месте (WPBA) [3], которые позволяют экспертам более уверенно подниматься вверх по пирамиде. Еще раз подчеркнем, почему, на наш взгляд, сужение пирамиды Миллера может вводить в заблуждение. Во-первых, современные студенты теперь могут легко получить доступ к информации, что сводит к минимуму ценность оценки имеющихся знаний. Во-вторых, растущий интерес и объем современных исследований в области WPBA повышают значимость более высоких уровней, заставляя расширять (а не сужать) верхние уровни пирамиды. Тогда, возможно, нам следует просто перевернуть пирамиду для предложения большего пространства (значимости) уровням оценки работы в условиях реальной жизни (рис. 1В).

Помимо иерархии и сужения, модель Миллера обладает 3-м свойством, которое отсутствует в обычных пирамидах. Если студенты хорошо выполняют свою работу на практике, предполагается, что они хорошо владеют уровнями "знает" и "знает как". Однако обратное утверждение не очевидно, что предполагает вложенность доменов оценки (рис. 1Г), но концепция вложенности вызывает множество вопросов. Могут ли практикующие врачи освоить определенные задачи без соответствующей когнитивной базы? Ответ: да, иногда. Знания исчезают, если их периодически не актуализировать, а эффективность работы со временем только повышается. Опытные техники, медицинские сестры и даже хирурги могут оставаться компетентными, но не обязательно знать теоретический материал, так как со временем они могут забыть теоретические основы некоторых процедур. Эти данные указывают специалистам по оценке на возможность рассмотрения модели "висячий чердак" (рис. 1Д), при которой эффективность работы не зависит от знаний. Такая конфигурация стала очевидной в связи с наличием множества людей, годами занимающихся врачебной практикой или медсестринским делом при отсутствии необходимых дипломов, овладевая определенными типами процедурных навыков в клинической практике.

Выбор конкретного расположения на рис. 1 можно сделать, приняв к рассмотрению различные переменные, связанные с характером учебного курса, уровнем образования, степенью интеграции и зрелости системы оценки. Например, оригинальная модель пирамиды (см. рис. 1А) подходит для оценки студентов на додипломном уровне по чисто теоретическим предметам (например, анатомии), делая акцент на знании материала, тогда как перевернутая пирамида (см. рис. 1В) отражает важность оценки WPBA при освоении программы хирургической резидентуры. Модель "висячего чердака" (см. рис. 1Д) предупреждает экспертов по оценке о необходимости контроля базовых знаний при оценке на рабочем месте.

Новые элементы оценки

В последние десятилетия исследования в области оценки подкреплялись стремлением обнаружить новые инструменты, улучшить схемы оценки или провести более тщательный анализ (главным образом количественных) результатов успеваемости учащихся. Мы редко подвергаем сомнению цель оценки или размышляем над базовыми, но недооцененными качествами, которые мы должны или могли бы оценить у наших студентов. То же касается и последствий оценки этих качеств для будущей карьеры студентов, выполняющих свои профессиональные обязанности. Пирамида Миллера - важная веха в деле оценки, но мы задаем себе вопрос: является ли она всеобъемлющей и может ли быть пригодна для оценки в условиях новых аспектов современной оценки? Существует длинный список когнитивных и некогнитивных компонентов, которые включают в программы медицинской подготовки для освоения и оценки, например: профессионализм [4], эмоциональная грамотность [5], сознательность [6], эмпатия [7], рефлексия [8], метапознание [9], командная работа [10], лидерство [11], культурная грамотность [12] и профессиональное самоопределение [13]. Включают ли 4 уровня пирамиды Миллера все вышеупомянутые развивающиеся аспекты? Для отражения сложного характера современной практики оценки, по нашему мнению, в пирамиду необходимо внести два дополнительных уровня.

Оценка на уровне "является"

Пирамида Миллера оценивает то, что студент знает и делает, но не оценивает то, кем он является на самом деле.

References

1. Miller G.E. The assessment of clinical skills/competence/ performance. Acad Med. 1990; 65: S63-7.

2. van der Vleuten C.P.M., Schuwirth L.W.T. Assessing professional competence: from methods to programmes. Med Educ. 2005; 39 (3): 309-17.

3. Norcini J., Burch V. Workplace - based assessment as an educational tool: AMEE Guide No. 31. Med Teach. 2007; 29: 855-71.

4. Hodges B.D., et al. Assessment of professionalism: recommendations from the Ottawa 2010 Conference. Med Teach. 2011; 33: 354-63.

5. Arora S., Ashrafian H., Davis R., Athanasiou T., Darzi A., Sevdalis N. Emotional intelligence in medicine: a systematic review through the context of the ACGME competencies. Med Educ. 2010; 44 (8): 749-64.

6. McLachlan J. Measuring conscientiousness and professionalism in undergraduate medical students. Clin Teach. 2010; 7 (1): 37-40.

7. Hojat M., et al. Physician empathy: definition, components, measurement, and relationship to gender and specialty. Am J Psychiatry. 2002; 159: 1563-9.

8. Sandars J. The use of reflection in medical education: AMEE Guide No. 44. Med Teach. 2009; 31: 685-95.

9. Semerari A., et al. The development of the Metacognition Assessment interview: instrument description, factor structure and reliability in a non-clinical sample. Psychiatry Res. 2012; 200: 890-5.

10. Parratt J.A., et al. Expert validation of a teamwork assessment rubric: a modified Delphi study. Nurse Educ Today. 2016; 36: 77-85.

11. O'Sullivan H., McKimm J. Medical leadership and the medical student. Br J Hosp Med (Lond). 2011; 72: 346-9.

12. McKimm J., Wilkinson T. "Doctors on the move": exploring professionalism in the light of cultural transitions. Med Teach. 2015; 37 (9): 837-43.

13. Cruess R.L., Cruess S.R., Boudreau J.D., Snell L., Steinert Y. Reframing medical education to support professional identity formation. Acad Med. 2014; 89: 1446-51.

14. Jarvis-Selinger S., Pratt D.D., Regehr G. Competency is not enough: integrating identity formation into the medical education discourse. Acad Med. 2012; 87: 1185-90.

15. Cruess R.L., Cruess S.R., Steinert Y. Amending Miller's pyramid to include professional identity formation. Acad Med. 2015; 90: 1.

16. Roberts T.E. Assessment est mort, vive assessment 1. Med Teach. 2013; 35: 535-6.

17. Lingard L. What we see and don't see when we look at "competence": notes on a god term. Adv Health Sci Educ Theory Pract. 2009; 14: 625-8.

18. Hodges B. Assessment in the post-psychometric era: learning to love the subjective and collective. Med Teach. 2013; 35: 564-8.

19. Gluyas H. Effective communication and teamwork promotes patient safety. Nurs Stand. 2015; 29: 50-7.

20. Belbin M. Management Teams: Why They Succeed or Fail. 2nd ed. Oxford: Elsevier, 2004: 168 p.

21. Harden J.R., Crosby M.H., Davis M., Friedman R.M. AMEE Guide No. 14: Outcome-based education: Part 5-From competency to metacompetency: a model for the specification of learning outcomes. Med Teach. 1999; 21: 546-52.

22. Whitehead C.R., Kuper A., Hodges B., Ellaway R. Conceptual and practical challenges in the assessment of physician competencies. Med Teach. 2015; 37: 245-51.

23. Ten Cate O., et al. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. 2015; 37: 983-1002.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)