Medical Education and Professional Development

To the content

Спецвыпуск . 2022

AMEE GUIDE # 84. PROBLEM-BASED LEARNING: GETTING THE MOST OUT OF YOUR STUDENTS; THEIR ROLES AND RESPONSIBILITIES

Abstract

This guide discusses the considerable literature on the merits or shortcomings of Problem Based Learning (PBL), and the factors that promote or inhibit it, when seen through the eyes of the student. It seems to be the case that PBL works best when students and faculty understand the various factors that influence learning and are aware of their roles; this Guide deals with each of the main issues in turn. One of the most important concepts to recognise is that students and Faculty share the responsibility for learning and there are several factors that can influence its success. They include student motivation for PBL and the various ways in which they respond to being immersed in the process. As faculty, we also need to consider the way in which the learning environment supports the students develop the habit of lifelong learning, and the skills and attitudes that will help them become competent reflective practitioners. Each of these elements place responsibilities upon the student, but also upon the Faculty and learning community they are joining. Although all of the authors work in a European setting, where PBL is used extensively as a learning strategy in many medical schools, the lessons learned we suggest , apply more widely and several of the important factors apply to any form of curriculum. This Guide follows on from a previous review in the AMEE Guides in Medical education series, which provided an overview of PBL [121] and attempts to emphasise the key role that students have in mastering their subject through PBL. This should render the business of being a student a little less mystifying, and help faculty to see how they can help their students acquire the independence and mastery that they will need.

Medical Teacher: Bate E, Hommes J, Duvivier R, Taylor D.C.M. Problem-based learning (PBL): Getting the most out of your students - Their roles and responsibilities: AMEE Guide No. 84. Medical Teacher. 2014; 36 (1): 1-12.

Ключевые моменты

■ Проблемно ориентированное обучение (ПОО) - это процесс, требующий активного участия студентов в совместной групповой работе.

■ ПОО - это активный процесс с полным погружением, в котором студенты должны взять на себя значительную долю ответственности за свое обучение.

■ ПОО помогает студентам стать компетентными мыслящими врачами.

■ Обучение характеризуется мотивационными и эмоциональными компонентами; в группах ПОО в зависимости от навыков координатора возможно как их развитие, так и подавление.

■ Основополагающим элементом для успешных результатов (т.е. достижения цели обучения) является понимание студентами и преподавательским составом процесса обучения и их роли в нем.

Проблемно ориентированное обучение (ПОО) - это подход к обучению, который в большей или меньшей степени используется во многих медицинских учебных заведениях во всем мире. Задача ПОО - предоставить студентам возможность совместной работы в группах с целью изучения какого-либо предмета в контексте реальной проблемы.

Проведено много исследований для обоснования использования ПОО в учебном плане студентов-медиков [121]. В этом руководстве предпринята попытка взглянуть на вопрос с другой стороны - со стороны студента. В основе ПОО лежат идеи о том, что для приобретения знаний необходимо когнитивное и социальное взаимодействие в центрированной на проблеме среде [39, 43, 102].

Студенты - активные участники обучения, а не пассивные реципиенты. Приоритетом для достижения целей обучения является вовлечение студентов в процесс ПОО. Именно вовлечение в процесс поможет им учиться на основе опыта других, анализировать, классифицировать и дорабатывать возникающие идеи, обобщать свои знания и репетировать аргументы, которые можно будет успешно использовать в клинической среде и при неизбежной сдаче экзаменов.

Задача этого руководства заключается в описании вовлечения студентов в программу ПОО. Для этого будет представлено краткое описание, что такое программа ПОО (или что она должна собой представлять), после чего будут рассмотрены различные аспекты вовлечения студентов в учебный процесс: что студент ощущает во время учебы и как это влияет на процесс обучения. Мы также анализируем, каким образом ПОО поможет студентам стать специалистами, способными к обучению на протяжении всей жизни, каким образом они смогут войти в клиническое сообщество практикующих врачей и что студенту необходимо сделать для того, чтобы добиться максимальных результатов от обучения с использованием ПОО. В заключение мы обсудим, что необходимо знать и что нужно делать преподавателям для мотивации студентов к ПОО. Мы надеемся, что, вникнув в особенности участия студентов в ПОО, читатели поймут, как можно улучшить учебный процесс и как оптимизировать рабочее время преподавателей.

Что такое проблемно ориентированное обучение и зачем его используют?

Есть несколько теоретических точек зрения, важных для понимания процессов обучения взрослых людей и их применения в ПОО [80, 119]. В этом руководстве мы будем придерживаться конструктивистского подхода к обучению.

ПОО - это метод совместного обучения в малых группах, который впервые в медицинском образовании был использован в Университете МакМастера в конце 1960-х гг. Причиной перехода от традиционного медицинского обучения к ПОО были опасения, связанные с тем, что студенты разочаровывались в получаемом медицинском образовании, они были перегружены научной информацией, с их точки зрения не применимой в клинической практике [10].

В ПОО группам студентов (в среднем по 8 человек) обычно предоставляют клинический сценарий для проработки. Координатор направляет работу студентов в соответствии с 7-ступенчатым процессом [103], но основная задача координатора заключается во взаимодействии со студентами и в вовлечении их в процесс обучения.

Согласно Smidt, применение клинических сценариев не только повышает мотивацию студентов, но и облегчает дальнейший поиск знаний за счет специфичности кодирования, так как воспроизведение информации в будущем упрощается, если ситуация, в которой информация была получена, напоминает контекст, в котором ее надо будет применить (контекстная зависимость обучения) [106].

По возможности обучение не следует отделять от практики, т.е. контекст обучения должен быть максимально реалистичным [121]. По этим причинам в ходе педагогического проектирования основное внимание уделяется восприятию и действиям, а не запоминанию и воспроизведению информации.

Студентам требуется вспомнить известные им сведения о компонентах сценария и определить пробелы, которые необходимо ликвидировать для понимания/решения клинических проблем, - это формирует стратегию клинического мышления [81]. Согласно нашему пониманию когнитивной психологии, ключевая особенность памяти основана на механизме встраивания новой информации в имеющиеся информационные сети, а также на создание или укрепление связей между понятиями. Студентам проще формировать новые знания, когда они основываются на уже известной им информации или связаны с ней [135].

После первого урока ПОО перед следующим групповым семинаром студенты используют собственные средства и стратегии для получения требуемых знаний, идентифицированных в ходе занятия ПОО. В результате студент учится самостоятельно организовывать процесс своего обучения. Одна из важных особенностей ПОО - предоставление надлежащих ресурсов студентам. Не менее значим тот факт, что студенты знают, как получить к ним доступ.

В ходе следующего занятия ПОО группа продолжает совместно прорабатывать полученную информацию. В рамках ПОО сотрудничество крайне важно как с точки зрения социально-поведенческой мотивации, так и с когнитивной точки зрения [50, 107]. Одним из основных компонентов процесса ПОО является проработка результатов обучения, так как она способствует более глубокому усвоению информации и ее последующему сохранению [127], кроме того, на основе имеющихся знаний студенты могут генерировать новые идеи [108].

Помимо накопления знаний и понимания предмета, студентов с помощью ПОО учат бесконфликтному сотрудничеству. Это также помогает студентам, находящимся за пределами учебного сообщества, перейти условную границу и стать членом своей группы ПОО и практикующего сообщества [70]. Это важный элемент подготовки к работе в мультидисциплинарной группе в качестве врача (блок 1).

Блок 1. Выводы, подтверждающие положительные результаты проблемно ориентированного обучения (ПОО), основанные на результатах исследований

■ Студенты, окончившие обучение по программе ПОО, обладают схожими фактическими знаниями, но превосходят по результативности клинической деятельности студентов традиционного обучения [3, 122, 138], тем не менее они могут быть менее уверены в своих знаниях [137].

■ Процесс ПОО и более тесное взаимодействие между студентами и преподавательским составом позволяют учиться с удовольствием [121,131,132].

■ Студенты после программ ПОО в большей степени склонны к использованию доказательной медицины [122].

ПОО положительно влияет на компетенции врача, особенно на социальные и когнитивные аспекты, наиболее значимый эффект наблюдается в отношении культурных и этических вопросов [64, 80].

После программ ПОО выпускники способны к более результативной работе [110].

Как уже обсуждалось ранее, многие факторы свидетельствуют в пользу выбора ПОО, но фундаментальными аспектами дизайна любого учебного плана являются способы вовлечения студентов в стратегию обучения, а также ощущения, возникающие в результате этого у студентов.

Зачем студенту проблемно ориентированное обучение?

Студенты, поступившие в медицинский вуз, находятся в начале профессиональной карьеры врача. Многие студенты поступают в вузы, использующие ПОО, вдохновленные перспективами медицинского обучения в контексте клинических сценариев. В литературе мало данных о факторах, мотивирующих студентов к поступлению в такие медицинские учебные заведения, помимо стремления к большей независимости и гибкости по сравнению с предыдущим этапом обучения [140]. По нашему опыту, у студентов есть лишь туманные представления о том, что означает ПОО, и это несмотря на то, что в большинстве учебных заведений с ПОО в качестве основного элемента программы очень четко излагается сущность данного подхода. Мы полагаем, что есть ряд причин, по которым студенты могли бы выбрать вуз с ПОО: они могут предпочесть независимость в учебе, которая возможна в рамках вуза с ПОО, у них может быть неприязнь к дидактической системе обучения, их может привлекать ранний контакт с клинической практикой (частый элемент программ ПОО) либо они могут просто оказаться в вузе с ПОО, так как им предложили это место. Наши данные по Ливерпулю (Великобритания) (пока не опубликованные) позволяют предположить, что приблизительно 1/4 студентов, проходящих обучение по этой программе, при выборе нашего учреждения руководствовались какими-то иными соображениями, помимо дидактического подхода. Важно понимать, что не у всех студентов одинаковая мотивация, связанная с уровнем независимого обучения, необходимая для программы ПОО. По этим соображениям координаторы должны тщательно наблюдать за степенью формирования навыков независимого обучения и работы в группах своих студентов. Некоторым из них может потребоваться больше поддержки и помощи, чем обычно предлагается.

Влияние подхода ПОО на результативность работы студентов-выпускников стало предметом бурных споров, которые, без сомнения, будут продолжаться. Предполагается, что у студентов будет больше времени для освоения профессиональных навыков на этапе обучения в университете, т.е. они будут лучше подготовлены к своей роли в профессиональной практике по сравнению со студентами, оканчивающими обучение по стандартному учебному плану [101]. Согласно эмпирическим данным, ПОО влияет не только на типичные, связанные с ПОО компетенции в межличностном и когнитивном доменах, но и на более общие рабочие навыки, например на способность к более результативной работе [110].

По данным нескольких исследований, у студентов после ПОО отмечались лучшие межличностные навыки, например общение с пациентами, взаимодействие с другими медицинскими работниками, а также работа с пациентами с психосоциальными проблемами [5, 21, 86, 136]. Помимо этих результатов, основанных на сообщениях самих студентов, эксперты, у которых не было информации об обучении студентов, охарактеризовали выпускников ПОО как способных к более результативному общению с пациентами [145].

Что касается когнитивного домена, считается, что выпускники курсов с ПОО способны лучше решать возникающие проблемы. В частности, Dolmans и Smidt обнаружили несколько типов влияния ПОО на когнитивные аспекты обучения студентов: лучшее запоминание, более высокая интеграция базовых научных понятий и клинических проблем, формирование навыков самостоятельного обучения и большая заинтересованность студентов в предмете [30].

Опасения, связанные с более низкими оценками студентов на экзаменах по базовым дисциплинам, а также их меньшей подготовленностью по этим вопросам [81], не нашли своего подтверждения в более поздних исследованиях [91, 130], хотя, согласно нашему опыту, многие специалисты продолжают цитировать более ранние исследования. В основном в процессе перехода от студенческого этапа к статусу начинающего врача изучаются практические навыки. По сравнению с коллегами, при обучении которых не использовался подход ПОО, выпускники после ПОО выше оценивали связь своей медицинской учебы и практики (т.е. медицинское образование и готовность к практике) [91, 137]. По мнению Albanese и соавт., студенты, обучающиеся с использованием ПОО по сравнению с теми, кто обучался по стандартным учебным планам показывают лучшие результаты в проведении клинических осмотров и получают более высокие оценки при текущем контроле [2]. По данным Smidt и van der Molen (2001), выпускники ПОО считали себя лучше подготовленными к проведению совещаний и независимой работе по сравнению с их коллегами после других форм обучения [109]. Эта уверенность может быть обусловлена взаимосвязью между эмоциями, обучением и результативностью работы, что мы обсудим ниже.

Как студенты чувствуют себя в проблемно ориентированном обучении?

Взаимосвязь между обучением и ощущениями студентов

Чувства - это сложное понятие, которое связано с эмоциями, мотивацией и пониманием. Ощущения студента (его отношение к обучению) являются важным аспектом для любой образовательной практики. Хорошо изучена взаимосвязь между чувствами и мышлением, более 300 лет назад ее описал Декарт (1649).

Было проведено множество исследований для изучения влияния эмоций на когнитивные и мотивационные процессы. Изучалось влияние эмоций на хранение, обработку и воспроизведение усвоенной информации, в частности влияние на внутреннюю и внешнюю мотивацию к обучению. Эмоции указывались как один из основных компонентов триады "Познание (знание и понимание), Целенаправленные действия (мотивация) и Аффект (эмоция)", которая необходима для обучения [82] (рис. 1).

Рис. 1. Взаимосвязь между эмоциями, способностью к целенаправленным действиям (конацией) и познанием (когнитивной функцией) [48, 82]

Как видно из рис. 1, для обучения важны и мотивация (конация), и эмоции (аффект).

Несмотря на сложность эмоций человека, различные типы эмоций, испытываемые студентами, можно разделить на 2 категории: положительные и отрицательные. Дополнительно их можно классифицировать на активизирующие и дезактивирующие [83, 84]. Это помогает нам понять влияние 4 основных категорий эмоций на обучение. Например, скуку можно описать как отрицательный дезактивирующий аффект, в то время как тревожность может считаться отрицательным активизирующим аффектом, так как она способна мотивировать студентов к работе и учебе (скука подобным влиянием не обладает) (рис. 2).

Рис. 2. Различные категории эмоций применительно к учебной деятельности [83, 84]

Мотивация - это понятие, применяемое для объяснения направленности, интенсивности и устойчивости поведения. На мотивацию студентов в отношении их участия в (совместном) учебном процессе влияет множество факторов.

В ряде исследований был сделан вывод, что мотивация начинается с базовых потребностей для функционирования человека [72, 88, 97], которые включают потребность в самостоятельности, т.е. ощущение контроля собственного поведения; потребность во взаимодействии со средой и потребность в принадлежности к какой-либо группе [13].

Отсутствие любой из 3 базовых потребностей влечет за собой снижение мотивации и прочих когнитивных, аффективных и поведенческих индикаторов адаптивного функционирования [88]. Академическая мотивация является точным предиктором успеха или неудачи в учебе [25, 88, 93, 126], что подтверждает необходимость эмоций и академической мотивации для обучения.

Применительно к студентам важно помнить, что "каждый обучающийся уникален, и на процесс его учебы накладываются особенности интеллекта и эмоциональные факторы, которые сложно понять и самому студенту, и его преподавателям" [121].

Каждый студент уникален и обладает собственным типом личности. Тип личности также может влиять на его поведение в группе. Isabel Briggs Myers и Katharine Briggs выделили 16 типов личности, тем не менее, по их мнению, в разных обстоятельствах люди могут использовать все 8 характеристик. Таким образом, важно скорректировать учебную среду для реализации сильных сторон обучения и создания комфортных условий для каждого студента в группе [55]. Это особенно актуально для ситуации, когда предполагается совместная работа студентов в группе [89], так как различные типы личности характеризуются разными сильными сторонами.

Помимо разных типов личности у отдельных студентов в ПОО наблюдаются различные стили обучения, т.е. они пользуются разными способами для обработки новой информации и ее усвоения. Когнитивные, аффективные и физиологические характеристики студента определяют, как человек воспринимает информацию, взаимодействует с окружающей средой и реагирует на нее. Стили обучения можно определить как "личностные качества, влияющие на способность студента к усвоению информации, взаимодействию с другими студентами и с преподавателями" [42].

Был разработан ряд инструментов для оценки различий в особенностях обучения; наиболее распространены Опросник по стилям обучения по Kolb [65] и опросник по стилям обучения по Entwistle [37]. В настоящее время недостаточно опубликованной информации, непосредственно связанной со стилями обучения, применительно к ПОО. Тем не менее очень важно, чтобы преподаватели, основываясь на знаниях и понимании концепции стилей обучения, стремились поддержать баланс дидактических методов с целью удовлетворения потребностей обучающихся. Рост осведомленности студентов об особенностях обучения ведет к пониманию того, как улучшить работу группы, это способствует большей готовности помогать в учебе другим и принятию других стилей обучения [46].

На ощущения студента в ПОО можно взглянуть с 2 разных точек зрения: отдельные студенты и их реакции на ПОО и ощущения студента в группе ПОО.

References

1. Adams P. Exploring social constructivism: theories and practices. Education. 2006; 34: 243-57.

2. Albanese M. Problem-based learning: why curricula are likely to show little effect on knowledge and clinical skills. Med Educ. 2000; 34: 729-38.

3. Albanese M.A., Mitchell S. Problem-based learning: a review of literature on its outcomes and implementation issues. Acad Med. 1993; 68: 52-81.

4. Antepohl W., Domeij E., Forsberg P., Ludvigsson J. A follow-up of medical graduates of a problem-based learning curriculum. Med Educ. 2003; 37: 155-62.

5. Argote L., Mcevily B., Reagans R. Managing knowledge in organizations: an integrative framework and review of emerging themes. Manag Sci. 2003; 49: 571-82.

6. Arrow H., Poole M.S., Bouas Henry K., Wheelan S.A., et al. Time, change, and development: the temporal perspective on groups. Small Group Res. 2004; 35: 73-105.

7. Baldwin T.T., Bedell M.D., Johnson J.L. The social fabric of a team-based M.B.A. program: network effects on student satisfaction and performance. Acad Manag J. 1997; 40: 1369-97.

8. Bandura A. Self-efficacy: Toward a unifying theory of behavioral change. Psychol Rev. 1977; 84: 191-215.

9. Barron B. Achieving coordination in collaborative problem-solving groups. J Learning Sci. 2000; 9: 403-36.

10. Barrows H.S., Tamblyn R.M. Problem-based learning: an approach to medical education. New York: Springer, 1980.

11. Bate E., Taylor D.C.M. Student involvement in medical education - how can students become more involved? In: AMEE Conference 2011. Vienna, 2011.

12. Bate E., Taylor D.C.M. Twelve tips on how to survive PBL as a medical student. Med Teach. 2013; 35: 95-100.

13. Baumeister R.F., Leary M.R. The need to belong: desire for interpersonal attachments as a fundamental human motivation. Psychol Bull. 1995; 117 (3): 497-529.

14. Belenky M.F., Clinchy B.M., Goldberger N.R., Tarule J.M. Women’s ways of knowing: the development of self, voice and mind. New York: Basic Books, 1997.

15. Betalden P., Leach D., Swing S., Dreyfus H., et al. General competencies and accreditation in graduate medical education. Health Aff. 2002; 21: 103-11.

16. Bornstein G. The free-rider problem in intergroup conflicts over step-level and continuous public goods. J Pers Soc Psychol. 1992; 62: 597-606.

17. Bossche P.V.D., Gijselaers W.H., Segers M., Kirschner P.A. Social and cognitive factors driving teamwork in collaborative learning environments: team learning beliefs and behaviors. Small Group Res. 2006; 37: 490-521.

18. Bouhuijs P.A.J., Gijselaers W.H., Kerkhofs B. The use of group data to trace the influence of individual students on group functioning [Online]. Maastricht: Maastricht University, 1984. URL: http://arno.unimaas.nl/show.cgi?fid=13966. (date of access August 30, 2011)

19. Bruffee K.A. Collaborative learning and the "conversation of mankind". College English. 1984; 46: 635-52.

20. Bryant P. The role of conflict and of agreement between intellectual strategies in children’s ideas about measurement. Br J Psychol. 1982; 73: 243-51.

21. Busari J.O., Scherpbier A.J.J.A., Boshuizen H.P.A. Comparative study of medical education as perceived by students at three Dutch universities. Adv Health Sci Educ Theory Pract. 1997; 1: 141-51.

22. Cave J., Goldacre M., Lambert T., Woolf K., et al. Newly qualified doctors’ views about whether their medical school had trained them well: questionnaire surveys. BMC Med Educ. 2007; 7: 38.

23. Clark H.H., Schaeffer E.F. Contributing to discourse. Cogn Sci. 1989; 13: 259-94.

24. Cross R., Liedtka J., Weiss L. A practical guide to social networks. Harvard Business Rev. 2005; 83; 124-32.

25. Deci E.L., Vallerand R.J., Pelletier L.G., Ryan R.M. Motivation and education: the self-determination perspective. Educ Psychol. 1991; 26: 325-46.

26. Decuyper S., Dochy F., Bossche P.V.D. Grasping the dynamic complexity of team learning: an integrative model for effective team learning in organisations. Educ Res Rev. 2010; 5: 111-33.

27. Descartes R. Passions of the Soul: essential works of Descartes. New York: Bantam Books, 1649.

28. Dillenbourg P., Baker M., Blaye A., O’Malley C. The evolution of research on collaborative learning. In: E. Spada, P. Reiman (eds). Learning in Humans and Machine: Towards an Interdisciplinary Learning Science. Oxford: Elsevier, 1996.

29. Dolmans D.H., Wolfhagen I.H., Van Der Vleuten C.P., Wijnen W.H. Solving problems with group work in problem-based learning: hold on to the philosophy. Med Educ. 2001; 35: 884-9.

30. Dolmans D.H.J.M., Schmidt H.G. The advantages of problem-based curricula. Postgrad Med J. 1996; 72: 535-8.

31. Dolmans D.H.J.M., Wolfhagen I.H.A.P., Van der Vleuten C.P.M. Thinking about student thinking: motivational and cognitive processes influencing tutorial groups. Acad Med Suppl. 1998; 73: S22-4.

32. Dreu C.K.W.D., Weingart L.R. Task versus relationship conflict, team performance and team member satisfaction: a meta-analysis. J Appl Psychol. 2003; 88: 741-9.

33. Duvivier R., Van Dalen J., Rethans J.J. Communication skills. In: Lessons from Problem-Based Learning. Oxford: Oxford University Press, 2010: 97-105.

34. Dyson R., Renk K. Freshmen adaptation to university life: depressive symptoms, stress and coping. J Clin Psychol. 2006; 62: 1231-44.

35. Edmondson A. Psychological safety and learning behaviour in work teams. Adm Sci Q. 1999; 44: 350-83.

36. Edmondson A. Speaking up in the operating room: how team leaders promote learning in interdisciplinary action teams. J Manag Stud. 2003; 40: 1419-52.

37. Entwistle N.J., Ramsden P. Understanding student learning, London: Croom Helm, 1982.

38. Evans P.A., Taylor D.C. Staff development of tutor skills for problem-based learning. Med Educ. 1996; 30: 365-6.

39. Evensen D.H., Hmelo C.E. (eds). Problem based learning: a research perspective on learning interactions. Mahwah NJ: Lawrence Erlbaum Associates, 2000.

40. Forsyth D.R. Group dynamics. Belmont, CA: Thomson Information/Publishing Group, 1983.

41. Frank J.R., Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007; 29: 642-7.

42. Grasha A. Teaching with style: A practical guide to enhancing learning by understanding learning and teaching styles. New York: Alliance Publishers, 1996.

43. Greeno J., Collins A., Resnick L. Cognition and learning. In: D. Berliner, R. Calfee (eds). Handbook of Educational Psychology. New York: Macmillan, 1996.

44. Hackman J.R. Group influences on individuals in organizations. In: M.D. Dunette, L.M. Hugh (eds). Handbook of Industrial and Organizational Psychology. Palo Alto, CA: Consulting Psychologists, 1992.

45. Harrington B., Fine G.A. Where the action is: small groups and recent developments in sociological theory. Small Group Res. 2006; 37: 4-19.

46. Hendry G.D., Hyde S.J., Davy P. Independent student study groups. Med Educ. 2005; 39: 672-9.

47. Hickey D.T. Engaged participation versus marginal nonparticipation: a stridently sociocultural approach to achievement motivation. Elem School J. 2003; 103: 401-29.

48. Hilgard E.R. The trilogy of mind: cognition, affection, and conation. J History Behav Sci. 1980; 16: 107-17.

49. Hinsz V.B., Tindale R.S., Vollrath D.A. The emerging conceptualization of groups as information processes. Psychol Bull. 1997; 121: 43-64.

50. Hmelo-Silver C.E. Problem-based learning: what and how do students learn? Educ Psychol Rev. 2004; 16: 235-66.

51. Hommes J., Rienties B., De Grave W., Bos G., et al. Visualising the invisible: the impact of informal interaction on student learning. Adv Health Sci Educ. 2012; 17 (5): 743-57.

52. Hommes J., Van De Bossche P., De Grave W., Bos G., et al. Group development in a collaborative learning environment. 2012.

53. Järvelä S., Volet S., Järvenoja H. Research on motivation in collaborative learning: moving beyond the cognitive-situative divide and combining individual and social processes. Educ Psychol. 2010; 45: 15-27.

54. Jeong H.W.N., Chi M.T.H. Knowledge convergence and collaborative learning. Instr. Sci. 2007; 35: 287-315.

55. Jessee S.A., O’Neill P.N., Dosch R.O. Matching student personality types and learning preferences to teaching methodologies. J Dent Educ. 2006; 70: 644-51.

56. Jippes E., Achterkamp M.C., Brand P.L.P., Kiewiet D.J., et al. Disseminating educational innovations in health care practice: training versus social networks. Soc Sci Med. 2010; 70: 1509-17.

57. Johnson D.W., Johnson R.T. Social interdependence theory and university instruction: theory into practice. Swiss J Psychol. 2002; 61: 119-29.

58. Johnson D.W., Johnson R.T., Smith K. The state of cooperative learning in postsecondary and professional settings. Educ Psychol Rev. 2007; 19: 15-29.

59. Johnson E. Increasing teacher effectiveness within normal budget restraints. J Econ Educ. 1975.

60. Kelly P. Achieving desirable group-work outcomes through the group allocation process. Team Performance Manag. 2008; 14: 22-38.

61. Khoo H.E. Implementation of problem-based learning in Asian medical schools and students’ perceptions of their experience. Med Educ. 2003; 37: 401-9.

62. Kloss R.J. A nudge is best: Helping students through the Perry Scheme of intellectual development. Coll Teach. 1994; 42: 151-8.

63. Knowles M.S. Self-directed learning: a guide for learners and teachers. Englewood Cliffs: Prentice Hall/Cambridge, 1975.

64. Koh G.C., Khoo H.E., Wong M.L., Koh D. The effects of problem-based learning during medical school on physician competency: a systematic review. Can Med Assoc J. 2008; 178: 34-41.

65. Kolb D. Experimental learning. Englewood Cliffs: Prentice-Hall, 1984.

66. Krause K.-L. The University Essay Writing Experience: a pathway for academic integration during transition. Higher Educ Res Dev. 2001; 20: 147-68.

67. Land R., Meyer J.H.F., Smith J. Threshold concepts within the disciplines. Rotterdam, Taipei: Sense Publishers, 2008.

68. Larson J.R. In search of synergy in small group performance. London: Psychology Press, 2009.

69. Latane B., Williams K., Harkins S. Many hands make light the work: the causes and consequences of social loafing. J Pers Soc Psychol. 1979; 37: 822-32.

70. Lave J., Wenger E. Situated learning: legitimate peripheral participation. Cambridge: Cambridge University Press, 1991.

71. Leung W. Learning in practice. BMJ. 2002; 325: 693-6.

72. Locke E.A. The motivation sequence, the motivation hub, and the motivation core. Organizational Behav Hum Decision Processes. 1991; 50: 288-99.

73. Lurie S.J., Fogg T.T., Dozier A.M. Social network analysis as a method of assessing institutional culture: three case studies. Acad Med. 2009; 84: 1029-35.

74. Mathieu J., Maynard M.T., Rapp T., Gilson L. Team effectiveness 1997-2007: a review of recent advancements and a glimpse into the future. J Manag. 2008; 34: 410-76.

75. Maudsley G., Williams E.M., Taylor D.C. Problem-based learning at the receiving end: a "mixed methods" study of junior medical students’ perspectives. Adv Health Sci Educ Theory Pract. 2008; 13: 435-51.

76. Meyers I.B. The Myers-Briggs type indicator. Palo Alto, CA: Consulting Psychologists Press, 1962.

77. Miflin B.M., Campbell C.B., Price D.A. A conceptual framework to guide the development of self-directed, lifelong learning in problem-based medical curricula. Med Educ. 2000; 34: 299-306.

78. Moust J.H.C., Berkel H.J.M., Schmidt H.G. Signs of erosion: reflections on three decades op problem-based learning at Maastricht University. Higher Educ. 2005; 50: 665-83.

79. Mpofu D.J.S., Das M., Stewart T., Dunn E., et al. Perceptions of group dynamics in problem-based learning sessions: a time to reflect on group issues. Med Teach. 1998; 20: 421-6.

80. Norman G. Problem-based learning makes a difference. But why? Can Med Assoc J. 2008; 178: 61-2.

81. Norman G.R., Schmidt H.G. The psychological basis of problem-based learning: a review of the evidence. Acad Med. 1992; 67: 557-65.

82. Op’t Eynde P., Turner J. Focusing on the complexity of emotion issues in academic learning: a dynamical component systems approach. Educ Psychol Rev. 2006; 18: 361-76.

83. Pekrun R. The impact of emotions on learning and achievement: towards a theory of cognitive/motivational mediators. Appl Psychol. 1992; 41: 359-76.

84. Pekrun R., Goetz T., Titz W., Perry R.P. Academic emotions in students’ self-regulated learning and achievement: a program of qualitative and quantitative research. Educ Psychol. 2002; 37: 91-105.

85. Perry W.J. Forms of ethical and intellectual development in the college years. San Fransisco: Jossey-Bass, 1999.

86. Peters A.S., Greenberger-Rosovsky R., Crowder C., Block S.D., et al. Long-term outcomes of the new pathway programme at Harvard Medical School: a randomised control trial. Acad Med. 2000; 75: 470-9.

87. Peterson E., Mitchell T.R., Thompson L., Burr R. Collective efficacy and aspects of shared mental models as predictors of performance over time in work groups. Group Processes Intergroup Relations. 2000; 3: 296-316.

88. Pintrich P.R. A motivational science perspective on the role of student motivation in learning and teaching context. J Educ Psychol. 2003; 95: 667-86.

89. Pittenger D.J. The utility of the Myers-Briggs type indicator. Rev Educ Res. 1993; 63: 467-88.

90. Polyzois I., Claffey N., Attström R., Kelly A., et al. The role of the curriculum and other factors in determining the medium-to long-term attitude of the practicing dentist towards lifelong learning. Eur J Dent Educ. 2010; 14: 84-91.

91. Prince K.J.A.H., Van Mameren H., Hylkema N., Drukker J., et al. Does problem-based learning lead to deficiencies in basic science knowledge? An empirical case on anatomy. Med Educ. 2003; 37: 15-21.

92. Rienties B., Tempelaar D., Lichel L., Pinckaers M., et al. The diverging effects of social network sites on receiving job information for students and professionals. Int J Sociotechnol Knowledge. 2010; 2: 39-53.

93. Rienties B., Tempelaar D.T., Bossche P.V.D., Gijselaers W.H., et al. The role of academic motivation in computer supported collaborative learning. Comput Hum Behav. 2009; 2009: 6.

94. Roschelle J. Learning by collaborating: convergent conceptual change. J Learning Sci. 1992; 2: 235-76.

95. Roschelle J., Teasley S.D. The construction of shared knowledge in collaborative problem solving. In: C. E. O’Malley (ed.). Computer Supported Collaborative Learning. Berlin: Springer-Verlag, 1995.

96. Royal College of Physicians. Doctors in society. Medical professionalism in a changing world. Clin Med. 2005; 5: S5-40.

97. Ryan R.M., Deci E.L. Self-determination theory and facilitation of intrinsic motivation, social development and well-being. Am Psychol. 2000; 55: 68-78.

98. Salas E., Stagl K.C., Burke C.S., Goodwin G. Fostering team effectiveness in organizations: toward an integrative theoretical framework. In: Modeling Complex Systems. Nebraska, 2007.

99. Salomon G., Globerson T. When teams do not function the way they ought to. Int J Educ Res. 1989; 13: 89-99.

100. Sandars J., Cleary T. AMEE Guides in Medical Education No 58. Self-regulation theory: applications to medical education. Med Teach. 2011; 33 (11): 875-86.

101. Santos-Gomez L., Kalishman S., Rezler A.G., Skipper B., et al. Residency performance of graduates from a problem-based and a conventional curriculum. Med Educ. 1990; 24: 366-75.

102. Savery J.R., Duffy, T.M. Problem-based learning: an instructional model and its constructivist framework. Bloomington: Centre for Research on Learning and Technology, 2001.

103. Schmidt H.G. Problem-based learning: rationale and description. Med Educ. 1983; 17: 11-6.

104. Schmidt H.G. Foundations of problem-based learning: some explanatory notes. Med Educ. 1993; 27: 422-32.

105. Schmidt H.G. Assumptions underlying self-directed learning may be false. Med Educ. 2000; 34: 243-5.

106. Schmidt H.G., Boshuizen H.P.A. On acquiring expertise in medicine. Educ Psychol Rev. 1993; 5: 205-21.

107. Schmidt H.G., Loyens S.M.M., Van Gog T., Paas F. Problem-based learning is compatible with human cognitive architecture: commentary on Kirschner, Sweller and Clark. Educ. Psychol. 2006; 42: 91-7.

108. Schmidt H.G., Rotgans J.I., Yew E.H. The process of problem-based learning: what works and why. Med Educ. 2011; 45: 792-806.

109. Schmidt H.G., Van der Molen H.M. Self-reported competency ratings of graduates of a problem-based learning medical curriculum. Acad Med. 2001; 76: 466-8.

110. Schmidt H.G., Vermeulen L., Van der Molen H.T. Long-term effects of problem-based learning: a comparison of competencies acquired by graduates of a problem-based and a conventional medical school. Med Educ. 2006; 40: 562-7.

111. Sheppard C., Gilbert J. Course design, teaching method and student epistemology. Higher Educ. 1991; 22: 229-49.

112. Shin J.H., Haynes R.B., Johnston M.E. Effect of problem-based self-directed undergraduate education on lifelong learning. Can Med Assoc J. 1993; 148: 969-76.

113. Slavin R.E. When and why does cooperative learning increase achievement? Theoretical and empirical perspectives. In: R.E. Slavin (ed.) Cooperative Learning. Needham Heights, Massachusettes: A Simon and Schuster, 1995.

114. Slavin R.E. Research on cooperative learning and achievement: what we know, what we need to know. Contemp Educ Psychol. 1996; 21: 43-69.

115. Smith G. Group development: a review of the literature and a commentary on future research directions. Group Facilitation (A Research and Applications J). 2001; 3: 14-46.

116. Stage F.K. Reciprocal effects between the academic and social integration of college students. Res Higher Educ. 1989; 30: 517-30.

117. Stahl R.J. The essential elements of cooperative learning in the classroom. ERIC Digest. ERIC Development Team, 1994. URL: http://www.eric.ed.gov.

118. Stajkovic A.D., Nyberg A.J., Lee D. Collective efficacy, group potency, and group performance: meta-analyses of their relationships and test of a mediation model. J Appl Psychol. 2009; 94: 814-28.

119. Taylor D.C.M., Hamdy H. AMEE Guide No. 83. Adult learning theories: Implications for learning and teaching in medical education. Med Teach. 2013; 35: e1561-72.

120. Taylor D.C.M. The students did that? In: P. Schwartz, S. Mennin., G. Webb (eds). Problem-Based Learning: Case Studies, Experience and Practice. London: Kogan Page, 2001.

121. Taylor D.C.M., Miflin B. AMEE Guides in Medical Education. No 36. Problem-based learning: where are we now? Med Teach. 2008; 30: 742-63.

122. Thomas R.E. Problem-based learning: measurable outcomes. Med Educ. 1997; 31: 320-9.

123. Tolnai S. Continuing medical education and career choice among graduates of problem-based and traditional curricula. Med Educ. 1991a; 25: 414-20.

124. Tolnai S. Lifelong learning habits of physicians trained at an innovative medical school and a more traditional medical school. Acad Med. 1991b; 66: 425-6.

125. Traum D.R., Dillenbourg P. Towards a normative model of grounding in collaboration. In: ESSLLI-98 Workshop on Mutual Knowledge, Common Ground and Public Information. Saarbrucken, Germany, 1998.

126. Vallerand R.J., Bissonette R. Intrinsic, extrinsic and amotivational styles as predictors of behavior: a prospective study. J Pers. 1992; 60: 599-620.

127. Van Blankenstein F.M., Dolmans D.H.J.M., Van der Vleuten C.F.M., Schmidt H.G. Which cognitive processes support learning during small group discussion? The role of providing explanations and listening to others. Instruct Sci. 2011; 39: 189-204.

128. Van Boxtel C., Van der Linden J., Kanselaar G. Collaborative learning tasks and the elaboration of conceptual knowledge. Learning Instruct. 2000; 10: 311-30.

129. Van Meter P., Stevens R. The role of theory in the study of peer collaboration. J Exp Educ. 2000; 69: 113-27.

130. Verhoeven B.H., Verwijnen G.M., Scherpbier A.J.J.A., Holdrinet R.S.G., et al. An analysis of progress test results of PBL and non-PBL students. Med Teach. 1998; 20: 310-6.

131. Vernon D.T., Blake R.L. Does problem-based learning work? A meta-analysis of evaluative research. Acad Med. 1993; 68: 550-63.

132. Vernon D.T., Hosokawa M.C. Faculty attitudes and opinions about problem-based learning. Acad Med. 1996; 71: 1233-8.

133. Visschers-Pleijers A.J.S.F., Dolmans D.H.J.M., De Leng B.A., Wolfhagen H.A.P., et al. Analysis of verbal interactions in tutorial groups: a process study. Med Educ. 2006; 40: 129-37.

134. Visschers-Pleijers A.J.S.F., Dolmans D.H.J.M., Wolfhagen H.A.P., Van der Vleuten C.P.M. Student perspectives on learning-oriented interactions in the tutorial group. Adv Health Sci Educ. 2005; 10: 23-35.

135. Vygotsky L.S. Interaction between learning and development. In: Mind and Society: The Development of Higher Psychological Processes. Cambridge, MA: Harvard University Press, 1978: 79-91. Gauvain M., Cole M. (eds.) Readings on the development of children. New York: W.H. Freeman and Company, 1997.

136. Watmough S.D., Garden A.S., Taylor D.C.M. Pre-registration house officers’ views on studying under a reformed medical curriculum in the UK. Med Educ. 2006; 40: 893-9.

137. Watmough S.D., O’Sullivan H., Taylor D.C.M. Graduates from a reformed undergraduate medical curriculum based on Tomorrow’s Doctors evaluate the effectiveness of their curriculum 6 years after graduation through interviews. BMC Med Educ. 2010; 10: 65.

138. Watmough S.D., Taylor D.C.M., Garden A.S. Educational supervisors evaluate the preparedness of graduates from a reformed UK curriculum to work as pre-registration house officers (PRHOs): a qualitative study. Med Educ. 2006; 40: 995-1001.

139. Watmough S.D., Taylor D.C.M., Garden A.S., Ryland I. Educational supervisors’ views on the competencies of preregistration house officers. Br J Hosp Med. 2006; 67: 92-5.

140. Way D.P., Hudson A., Biagi B. Comparison of three parallel, basic science pathways in the same medical college. Acad Med. 2000; 75: S118-20.

141. Webb N.M., Troper J.D., Fall R. Constructive activity and learning in collaborative small groups. J Educ Psychol. 1995; 87: 406-23.

142. Wenger E. Communities of practice: learning, meaning, and identity. Cambridge: Cambridge University Press, 1998.

143. Wheelan S.A., Davidson B., Tilin F. Group development across time. Reality or illusion? Small Group Res. 2003; 34: 223-45.

144. Wheelan S.A., Lisk A.R. Cohort group effectiveness and the educational achievement of adult undergraduate students. Small Group Res. 2000; 31: 724-38.

145. Woodward C.A., Mcauley R.G. Can the academic background of medical graduates be detected during internship? Can Med Assoc J. 1983; 129: 567-9.