Быстрая система оценки образовательной среды университета Данди (Dundee Ready Education Environment Measure, DREEM): обзор ее использования и внедрения в практику

Резюме

Общие сведения. Быстрая система оценки образовательной среды, разработанная в Университете Данди (Dundee Ready Education Environment Measure, опросник DREEM), впервые была опубликована в 1997 г. и рассматривалась в качестве инструмента, позволяющего оценить образовательную среду как в высших медицинских учебных заведениях, так и в других образовательных институтах в сфере здравоохранения. Более того, в недавнем обзоре международные эксперты пришли к заключению, что опросник DREEM является наиболее подходящим оценочным инструментом и может быть рекомендован к использованию.

Цели - изучить характеристики образовательной среды, определить параметры по отношению к которым проводился опрос, оценить методологию анализа и представления данных для наиболее эффективного использования опросника в будущем.

Методика. Систематический обзор всех публикаций, в которых приводились результаты анкетирования DREEM, был проведен в промежутке с 1997 г. по 4 января 2011 г. с использованием базы данных Web of Knowledge.

Результаты. В ходе обзора были отобраны 40 публикаций из 20 стран. Система оценки DREEM в основном использовалась в диагностических целях, для проведения сравнительного анализа между группами, а также для анализа полученных данных на соответствие идеальным/ожидаемым результатам. При проведении анализа применялись различные непараметрические и параметрические методы статистической обработки данных, однако обращает на себя внимание отсутствие последовательности и единого подхода в их использовании.

Заключение. Опросник DREEM используется в международных масштабах и рассматривается пользователями как ценный диагностический инструмент в оценке эффективности образовательной среды. Однако порядок представления и методы анализа данных в публикациях разнятся. Отсутствие единообразных подходов затрудняет проведение сравнительного анализа между медицинскими образовательными учреждениями. Большинство экспертов, пользующихся системой оценки DREEM, не являются специалистами в вопросах статистического анализа, в силу чего необходимы более содержательные рекомендации по обработке данных и изложению результатов.

Перевод с английского под редакцией кандидата медицинских наук Авакян Э.И.

Susan Miles, Louise Swift & Sam J. Leinster (2012) The Dundee Ready Education Environment Measure (DREEM): A review of its adoption and use, Medical Teacher, 34:9, e620-e634, DOI: 10.3109/0142159X.2012.668625

Многочисленные исследования показывают, что образовательная среда, в которую погружается студент, во многом определяет его успеваемость, удовлетворенность процессом обучения и способствует формированию положительного образа выбранной профессии (Plucker, 1998; Pimparyon et al., 2000; Genn, 2001; Lizzio et al., 2002, Audin et al., 2003; Mayya, Roff, 2004). Измеряя образовательную среду с помощью разработанных и валидированных инструментов, мы можем во многом ее изменить, что в итоге позволит улучшить качество медицинского образования (Genn, Harden, 1986). Нововведения в учебных медицинских программах и все большее разнообразие студентов вызывают немалый интерес и понимание необходимости оценки эффективности образовательной среды в медицинских вузах (Miles, 2011).

Практические выводы

- Система DREEM была разработана для оценки образовательной среды в системе высшего медицинского образования и была рекомендована к применению в качестве наиболее подходящего инструмента для изучения данной цели.

- Система DREEM переведена на 8 международных языков и используется в 20 странах мира.

- Система DREEM применяется для выявления недостатков в существующей образовательной среде для сравнения оценки восприятия образовательной среды между группами студентов и сопоставления полученных данных с идеальными/ожидаемыми результатами в рамках одной группы. DREEM также используется для изучения взаимосвязи образовательной среды с другими оценочными критериями.

- Методика анализа данных DREEM лишена последовательности в интерпретации результатов.

- Повышение прозрачности и стандартизация анализа данных позволили бы проводить корректные сравнения между медицинскими учебными учреждениями и внедрять разработанные методики в существующие практики.

Система оценки образовательной среды, разработанная в Университете Данди (The Dundee Ready Education Environment Measure, DREEM), создавалась для анализа образовательной среды в медицинских институтах и в других учреждениях, где ведется подготовка медицинских работников (Roff et at., 1997). Она была разработана более 10 лет назад с использованием дельфийского метода экспертной оценки преподавателями международных медицинских институтов и других учреждений в сфере медицинского образования и впоследствии тестировалась с целью валидации на студентах из разных стран. В настоящее время существует ряд других схожих оценочных инструментов, включая прототип DREEM - систему MEEM (Система оценки образовательной среды в медицинском образовании, Medical Education Environment Measure), и несколько позднее разработанных инструментов, относящихся к отдельным видам постдипломного медицинского образования: PHEEM (Система оценки образовательной среды на этапе постдипломного образования в условиях клинической практики, Postgraduate Hospital Educational Environment Measure), STEEM (Система оценки образовательной среды в условиях операционного блока, Surgical Theatre Educationat Environment Measure) и ATEEM (Система оценки образовательной среды в анестезиологическом отделении, Anaesthetic Theatre Educationat Environment Measure).

Система DREEM представляет собой опросник, состоящий из 50 утверждений закрытого типа, которые сгруппированы в 5 нижеследующих подрубрик:

I. Восприятие студентами процесса обучения (12 утверждений).

II. Восприятие студентами роли преподавателей в образовательном процессе (11 утверждений).

III. Восприятие студентами собственной академической успеваемости (8 утверждений).

IV. Восприятие студентами образовательной атмосферы (12 утверждений).

V. Социальное самовосприятие и взаимодействие со средой (7 утверждений).

Каждое из 50 утверждений оценивается по 5-балльной шкале со следующими вариантами ответов: "Полностью согласен" (4), "Согласен" (3), "Не уверен" (2) (в некоторых публикациях используется формулировка "Не вполне уверен"), "Не согласен" (1) и "Совершенно не согласен" (0). Для негативных утверждений 4, 8, 9, 17, 25, 35, 39, 48 и 50 используется обратное оценочное кодирование ответов от 0 ("Полностью согласен") до 4 ("Совершенно не согласен"). Таким образом, более высокий балл означает более положительную оценку. Максимальный балл в системе DREEM равен 200, что соответствует идеальной образовательной среде.

Результаты, полученные при использовании опросника DREEM, могут рассматриваться на 3 уровнях: (i) отдельные утверждения, (ii) подрубрики и (iii) общий показатель DREEM. Исходные баллы, полученные для утверждений, входящих в каждую из 5 подрубрик, суммируются для каждого участника, а затем выводится среднее значение этого суммарного показателя в рамках соответствующей подрубрики. Для вычисления общего показателя DREEM необходимо сложить суммарные показатели для всех подрубрик. Исследование отдельных утверждений посредством вычисления среднего значения показателя по всем участникам позволяет выявить сильные и слабые места той или иной образовательной среды.

В оригинальной статье, где впервые описывалась система оценки образовательной среды DREEM, разработавшие ее авторы приводили общие показатели, а также показатели для отдельных подрубрик в процентном отношении от максимально возможного значения в баллах, без четких рекомендаций по интерпретации полученных результатов. В дальнейшем авторы опросника DREEM (Mcaleer, Roff, 2001) разработали рекомендации по анализу полученных данных на каждом из трех изучаемых уровней. Они представляют описание диапазона значений показателей для DREEM в целом и для каждой из 5 подрубрик. Немного об отдельных утверждениях: те из них, для которых средний показатель составляет г3,5, указывают на сильные стороны образовательной среды; утверждения со средним показателем "2,0 требуют пристального внимания, а утверждения со средними показателями от 2 до 3 указывают на свойства образовательной среды, которые могут быть улучшены. Однако разработчики не предложили никаких рекомендаций в отношении того, как анализировать результаты DREEM на каждом из 3 уровней в том случае, если специалисты в области медицинского образования хотят сравнить, например, разные группы студентов или изменения с течением времени для одной и той же группы студентов.

Система DREEM используется в Медицинской школе Норвича, Университет Восточной Англии (University of East Anglia, UEA) в рамках ежегодного процесса оценки образовательной среды (сравниваются тенденции развития с течением времени и в зависимости от курса обучения), а также для сравнения результатов опроса с другими медицинскими учебными заведениями. Однако в процессе использования DREEM мы выявили, что существует значительная непоследовательность в том, как излагаются и анализируются результаты DREEM, что затрудняет проведение сравнительного анализа между учреждениями.

Цель настоящего исследования заключалась в проведении систематического обзора данных по использованию инструмента оценки образовательной среды DREEM за 10 лет с момента его разработки для того, чтобы понять, как специалисты оценивают, сравнивают и интерпретируют полученные результаты. Для достижения этой цели, мы отобрали статьи с опубликованными результатами по использованию DREEM, изучили условия применения и подходы, которые использовались для представления и анализа данных.

Метод

29 марта 2010 г. был проведен поиск научной литературы с использованием системы Web of Knowledge со всеми базами данных (включая Web of Science и MEDLINE); 15 ноября 2010 г. и 4 января 2011 г. был выполнен повторный поиск. При поиске использовались следующие термины: "DREEM", "Быстрая система оценки образовательной среды, разработанная в Университете Данди" и "Быстрая система оценки среды образования, разработанная в Университете Данди". Дополнительные статьи, посвященные DREEM, были выявлены при просмотре списков литературы в статьях, отобранных в базах данных Web of Knowledge. Отбирали статьи исключительно на английском языке, не включали дискуссии, письма, а также магистерские и кандидатские диссертации. В обзор были включены только те статьи, в которых описывалось применение системы DREEM. Статьи, в которых описывались системы MEEM, PHEEM, STEEM и ATEEM, не были включены в обзор. Публикации, где сообщалось о переводе DREEM на иностранные языки и/или о валидации опросника для иностранного языка или другой группы медицинских работников, включали только в том случае, если приводились данные по результатам использования DREEM. Таким образом, в обзор не включали статьи, если в них приводились результаты, связанные только с разработкой самой системы: факторный анализ, оценка внутренней согласованности; или если в статье подчеркивалось, что приводимые данные не отражали реальную оценку образовательной среды, а были лишь получены в целях валидации (как, например, в статье Dimoliatis et al., 2010). Это позволило отобрать 40 опубликованных статей, в которых подробно описывались результаты исследования с использованием DREEM. Был проведен систематический обзор при помощи специально разработанного бланка для извлечения данных. Двое авторов прочли все отобранные статьи, чтобы удостовериться в их соответствии критериям включения в систематический обзор, и определить, какую информацию следует приводить в сводной таблице.

Результаты

В таблице кратко описаны отобранные в ходе данного обзора статьи. Приведены данные, касающиеся общей цели в рамках каждой статьи и конкретной цели (целей), связанных с применением DREEM; размер и тип выборки; страна, где собирались данные, и язык, на котором заполнялся опросник DREEM (в случаях, когда указывалось, что язык был не английский), а также методы анализа полученных данных.

В 40 статьях, опубликованных в рецензируемых журналах, было выявлено, что система оценки DREEM использовалась в 20 странах: Австралия, Бразилия, Канада, Чили, Китай, Индия, Иран, Ирландия, Япония, Кувейт, Малайзия, Непал, Нигерия, Саудовская Аравия, Сингапур, Шри-Ланка, Швеция, Турция, Великобритания и страны Вест-Индии, в то время как сам опросник DREEM последний был переведен на 8 языков: арабский, китайский, японский, персидский, португальский, испанский, шведский, турецкий.

Чаще всего система оценки DREEM использовалась в отношении студентов медицинских институтов (31 статья), включая выпускников (интернов/ординаторов) (Bassaw et al., 2003; de Oliveira Filho et al., 2005a; 2005b; de Oliveira Filho, Schonhorst, 2005; de Oliveira Filho, Vieira, 2007; Tokuda et al., 2010), а также в отношении будущих медицинских сестер (Wang et al., 2009), стоматологов (Thomas et al., 2009), мануальных терапевтов (Till, 2004, 2005) и преподавателей медицинских учебных учреждений (Miles, Leinster, 2009).

Cводные данные исследований, в которых использовали систему DREEM

Автор(-ы) (год публикации)

Заявленные цели

Выборка и условия

Страна, язык

Представление, анализ, интерпретация данных

Abraham et al. (2007)

Сравнить оценочные суждения студентов с хорошей и плохой успеваемостью, а также оценить гендерные различия

100 из 108 студентов-медиков на стадии клинической практики в Медицинском колледже Мелака-Манипал (Melaka Manipal) Индии; 72 студента с хорошей успеваемостью, 28 студентов с плохой успеваемостью (с неудовлетворительным результатом какого- либо экзамена за последние 2 года), 58 мужчин и 42 женщины.

Индия

Средние значения показателей для утверждений (для всех 50) (и стандартное отклонение, SD), подрубрик и общего показателя приводились для студентов с хорошей и плохой успеваемостью. Средние (и SD) значения показателей для утверждений приводились для мужчин и женщин, отдельно по статусу успеваемости в случае статистически значимых различий.

Использовался критерий Стьюдента в отношении средних показателей по подрубрикам и утверждениям для сравнения студентов с хорошей и плохой успеваемостью, мужчин и женщин. Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001).

Abraham et al. (2008)

Сравнить студентов первого года обучения и студентов на стадии клинической практики, а также оценить гендерные различия

108 студентов-медиков на стадии клинической практики (58 мужчин и 42 женщины) и 118 студентов первого года обучения (56 мужчин и 55 женщин) в Медицинском колледже Мелака-Манипал (Melaka Manipal) Индии.

Данные собраны в июле 2006 г.

Индия

Средние значения показателей для утверждений (для всех 50) (и SD), подрубрик и общего показателя DREEM приводились по отдельности для двух групп студентов. Средние (и SD) значения показателей для утверждений приводились для мужчин и женщин в случае статистически значимых различий.

Для средних значений общего показателя, показателей по подрубрикам и показателей для отдельных утверждений использовали критерий Манна-Уитни с целью сравнения студентов разных лет обучения, а также мужчин и женщин.

Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001)

Aghamolaei, Fazel (2010)

Изучить восприятие образовательной среды

182/210 (86,6%) студентовмедиков в Университете медицинских наук Хормоцгана, Иран, в период прохождения общего курса обучения. 38,5% мужчин и 61,5% женщин. 57,7% выбравших фундаментальные науки и патофизиологию; 42,3% выбравших клинический курс.

Данные собраны в 2009 г.

Иран. Фарси, персидский (переведено для данного исследования)

Приводились средние значения (и SD) показателей для всех 50 утверждений, подрубрик и для общего показателя.

Для сравнения показателей по подрубрикам в зависимости от пола и курса (фундаментальные науки и патофизиология в сравнении с клиническими дисциплинами) использовали критерий Манна-Уитни.

Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001).

Анализ воспроизводимости с использованием коэффициента надежности Кронбаха проводили после перевода DREEM на фарси

Al-Ayed, Sheik (2008)

Проанализировать исходные данные перед внедрением изменений в учебную программу. Сравнить студентов всех 5 лет обучения, а также оценить гендерные различия

Медицинский колледж Университета имени короля Сауда

223 (из 500 розданных, 44,6%) заполненных опросника, из них 222 проанализировано.

43 студента первого года обучения, 55 второго года, 27 третьего года, 55 четвертого года, 42 пятого года (студенты подготовительных курсов не включены).

155 мужчин и 67 женщин.

98 изучающих фундаментальные науки (первый и второй годы обучения) и 124 изучающих клинические науки (годы обучения с 3 по 5).

Данные были собраны в 2005 г.

Саудовская Аравия. Арабский и нглийский варианты доступны для всех участников. Арабская версия была модернизирована для локальных нужд

Общие показатели приводились в целом и для доклинической стадии обучения в сравнении с клинической. Общий показатель и показатели по подрубрикам приводились для каждого года обучения по отдельности. Критерий Стьюдента - для независимых выборок при сравнении между полами для каждого утверждения и подрубрики. Общие показатели и показатели по подрубрикам для 5 лет обучения сравнивали посредством дисперсионного анализа и многорангового критерия Дункана. Общие показатели и показатели по подрубрикам сравнивали с максимальным возможным показателем, используя критерий Стьюдента для однократной выборки.

Al-Hazimi et al. (2004a)

Используя DREEM, оценить образовательную среду традиционной учебной программы медицинского института. Результаты использованы в целях модернизации учебной программы для студентов-медиков

450 студентов-медиков (2-й год обучения - 117, 3-й год обучения - 115, 5-й год обучения - 120, 6-й год обучения -98) в Университете короля Абдул Азиза, Саудовская Аравия.

Дата сбора данных неизвестна

Саудовская Аравия Арабский (нет информации о переводе опросника для данного исследования, но арабская версия была модифицирована после местного пилотного исследования)

Приводились средние значения показателей для утверждений (для всех 50), подрубрик и общего показателя.

Анализ не проводился - данные комментировали описательными методами

Al-Hazimi et al. (2004b)

Сравнить 3 традиционных медицинских института на Ближнем Востоке с модернизированным медицинским институтом в Великобритании. Сравнить результаты опроса студентов в зависимости от курса обучения и пола

452 (95%) студента в Медицинском колледже Университета короля Абдул Азиза, Саудовская Аравия; 278 (75%) студентов в Медицинском колледже Университета Умм аль-Куры, Саудовская Аравия; 179 (81%) студентов факультета медицины и здравоохранения, Университета Санаа, республика Йемен; 145 (78%) студентов Университета Данди, Великобритания

См. исходную статью о разделении участников по году обучения и полу.

Дата сбора данных неизвестна

Саудовская Аравия и Великобритания Английский в университете Данди, арабский в трех других медицинских институтах

Приводились средние значения показателей для отдельных утверждений (для всех 50), подрубрик и общего показателя для каждого университета в отдельности.

Использовался непараметрический критерий для сравнения каждого из 3 ближневосточных университетов с университетом Великобритании на уровне утверждения, подрубрик и общего показателя. Использовался непараметрический критерий для сравнения показателей по отдельным утверждениям между полами в каждом университете; приводились утверждения, для которых имелись статистически значимые различия.

Avalos et al. (2007)

Оценить образовательную среду перед проведением предлагаемых крупных реформ

389 из 476 (82%) студентов с 1-го по 6-й годы обучения Ирландской медицинской школы 1-й год - 71, 2-й год - 96, 3-й год - 78, 4-й год - 94, 5-й год - 72, 6-й год - 65.

149 мужчин и 237 женщин.

222 студента на доклинической и 167 студентов на клинической стадии обучения.

247 ирландцев и 142 неирландца. Данные были собраны в течение одного (2004/2005) учебного года

Ирландия

Средние значения (и SD) приводили для общего показателя и показателей по подрубрикам для всей выборки, каждого года обучения и отдельно для ирландцев и неирландцев. Для общего показателя и показателей по подрубрикам для всей выборки приводили процент от максимального показателя.

Критерий Стьюдента - в отношении средних показателей по подрубрикам и утверждениям для сравнения между полами, между ирландцами и не ирландцами, между студентами доклинической и клинической стадии обучения. Средние показатели для утверждений приводились в случае статистически значимых результатов сравнения. Дисперсионный анализ между подрубриками для каждого года обучения. Интерпретация общего показателя и показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001)

Bassaw et al. (2003)

Оценить восприятие студентами элементов образовательной среды с целью улучшения существующих практик

70 из 82 студентов-медиков последнего года обучения (44 мужчины и 26 женщин) медицинского факультета Университета Вест-Индии, Кампус Св. Августина.

36 из 40 интернов (18 мужчин и 18 женщин), нанятых на работу Министерством здравоохранения Тринидада и Тобаго, которые окончили институт со степенью бакалавра медицины и бакалавра по специальности хирургии.

Дата сбора данных неизвестна

Страны Вест-Индии

Средние значения общего показателя и показателей по подрубрикам приводились для всех респондентов, а также по 4 группам: мужчины/женщины и студенты/интерны. Средние значения показателей для утверждений (все 50) приводились для мужчин и женщин.

Критерий Стьюдента - при проведении сравнительного анализа между полами, а также интернов со студентами на уровне подрубрик и утверждений

Bennett et al. (2010)

Сравнить опыт студентов в 6 различных больницах (сравнение небольших и крупных больниц), где проводилось клиническое обучение с оценкой результатов в течение учебного года

Всех студентов-медиков 3-го года обучения (n=108) в Школе медицины Национального ирландского университета в Корке просили заполнить опросник DREEM после каждой из 2 ротаций по разным больницам (199/216 вернули опросник).

49 опросов DREEM - на базе крупных больниц, 150 - на базе небольших клинических центров; отношение мужчин и женщин 51:57; отношение студентов и тех, кто обучался на этапе постдипломного образования 81:18 (в отношении 9 студентов статус неизвестен).

Данные собирали в ходе 2008/2009 учебного года

Ирландия

Средние значения показателей для утверждений (для всех 50), подрубрик и общего показателя приводились для всех больниц, а также раздельно для небольших и крупных больниц.

Небольшие и крупные больницы сравнивали на уровне подрубрик и утверждений с использованием U-критерия Манна-Уитни. Подобное же сравнение на уровне подрубрик англоговорящих и не англоговорящих студентов, сравнение между полами, а также сравнение выпускников и студентов. Интерпретация общего показателя в соответствии с рекомендациями McAleer и Roff (2001)

Автор(-ы) (год публикации)

Заявленные цели

Выборка и условия

Страна, язык

Представление, анализ, интерпретация данных

Bourhaimed et al. (2009)

Сравнить восприятие образовательной среды студентами I курса, обучающихся по традиционной про- грамме, и студентами II курса, обучающихся по программе, основанной на методах проблемно-ориентированного обучения в медицинском институте, пересматривающем свою учебную программу

202 студента медицинского факультета Кувейт в Университете Кувейта.

109 из 127 (86%) - 1-й год обучения; 93 из 105 (89%) - 2-й год обучения; 51 мужчины и 144 женщины.

Данные были собраны в ходе 2006/2007 учебного года

Кувейт

Среднее значение, сопутствующие 95% доверительные интервалы (ДИ) и процент от максимального значения приводились для общего показателя DREEM и для каждой подрубрики, для всех респондентов, а также отдельно для разных лет обучения и для каждого пола. Критерий Стьюдента для сравнения между мужчинами и женщинами, а также студентами 1-го и 2-го года обучения использовали в отношении общих показателей и показателей по подрубрикам. Чтобы оценить, какие показатели подрубрик указывают на принадлежность к 1-му или 2-му годам обучения, использовали логистическую регрессию

Carmody et al. (2009)

Оценить возможность изменения восприятия обучающей среды в ходе обучения на курсе акушерства и гинекологии в зависимости от условий городской и сельской местности обучения. Изучить гендерные различия между полами, взаимосвязь между показателями DREEM и результатами экзаменов

Учебная программа курса акушерства и гинекологии для студентов V и VI курсов в Западной Австралии. К участию были приглашены 172 студента (131 из столицы и 41 из сельских районов).

Опросник заполнили 94% (81% из столицы, 20% из сельских районов). 55% женщины, 45% мужчины

Дата сбора данных неизвестна

Австралия

Средние значения SD) общего показателя и показателей для подрубрик приводились в зависимости от места обучения, гендерных различий и результатов экзаменов.

Общие показатели и показатели по подрубрикам сравнивали между группами с использованием дисперсионного анализа и критерия Стьюдента по месту обучения, полу, высоким и низким результатам экзаменов и наличию или отсутствию в сельских клиниках постоянного акушера/гинеколога. Чтобы предсказать показатели успеваемости на основе данных подрубрик DREEM и других независимых переменных, использовали линейный регрессионный анализ

Demiraren et al. (2008)

Изучить восприятие образовательной среды студентами после проведенной реформы в учебной программе

1-й год обучения - 255/285, 3-й год обучения (завершение доклинической стадии обучения) - 192/245, 5-й год обучения (завершение клинической стадии обучения) - 106/138.

Данные собирали в начале II семестра, в январе 2007 г.

Турция.

Турецкий (опросник был переведен для данного исследования)

Средние значения показателей для утверждений (для всех 50) приводились для каждого года обучения. Средние значения (и SD) приводили для общего показателя и показателей по подрубрикам для всей выборки и для каждого года обучения. Использовали дисперсионный анализ и критерий Стьюдента для групп разных лет обучения на уровне подрубрик и утверждений.

Интерпретация показателей для утверждений и подрубрик в соответствии с рекомендациями McAleer и Roff (2001)

Denz- Penhey, Murdoch (2009)

Сравнить данные DREEM с результатами качественных интервью на тему учебных программ, методов оценки, вопросов, связанных с местом обучения

Сельская учебная клиника Западной

Австралии.

62 студента в 10 центрах обучения. Опрашивали студентов и персонал. Одновременно студенты заполняли опросник DREEM.

Данные были собраны в 2007 г.

Австралия

Приводили средние значения показателей для подрубрик и проценты от максимального значения, кроме того, приводили общие показатели DREEM для клиники в целом и по отдельности для каждой из 10 центров обучения.

Исследование валидности, чтобы выяснить, соответствуют ли описательные результаты DREEM качественным результатам, полученным в ходе проведения интервью в той же выборке

Denz- Penhey, Murdoch (2010)

Сравнить опыт студентов-медиков, проходящих годичную клиническую стажировку в разных центрах с теми, кто стажируется в более мелких центрах

Сельская учебная клиника Западной Австралии.

10 центров (4 крупных и 6 мелких центров).

n=342

Данные были собраны в 2007 и в 2008 гг.

Австралия

DREEM использовали вместе с качественными и количественными данными для сравнения крупных и мелких обучающих центров. Для крупных и мелких центров приводили средние значения общего показателя и показателей по подрубрикам для версии DREEM 2008.

Приводили значения величины p для сравнения мелких и крупных центров, однако тип применявшегося критерия неясен

de Oliveira Filho et al. (2005a)

Изучить влияние нарушений общих программных требований (Common Program Requirements, CPR) на продолжительность рабочего времени; времени, затраченного на образовательную активность; наблюдения со стороны преподавательского состава; отрицательное влияние на восприятие ординаторами образовательной атмосферы и качества жизни

62 из 88 ординаторов (с 1-го по 4-й год) из 4 учебных клиник во Флорианополисе, Бразилия.

Данные были собраны с октября по декабрь 2003 г.

Бразилия. Адаптированная португальская версия (с заменой "студентов" на "ординаторов" и "школы" на "институт")

Средние значения SD) приводили только в случаях, когда критерий Стьюдента был статистически значим.

Опросники по соблюдению CPR использовали, для того чтобы сформировать несколько групп (например, >36 ч непрерывной работы - да/нет). Для сравнения показателей DREEM по подрубрикам использовали критерий Стьюдента

de Oliveira Filho et al. (2005b)

Изучить возможность использования системы DREEM среди у клинических ординаторов (в противоположность студентам-медикам). Сравнение со Шкалой определения качества жизни студента, состоящей из 50 пунктов (в том числе с целью валидации)

Собирали данные по 12 обучающим программам (в 6 учреждениях, в 3 центрах Бразилии).

Произвольная выборка: 97 (73%) из 132 ординаторов 1-4-го года со специализацией в области анестезиологии, хирургии, терапии и педиатрии.

Данные были собраны с февраля по декабрь 2003 г. 33 человека повторно заполняли опросники в январе 2004 г. для оценки устойчивости результатов повторного тестирования

Бразилия. Адаптированная португальская версия (с заменой "студентов" на "ординаторов" и "курса" или "школы" на "ординатуру")

Приводили средние значения (и SD), минимальные и максимальные показатели для общего показателя DREEM и подрубрик.

Валидация DREEM в отношении клинических ординаторов в противоположность студентам-медикам. Были оценены психометрические свойства DREEM применительно к ординаторам

de Oliveira Filho, Vieira (2007)

Установить связь между успеваемостью и другими факторами, включая восприятие окружающей среды в трех бразильских учебных центрах по анестезиологии

60 из 63 ординатора в области анестезиологии в трех учебных центрах Бразилии. n=33 для ординаторов, поступивших в ординатуру в 2003 г., и n=30 для ординаторов, поступивших в ординатуру в феврале 2004 г.

Данные были собраны с июля 2003 г. по июль 2005 г.

Бразилия. Адаптированная португальская версия (с заменой "студентов" на "ординаторов" и "школы" на "институт")

DREEM использовали для прогнозирования успеваемости. Однако в статье не приводились результаты самого опроса DREEM

de Oliveira Filho, Schonhorst (2005).

Сравнить новый 8-дневный вводный курс на основе проблемно-ориентированного обучения (2004) с традиционным курсом анестезиологии (2003). Систему DREEM использовали вместе с другими способами оценки в конце обучающего курса

2003 г. - 7 ординаторов 1-го года, 2004 г. - 5 ординаторов 1-го года в Больнице имени губернатора Селсу Рамоса. Данные были собраны с 2003 по 2004 гг.

Бразилия

Процент от максимального достижимого значения для подрубрик и общего показателя (и SD) приводили по отдельности для обоих курсов.

Показатели для подрубрик и общие показатели для обоих курсов сравнивали с использованием критерия Стьюдента

Dunne et al. (2006)

Изучить образовательную среду в медицинском институте Великобритании

DREEM раздавали всем 1370 студентам- медикам, 749 (55%) заполнили опросник. 271 мужчин, 477 женщин. 692 на доклинической стадии обучения (годы 1 и 2), 678 на клинической стадии (годы с 3 по 5).

Данные были собраны в ходе 2002/2003 учебного года

Великобритания

Средние значения для показателей по подрубрикам и общие показатели приводились для каждого года обучения в отдельности, для обоих полов, а также для студентов клинической и доклинической стадии обучения. Средние показатели для утверждений приводили в случаях, когда имелись статистически значимые различия (мужчины в сравнении с женщинами, студенты доклинической стадии обучения в сравнении с клинической).

Для сравнения студентов разных лет обучения, разного пола и доклинической или клинической стадии обучения на уровнях утверждения, подрубрик и общего показателя использовали критерий Манна-Уитни, критерий Крускала-Уоллиса и дисперсионный анализ. Интерпретация значений для утверждений, подрубрик и общего показателя в соответствии с рекомендациями McAleer и Roff (2001)



Автор(-ы) (год публикации)

Заявленные цели

Выборка и условия

Страна, язык

Представление, анализ, интерпретация данных

Edgren et al. (2010)

Выявить восприятие студентами образовательного климата и сравнить восприятие в двух временных точках для учебной программы на стадии реформирования. Выявить области, которые нуждаются в наиболее значимых улучшениях

Университет Лунда, Швеция 503 студента. 82% (201/246) в 2003 г., 75% (194/257) в 2005 г. 58,9% женщин, 41,1% мужчин.

Следует подчеркнуть что когорта во II семестре 2003 г. была той же, что и в VI семестре в 2005 г. Когорта в VI семестре 2003 г. была той же, что и в X семестре в 2005 г.

Данные собирали во II, VI и X семестрах в 2003 и 2005 гг.

Швеция

Шведский (опросник переведен для данного исследования)

Приводились средние значения показателей для утверждений (для всех 50), подрубрик и общего показателя в каждой временной точке. 2003 г. сравнивали с 2005 г., также проводили сравнение в семестрах в рамках одного года. Использовали U-критерий Манна-Уитни (сравнение разных лет обучения) и критерий Крускала-Уоллиса (сравнение семестров в рамках одного года). Уровень значимости скорректирован для последнего критерия, поскольку имеются 3 возможных сравнения между семестрами. Проводился анализ различий между полами без подробного описания. Интерпретация значений для утверждений, подрубрик и общего показателя в каждой временной точке в соответствии с рекомендациями McAleer и Roff (2001). Коэффициент надежности Кронбаха для оценки внутренней согласованности подрубрик системы, однако данные для каждой рубрики не приведены

Jiffry et al. (2005)

Сравнить доклиническую, параклиническую и клиническую стадии учебной программы, а также выявить гендерные различия. Кроме того, получить исходные данные для оценки учебной программы.

Студенты-медики факультета медицинских наук Университета Шри Джаеварденепура, Шри- Ланка. n = 339.

147 студентов с доклинической (64 мужчины, 83 женщины), 116 студентов с параклинической (58 мужчин, 58 женщин), 76 студентов с клинической (39 мужчин, 37 женщин) стадий учебной программы.

Данные были собраны в 2002 г.

Шри-Ланка

Приводились средние значения показателей для всех 50 утверждений в зависимости от стадии обучения, а также в совокупности. Низкие значения показателей обсуждались в целом и по стадиям обучения, приводились значения со статистически значимыми различиями у мужчин и женщин. Средние значения SD) для подрубрик и общего показателя, а также процент от максимального показателя приводили по отдельности для трех стадий обучения, а также в совокупности.

Критерий Стьюдента использовали для сравнения общего показателя, показателей по подрубрикам и утверждениям между стадиями обучения, а также для сравнения показателей по утверждениям в зависимости от пола. Интерпретация значений для утверждений, подрубрик и общего показателя в соответствии с рекомендациями McAleer и Roff (2001)

Lai et al. (2009)

Установить корреляцию между восприятием образовательной среды и самооценкой клинических, практических и личных навыков, а также оценить готовность к работе по результатам сокращенного Опросника по оценке компетентности студентов IMU (29 вопросов - разработан университетом для оценки студентами собственной компетентности).

Кампус учебной клиники Международного медицинского университета (IMU), Малайзия 59 из 71 студента-медика последнего года обучения (5-й год).

Данные были собраны в мае 2006 г. (в середине стажировки)

Малайзия

5 вопросов были модифицированы для конкретных условий, оценивавшихся авторами Приводились показатели по подрубрикам и общие показатели DREEM.

Использовался корреляционный анализ по Спирмену между подрубриками DREEM и 4 разделами Опросника по оценке компетенций студентов IMU.

Интерпретация показателей для подрубрик и общего показателя в соответствии с рекомендациями McAleer и Roff (2001).

Приводились результаты анализа воспроизводимости для системы DREEM в целом с использованием коэффициента надежности Кронбаха

Mayya, Roff (2004)

Сравнить студентов с хорошей и плохой успеваемостью в отношении восприятия ими образовательной среды, а также провести гендерный анализ

Студенты-медики клинической стадии обучения в Медицинском колледже Кастурба, Индия.

508 из 669 студентов заполнили опросник DREEM.

Студенты с плохой успеваемостью - в основном те, у кого был по крайней мере 1 случай неудовлетворительной сдачи экзамена в университете (n=105/147. 64 мужчины, 41 женщина).

Студенты с хорошей успеваемостью - те, у кого не были зарегистрированы случаи неудовлетворительной сдачи экзамена (n=403/522; 231 мужчина, 172 женщины)

Данные были собраны с февраля по март 2003 г.

Индия

Приводились средние значения показателей (и SD) для всех 50 утверждений, подрубрик и общего показателя отдельно студентов с хорошей и плохой успеваемостью студентов. Кроме того, приводились средние значения (и SD) для показателей по подрубрикам и общих показателей для всей выборки.

Показатели для утверждений, подрубрик и общие показатели для студентов с хорошей и плохой успеваемостью сравнивали с использованием критерия Стьюдента. Показатели для утверждений среди мужчин и женщин сравнивали с использованием критерия Стьюдента отдельно у студентов с плохой и хорошей успеваемостью, при этом приводились только статистически значимые различия.

Интерпретация показателей для утверждений и подрубрик в соответствии с рекомендациями McAleer и Roff (2001).

Оценки внутренней согласованности для подрубрик и общего показателя DREEM с использованием коэффициента надежности Кронбаха приводились для обеих групп по отдельности, а также для выборки в целом



Автор(-ы) (год публикации)

Заявленные цели

Выборка и условия

Страна, язык

Представление, анализ, интерпретация данных

McKendree

(2009)

Изучить восприятие образовательной обстановки студентами, обучающимися по одной и той же программе, на одном и том же факультете в 2 разных кампусах Медицинской школы Халл-Йорк, Великобритания. Данные оценки сравнивали между 2 кампусами

126/139 (61 из Халла, 65 из Йорка) студентов 1-го года обучения и 90/129 (43 из Халла, 47 из Йорка) студентов 2-го года обучения.

Данные были собраны в течение 2004/2005 учебного года

Великобритания

Общие показатели DREEM приводились по отдельности для 2 лет подрубрикам и общие показатели DREEM приводились для 2 кампусов по отдельности, а также в совокупности. Показатели для 5 подрубрик сравнивали одновременно между кампусами, используя многофакторный дисперсионный анализ. Апостериорный анализ с использованием критерия Шеффе

Miles, Leinster (2007)

Сравнить ожидания студентов-медиков I курса от среды обучения, в которую они погружались в начале года, с приобретенным опытом к концу учебного года. Также проводился гендерный анализ и оценивались различия среди студентов с разным уровнем предшествующего образования

87/130 (66,92% начальной когорты) студентов 1-го года обучения в Университете Восточной Англии, Великобритания, заполняли опросник DREEM в обоих случаях и давали согласие на публикацию их данных.

30 мужчин, 57 женщин, 46 выпускников школ, 17 прошедших предварительный естественнонаучный курс, 24 выпускника институтов

Данные были собраны в начале и конце 2004/2005 учебного года у одной и той же группы студентов

Великобритания

Приводились средние (и SD) действительные и ожидаемые показатели, а также различия (несоответствие) между показателями для каждого утверждения, подрубрики и общего показателя.

Знаковый ранговый критерий Вилкоксона для связанных выборок использовали для сравнения действительных и ожидаемых показателей DREEM по каждой подрубрике. U-критерий Манна-Уитни использовали для сравнения несоответствий по подрубрикам между полами. Для сравнения несоответствий по подрубрикам между тремя разными типами предшествующего образования использовали критерий Крускала-Уоллиса. Уровень значимости корректировали для множественных сравнений (поправка Бонферрони)

Miles, Leinster (2009)

Сравнить восприятие окружающей образовательной среды с мнением преподавательского состава о данном восприятии

403 студента-медика первых 4 лет обучения в Университете Восточной Англии. 73 сотрудника университета, участвовавших в преподавании у студентов.

Данные были собраны и в конце 2005/2006 учебного года

Великобритания

Приводились средние значения показателей (и SD) для утверждений (для всех 50), подрубрик и общего показателя DREEM для преподавателей и для студентов. Общее количество и процентная доля ответов "Согласен", "Не согласен" и "Не уверен" приводились для преподавателей и для студентов для всех 50 утверждений.

Показатели по подрубрикам и утверждениям для преподавателей и студентов сравнивали посредством U-критерия Манна-Уитни, с скорректированным уровнем значимости (поправка по Бонферрони). С помощью критерия χ2 сравнивали показатели для распределенных по категориям утверждений между преподавателями и студентами, с скорректированным уровнем значимости (поправка по Бонферрони)

O’Brien et al. (2008)

Собрать данные по восприятию студентами новой программы бакалавриата в области сестринского дела в Национальном университете Сингапура

Национальный университет Сингапура.

49 студентов 1-го года обучения со специальности "сестринское дело" попросили заполнить опросник DREEM для всех модулей 2 семестров. 6 модулей в 1-м семестре: 273 (из 294 розданных) опросника DREEM были заполнены. 5 модулей во 2-м семестре: 182 (из 245) опросника были заполнены.

Данные были собраны в течение 2006/2007 учебного года

Сингапур. Переработано с учетом культурных и образовательных особенностей Сингапура

Для каждого семестра проводили отдельный кластерный анализ; выделяли 2 кластера на семестр. Средние значения показателей по подрубрикам между парами кластеров сравнивали с использованием критерия Стьюдента, категории показателей по подрубрикам (с использованием пороговых значений, определенных разработчиками) - с использованием критерия χ2.

Для валидаци опросника, пересмотренного с учетом сингапурских реалий, проводили факторный анализ и рассчитывали коэффициент надежности Кронбаха

O’Rouke et al. (2010)

Испытать новый инструмент оценки - Профиль стресса у студентов-медиков (Medical Student Stress Profile, MSSP) из 100 пунктов. Добавление DREEM для изучения взаимосвязи между стрессом и восприятием окружающей среды (NB DREEM описана как состоящая из 30 пунктов, но это, вероятно, ошибка в тексте)

3 когорты студентов в Школе медицины Национального ирландского университета в Корке, Ирландия.

Студенты-медики последнего года обучения в 2007 и 2008 гг. и студенты 1-го года медицинской магистратуры в 2008 г. 239 студентов-медиков.

Данные были собраны в 2007 и 2008 гг.

Ирландия

В рамках валидации нового инструмента MSSP рассчитывали корреляции между подрубриками и общим показателем DREEM и 12 подрубриками MSSP, однако конкретные данные DREEM в публикации не приводятся

Riquelme et al. (2009)

Выяснить восприятие студентами образовательной среды после крупной реформы учебной программы, а также провести сравнение между разными годами обучения. Кроме того, проверить внутреннюю согласованность испанской версии DREEM

Медицинская школа Папского католического университета Чили. 90,5% студентов-медиков 3-го, 4-го и 5-го года обучения заполнили опросник DREEM (3-й год - 108 из 110; 4-й од - 106 из 108; 5-й год - 83 из 110).

Данные были собраны в декабре 2005 г.

Чили. Испанский (переведено для данного исследования)

Приводились средние значения показателей (и SD) для всех 50 утверждений, подрубрик и общего показателя для каждого года обучения в отдельности и в целом, а также процент от максимального показателя для подрубрик и общего показателя.

Для сравнения студентов трех разных лет обучения на всех трех уровнях использовали дисперсионный анализ.

Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001).

Для проверки внутренней согласованности испанской версии рассчитывали коэффициент надежности Кронбаха

Roff et al. (2001)

Изучить значение DREEM в "диагностике" образовательной атмосферы в учреждениях и проведения сравнений между двумя различающимися культурами

127 студентов из медицинского института в Нигерии (4-й год - 22, 5-й год - 36, 6-й год - 69); 110 мужчин, 27 женщин. 86 студентов из Института здравоохранения БП Койрала, Дхаран, Непал (1-й год - 29, 2-й год - 29, 3-й год - 28); 70 мужчин, 16 женщин.

Дата сбора данных неизвестна

Нигерия и Непал

Приводились средние значения показателей для всех 50 утверждений, подрубрик и общего показателя для каждой страны.

Утверждения сравнивали между полами, между годами обучения и между странами с использованием критерия Стьюдента. Для различий между полами и между годами обучения приводили только статистически значимые результаты. Сравнивали средние значения показателей по подрубрикам и общего показателя между странами. В Непале средние значения показателей по подрубрикам сравнивали между полами и между годами обучения. Описательные сравнения результатов для двух стран

Sobral (2004)

Оценить восприятие студентов-медиков образовательного процесса в течение 1-го года занятий в медицинском институте, используя Опросник оценки качества курса из 36 вопросов (Course Valuing Inventory, CVI). Результаты сравнивали с результатами анкетирования DREEM, чтобы оценить уместность CVI как способа оценки образовательной среды

41 студент-медик 1-го года обучения в Университете Бразилии заполнил опросник DREEM.

Данные DREEM были собраны в 2000 г. (данные CVI - с 1997 по 2000 г.)

Бразилия

Приводились средние значения (и SD) для общего показателя DREEM.

Корреляции между общим показателем DREEM и факторами CVI использовались для валидации CVI. Обсуждались корреляции между показателями по подрубрикам и факторами CVI, но данные не приводятся

Thomas et al. (2009)

Оценить впервые информацию относительно восприятия студентами образовательной среды; а также сравнить студентов первого и последнего года обучения

63 студента 1-го года обучения и 63 студента последнего года обучения в Колледже стоматологии Манипала, Индия

Дата сбора данных неизвестна

Индия

Приводились средние значения показателей SD) для всех 50 утверждений, подрубрик и общего показателя отдельно для студентов первого и последнего года обучения.

Сравнить студентов первого и последнего года обучения с использованием критерия Стьюдента. Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001)

Thomé et al. (2006)

Изучение взглядов студентов и преподавателей на метод оценки посредством портфолио программы биомедицинской лабораторной диагностики. Систему DREEM использовали для оценки образовательного климата

Университет Лунда, Швеция.

21 студент заполнил опросник DREEM

В целях сравнения приведены также данные, полученные у 18 студентов-медиков 4-го года обучения из того же института.

Данные были собраны в течение 2002/2003 учебного года

Швеция

Средний показатель для утверждений внутри подрубрик приводили для участников исследования и описательно сравнивали с результатами выборки из того же института и другой опубликованной выборки

Till (2004)

В Канадском мемориальном колледже мануальной терапии идет 4-й год внедрения новой 4-летней интегративной учебной программы. Данное исследование ставило целью определить, восприятие студентами новой образовательной среды, используя систему DREEM

Канадский мемориальный колледж мануальной терапии, Торонто, Канада 148 (96%) первокурсников, 131 (87%) второкурсник и 128 (84%) третьекурсников (NB! Студенты 4-го года обучения были последними, обучавшимися по старой программе, поэтому они не включены).

54% женщин, 46% мужчин.

Данные были собраны в феврале 2002 г.

Канада

Приводились средние значения показателей для утверждений, подрубрик и общего показателя для каждой группы в отдельности. Различия между полами рассчитывались, но не приведены. Критерий Стьюдента использовался при сравнении результатов в зависимости от курса и полами. Процент тех, кто дал положительные, неопределенные и отрицательные ответы, рассчитывали для каждого утверждения, но не все результаты приведены. Внимание привлекалось к утверждениям, где ответы делились на положительные и отрицательные (бимодальные утверждения), и к тем, где было велико количество неопределенных ответов. Утверждения, в отношении которых большинство респондентов указывало на наличие проблем, были перечислены и открыто обсуждались в статье

Автор(-ы) (год публикации)

Заявленные цели

Выборка и условия

Страна, язык

Представление, анализ, интерпретация данных

Till (2005)

Сравнить идеальную образовательную среду с полученными результатами исследования в целях улучшения существующих практик, а также провести сравнительный анализ в зависимости от пола и года обучения

n=342 студенты 1-го, 2-го и 3-го года обучения в Канадском мемориальном колледже мануальной терапии, Торонто, Канада, заполняли опросник DREEM. По полученным результатам, сразу же после заполнения опросника DREEM, проводился анализ на соответствие идеальной образовательной среде. Актуальные результаты: 148 (96%) первокурсников, 131 (87%) второкурсник и 128 (84%) третьекурсников. В оценке идеальной образовательной среды приняли участие 146 (95%) первокурсников, 123 (82%) второкурсника и 73 (48%) третьекурсника. Данные были собраны в феврале 2002 г.

Канада

Средние действительные и идеальные показатели представлены для всех 50 утверждений, с расхождениями для студентов 3 лет обучения. Действительные и идеальные значения показателей для подрубрик и общего показателя приведены в статье или сообщаются в иных публикациях. Утверждения ранжировались в соответствии с величиной расхождения и описаны по группам в зависимости от года обучения и пола

Tokuda et al. (2010)

Изучить взаимосвязь между самооценкой выпускниками готовности к постдипломному образованию, а также между образовательной средой и процентом студентов, успешно сдавших национальный экзамен на получение лицензии

DREEM и данные опросника готовности в 6 клинических областях, собранные у 2429 ординаторов 1-го года (36% ответивших). Таким способом были получены данные DREEM для 80 медицинских институтов в Японии.

Данные были собраны в ноябре 2008 г. (середина 2008/2009 учебного года)

Япония. Японский (переведено для данного исследования, но текст указан как сходный с другими опубликованными японскими версиями)

Приводятся корреляции (по Спирману) средних показателей DREEM (общего и по подрубрикам) с показателями готовности и процентом успешно сдавших экзамен выпускников 80 медицинских институтов (подробные данные не указаны)

Varma et al. (2005)

Сравнить опыт студентов в 8 университетских клинических больницах

206 студентов-медиков последнего года обучения (частота заполнения опросника составляла 100%) из Бирмингемского университета попросили оценить модуль последнего года обучения по акушерству и гинекологии.

42% мужчин, 58% женщин.

Данные были собраны в 2000 г.

Великобритания

Приводились средние значения показателей по подрубрикам и общего показателя DREEM как для каждого центра обучения в отдельности, так и в целом. Приводили процент от максимального возможного значения показателей для подрубрик и общего показателя DREEM по данным в целом. Показатели по подшкалам сравнивали между 8 университетскими клиническими больницами с помощью дисперсионного анализа

Vieira et al. (2003)

Оценить опросник, разработанный для изучения новых рекомендаций в учебную программу по деонтологии.

Опросник DREEM заполняли для оценки образовательной среды учебного заведения

41 студент-медик 1-го года обучения, принимавший участие в учебной программе, посвященной установкам, связанных со взаимоотношениями врача и пациента. Программа осуществлялась на базе амбулаторной клиники общей медицинской практики в Университете Сан-Паулу.

Дата сбора данных неизвестна

Бразилия

Приводились средние значения для общего показателя и показателей по подрубрикам, а также процент от общего возможного значения. Приводились утверждения со средними значениями менее 2. Анализ не проводили - DREEM использовали в качестве описательного исхода.

Интерпретация показателей для утверждений проводилась в соответствии с рекомендациями McAleer и Roff (2001)

Wang et al. (2009)

Оценить китайскую версию DREEM среди студентов, обучающихся сестринскому делу

214 из 221 студентов, обучающихся сестринскому делу (2-й год - 54, 3-й год - 58, 4-й год - 53, 5-й год - 49) в Школе сестринского дела Медицинского университета Китая. Студенты 1-го года обучения были исключены из исследования, так как они обучались по другой программе.

Данные собирали с декабря 2004 г. по январь 2005 г.

Китай. Китайский медицинский университет

Валидация DREEM в отношении китайских студентов, изучающих сестринское дело. Приводили результаты факторного анализа и коэффициент надежности Кронбаха.

Сравнение собственных данных с другими исследованиями было включено в обсуждение

Whittle et al. (2007)

Оценить все 5 лет обучения в медицинском институте и выявить области, нуждающиеся в улучшениях, используя опросник DREEM, вопросы открытого типа

с последующим углубленным исследованием

968 студентов заполняли опросник DREEM, доля ответивших 86% (1-й год - 212, 2-й год - 225, 3-й год - 194, 4-й год - 167, 5-й год - 170).

Дата сбора данных неизвестна

Великобритания

Средние значения показателей для всех

50 утверждений приводились по отдельности для каждого года обучения, а также для всех лет обучения в совокупности.

Анализ полученных данных не проводили - слабые стороны обсуждали по результатам ответов на вопросы открытого типа.

Интерпретация показателей для утверждений в соответствии с рекомендациями McAleer и Roff (2001)

Примечание. Заявленные цели: изучаемые цели в исследовании (дополнительный анализ приводится в столбце "Представление, анализ, интерпретация данных").

Выборка и условия: условия проведения исследования, общий объем выборки и размер групп (исследования, в которых проводилось сравнение в группах), дата сбора данных DREEM.

Страна, язык: страна, в которой проходило исследование; язык, если указан не английский; подробное описание любых изменений, внесенных в "стандартную" систему DREEM.

Представление, анализ, интерпретация данных: 1-й пункт описывает данные DREEM, представленные в исследовании. 2-й пункт раскрывает суть анализа данных, включая статистические критерии и анализируемые группы. 3-й пункт при его наличии показывает, ссылались ли авторы на рекомендации McAleer и Roff (2001) при интерпретации результатов. Выделенные курсивом фразы в конце ячеек в этом столбце указывают, использовалась ли DREEM с нестандартными целями и изучались ли психометрические свойства DREEM.

Результаты использовались для изучения ряда вопросов, которые могут быть разбиты на 4 основные категории:

(1) Диагностика

- Оценка текущей образовательной среды с выявлением сильных и слабых сторон (например, Roff et al, 2001; Bassaw et al, 2003; Vieira et al, 2003; Dunne et al, 2006; Whittle et al, 2007; Thomas et al., 2009; Aghamolaei, Fazel, 2010).

- Оценка текущей образовательной среды медицинских учебных заведений с традиционной моделью обучения перед внесением изменений в учебную программу и выявления приоритетных направлений, нуждающихся в коррекции, а также для получения исходных данных с целью проведения сравнительного анализа по результатам внесения изменений в программу (например, Al-Hazimi et al., 2004a; Avalos et al., 2007; Al-Ayed, sheik, 2008).

- Изучение влияния новой или пересмотренной учебной программы на восприятие образовательной среды обучающимися (например, Till, 2004; Demiroren et al., 2008; O'Brien et al., 2008; Riquelme et al., 2009; Edgren et al., 2010).

(2) Сравнение - разные группы

- Сравнение учебных образовательных программ в разных медицинских институтах (например, Roff et al., 2001; Al-Hazimi et al., 2004b).

- Сравнение оценочных суждений студентов на разных стадиях обучения.

- Клиническая и доклиническая стадии обучения (Jiffry et al., 2005; Dunne et al., 2006; Avalos et al., 2007; Abraham et al., 2008).

- Студенты разных лет обучения (Al-Hazimi et al., 2004b; Dunne et al., 2006; Al-Ayed, Sheik, 2008; Demiroren et al., 2008).

- Студенты, интерны, ординаторы (Bassaw et al., 2003).

- Гендерные сравнения (16 статей: Mayya, Roff, 2004; Dunne et al., 2006; Abraham et al., 2007; Al-Ayed, Sheik, 2008; Bourhaimed et al., 2009 и др.).

- Сравнение образовательной среды в зависимости от условий, в которых обучаются студенты (например, в клинике или в университете) (Varma et al., 2005; Carmody et al., 2009; McKendree, 2009; Bennet et al., 2010; Denz-Penhey, Murdoch, 2010).

- Сравнение между группами студентов в зависимости от их успеваемости (Mayya, Roff, 2004; Abraham et al., 2007).

- Сравнение восприятия образовательной среды педагогами и студентами (Miles, Leinster, 2009).

- Сравнение традиционных и модернизированных подходов в медицинском образовании(включая сравнение традиционного и проблемно-ориентированного обучения) (Bourhaimed et al., 2009).

(3) Cравнение в рамках одной группы

- Сравнение ожиданий студентов по отношению к образовательной среде до и после поступления в медицинский институт (Miles, Leinster, 2007).

- Сравнение реальной образовательной среды с идеальной/предпочитаемой студентами (Till, 2005).

(4) Взаимосвязь с другими критериями оценки

Изучение взаимосвязи восприятия образовательной среды, по результатам опроса DREEM, с другими критериями.

- Успеваемость (de Oliveira Filho, Schonhorst, 2005).

- Компетентность/готовность к работе, оцениваемая самим студентом (Lai et al., 2009; Tokuda et al., 2010).

- Стресс (O'Rouke et al., 2010).

- Данные количественной оценки (Denz-Penhey, Murdoch, 2009).

- Аспекты рабочей среды (de Oliveira Filho et al., 2005a).

- Опыт использования других оценочных инструментов среди студентов (например, Sobral, 2004).

- Критерии оценки (например, Thome et al., 2006).

Опубликованная литература по системе DREEM включает также исследования, в которых изучалась возможность использования опросника на этапе постдипломного и среднего медицинского образования (de Oliveira Filho et al., 2005 - на примере с ординаторами; Wang et al., 2009 - на примере студентов, изучающих сестринское дело) или на другом иностранном языке (Riquelme et al., 2009).

Методы отчетности и анализа данных, полученных при использовании dreem

Большинство авторов приводят средние значения показателей для отдельных утверждений, подрубрик и общего показателя. Некоторые авторы, помимо среднего значения, приводят стандартное отклонение (n=15 статей), но большинство исследователей этого не делают. В нескольких случаях значение приводится как процент максимального возможного значения для показателя (Jiffry et al., 2005; Varma et al., 2005; Avalos et al., 2007; Bourhaimed et al., 2009; Riquelme et al., 2009). Некоторые авторы приводят значения показателей для всех 50 утверждений DREEM; другие только для выборки утверждений (например, только для утверждений с особенно низкими значениями, требующими внимания). В 2 статьях приводятся процентные доли респондентов, которые согласны с каждым утверждением, не согласны с ним или не уверены в своем ответе (TiLL, 2004; Miles, Leinster, 2009). В случаях когда целью является выявление проблемных областей, ряд авторов выбирали оценочный порог, рекомендуемый разработчиками DREEM, как описано выше (т.е. утверждения, набравшие "2,0 балла, требуют пристального внимания, в то время как ряд других авторов используют более высокий порог -"2,5 балла) (n=14 статей). Некоторые авторы в разделе "Обсуждение" сравнивали полученные данные с опубликованными результатами других исследований.

Там, где сравниваются показатели для 2 разных групп студентов, результаты иногда носили описательный характер. Однако зачастую используется либо критерий Стьюдента для несвязанных выборок (параметрический), либо U-критерий Манна-Уитни (непараметрический, эквивалентен критерию Вилкоксона-Манна-Уитни). Этот выбор, по-видимому, не связан с объемом выборки. Некоторые авторы приводят критерии для всех 50 утверждений, иногда с выделением статистически значимых утверждений, другие же лишь для утверждений со статистически значимыми различиями (например, Dunne et al., 2006). В случае когда данные для утверждения приводятся в виде процента тех, кто со-гласен/не согласен и т. д., для сравнения между группами использовался критерий х2.

При сравнении 3 или более групп использовались однофакторный дисперсионный анализ (параметрический критерий) и критерий Краскела-Уоллиса (непараметрический) в отношении показателей по подрубрикам и общего показателя, а иногда и в отношении показателей по отдельным утверждениям. В некоторых исследованиях вводилась поправка на множественные сравнения, например по Бонферрони у Miles, Leinster (2007). Ряд исследователей проводили сравнения между определенными парами групп.

В случае когда показатели сравнивали с ожидаемыми или максимально возможными, использовали знаковый ранговый критерий Вилкоксона или критерий Стьюдента для однократной выборки. В статье (Till, 2005) утверждения были представлены в виде средних различий между действительными и ожидаемыми показателями, чтобы продемонстрировать, в каких областях показатели наиболее далеки от идеала.

Система DREEM использовалась также для изучения связи между восприятием образовательной среды и другими оценочными критериями (например, Lai et al., 2009; O'Rourke et al., 2010), например, с использованием методов корреляции или линейной регрессии. Здесь выбор метода определялся характеристиками других переменных.

В некоторых исследованиях, целью которых являлась валидация DREEM применительно к новому типу образовательной среды, дополнительно сообщались результаты статистического анализа, требуемые в целях валидации, например факторный анализ, расчет коэффициентов надежности Кронбаха (de Oliveira Filho et al., 2005b; Wang et al., 2009).

Система DREEM представляет собой валидированный инструмент, разработанный специально для оценки образовательной среды среди обучающихся медицинским специальностям. Он используется в международном масштабе в различных условиях, преимущественно в отношении студентов-медиков, но также применительно к другим профессиональным сообществам в области здравоохранения. Из литературы, посвященной результатам использования DREEM, становится очевидно, что данная система является полезным инструментом для изучения ряда целей, связанных с проведением сравнительного анализа между группами или в рамках одной группы студентов, в том числе обучающихся в разных условиях, а также для изучения взаимосвязи образовательной среды с другими оценочными критериями.

Однако обзор также демонстрирует отсутствие единых подходов в отношении анализа и представления данных DREEM. Используются как параметрические (например, критерий Стьюдента, дисперсионный анализ), так и непараметрические (например, U-критерий Манна-Уитни, критерий Краскела-Уоллиса) методы. Выбор различающихся подходов мог бы быть обусловлен целями исследования или размером выборки, однако, по-видимому, не ограничивается только методологией. Те, кто занимались проведением стандартной оценки, скорее всего, не имели подготовки в области статистики, поэтому подобная непоследовательность может привести к путанице и возможной неверной интерпретации слабых сторон образовательной среды, нуждающихся в преобразовании. Кроме того, это затрудняет интерпретацию данных DREEM при проведении сравнительного анализа между учреждениями.

Как обсуждалось выше, часто в статьях приводятся только средние значения для отдельных утверждений, в отношении которых были найдены статистически значимые различия между изучаемыми подгруппами. Часто авторы ограничены требованиями, предъявляемыми журналом, к количеству слов или таблиц в статье. Те, кто использует систему DREEM для внутренней оценки образовательных программ, не будут связаны подобными ограничениями. В идеале средние значения должны приводиться для каждого утверждения, с разбивкой по ключевым подгруппам, такими как пол или год обучения, более того, данные должны быть доступны любым заинтересованным сторонам, чтобы обеспечить возможность полезных сравнений данных DREEM между разными учреждениями.

Можно утверждать, что чаще всего оценка образовательной среды проводится с целью ее улучшения в конкретном учебном заведении и, таким образом, необходимости в сравнительном анализе нет. Однако несмотря на то, что проведение диагностики образовательной среды с помощью DREEM может носить независимый характер внутренней оценки, тем не менее, вопросы и опасения, высказанные студентами любого другого учреждения, могут оказаться полезной информацией при сравнении с результатами опроса, полученными в других учреждениях. Кроме того, информация о том, какие меры предпринимаются учреждениями для улучшения образовательной среды в отношении выявленных слабых сторон, может помочь в исправлении ситуации в тех же областях любого другого учреждения. Например, показатели для утверждения "Преподаватели хорошо обеспечивают студентам обратную связь", как правило, низкие, и хотя преподаватель, получивший низкую оценку для данного утверждения, скорее всего постарается улучшить свой результат, понимание того, что студенты других институтов также низко оценивают эту область, может в определенной степени нейтрализовать негативный эффект. Помимо этого, учреждения могут разрабатывать и вводить новую стратегию, направленную на решение этой проблемы, которую другое учреждение может взять на вооружение. Однако для этого необходимо, чтобы исследователи публиковали подробные данные и проводили сопоставимый анализ результатов.

Изучение опубликованных статей говорит о том, что система DREEM в настоящее время не используется для составления психологического профиля студента. В перспективе, при исследовании факторов, предсказывающих успех при обучении в медицинском институте, преподавателям может помочь использование данных по восприятию образовательной среды, полученных на основе показателей DREEM.

Soemantri и соавт. (2010) пришли к выводу, что DREEM, вероятно, представляет собой наиболее подходящий инструмент оценки образовательной среды в медицинских институтах. Такой обзор в дальнейшем может привести к более частому использованию DREEM и публикации полученных данных. Это лишь подчеркивает необходимость последовательного анализа и представления данных, чтобы обеспечить более эффективное и последовательное использование системы DREEM в разных учреждениях.

Отсутствие единообразия и ясности в анализе и представлении результатов DREEM, а также тот факт, что специалисты, оценивающие учебные программы, не владеют статистикой, указывают на необходимость разработки четких, научно обоснованных рекомендаций по обработке данных и подготовке результатов исследования к дальнейшей публикации.

Декларация интересов. Авторы сообщают об отсутствии конфликта интересов. За содержание и написание этой статьи отвечают исключительно авторы.

Литература/References

· Abraham R.R., Ramnarayan K., Pallath V., Torke S., Madhavan M., Roff S. Perceptions of academic achievers and under-achievers regarding learning environment of Melaka Manipal Medical College (Manipal campus), Manipal, India, using the DREEM Inventory. South East Asian J Med Educ. 2007; 1: 18-24.

· Abraham R., Ramnarayan K., Vinod P., Torke S. Students’ perceptions of learning environment in an Indian medical school. BMC Med Educ. 2008; 8: 20.

· Aghamolaie T., Fazel I. Medical students’ perceptions of the educational environment at an Iranian Medical Sciences University. BMC Med Educ. 2010; 10: 87.

· Al-Ayed I.H., Sheik S.A. Assessment of the educational environment at the College of Medicine of King Saud University, Riyadh. East Mediterr Health J. 2008; 14 (4): 953-9.

· Al-Hazimi A., Al-Hyiani A., Roff S. Perceptions of the educational environment of the medical school in King Abdul Aziz University, Saudia Arabia. Med Teach. 2004a; 26 (6): 570-3.

· Al-Hazimi A., Zaini R., Al-Hyiani A., Hassan N., Gunaid A., Ponnamperuma G., et al. Educational environment in traditional and innovative medical schools: A study in four undergraduate medical schools. Educ Health. 2004b; 17 (2): 192-203.

· Audin K., Davy J., Barkham M. University Quality of Life and Learning (UNIQoLL): An approach to student well-being, satisfaction and institutional change. J Furth High Educ. 2003; 27 (4): 365-82.

· Avalos G., Freeman C., Dunne F. Determining the quality of the medical educational environment at an Irish medical school using the DREEM inventory. Irish Med J. 2007. 100: 522-5.

· Bassaw B., Roff S., McAleer S., Roopnarinesingh S., De Lisle J., Teelucksingh S., et al. Students’ perspectives on the educational environment, Faculty of Medical Sciences, Trinidad. Med Teach. 2003; 25 (5): 522-6.

· Bennett D., Kelly M., O’Flynn S. Are the bigger hospitals better: DREEM on? Irish J Med Sci. 2010; 179: 515-9.

· Bourhaimed M., Thalib L., Doi S.A.R. Perception of the educational environment by medical students undergoing a curricular transition in Kuwait. Med Prin Pract. 2009; 18: 204-8.

· Carmody D.F., Jacques A., Denz-Penhey H., Puddey I., Newham J.P. Perceptions by medical students of their educational environment for obstetrics and gynaecology in metropolitan and rural teaching sites. Med Teach. 2009; 31: e596-602.

· Demirören M., Palaoglu Ö., Kemahli S., Özyurda F., Ayhan I.H. Perceptions of students in different phases of medical education of educational environment: Ankara University Faculty of Medicine. Med Educ Online 2008; 13: 8.

· Denz-Penhey H., Murdoch J.C. A comparison between findings from the DREEM questionnaire and that from qualitative interviews. Med Teach. 2009; 31: e449-53.

· Denz-Penhey H., Murdoch J.C. Is small beautiful? Student performance and perceptions of their experience at larger and smaller sites in rural and remote longitudinal integrated clerkships in the Rural Clinical School of Western Australia. Rural Remote Health. 2010; 10 (3): 1470.

· de Oliveira Filho G.R., Schonhorst L. Problem-based learning implementation in an intensive course of anaesthesiology: a preliminary report on residents’ cognitive performance and perceptions of educational environment. Med Teach. 2005; 27 (4): 382-4.

· de Oliveira Filho G.R., Sturm E.J.H., Sartorato A.E. Compliance with common program requirements in Brazil: Its effects on resident’s perceptions about quality of life and the educational environment. Acad Med. 2005a; 80 (1): 98-102.

· de Oliveira Filho G.R., Vieira J.E., Schonhorst L. Psychometric properties of the Dundee Ready Educational Environment Measure (DREEM) applied to medical residents. Med Teach. 2005b; 27 (4): 343-7.

· de Oliveira Filho G.R., Vieira J.E. The relationship of learning environment, quality of life, and study strategies measures to anaesthesiology resident academic performance. Anesth Analg. 2007. 104: 1467-72.

· Dimoliatis I.D.K., Vasilaki E., Anastassopoulos P., Ioannidis J.P.A., Roff S. Validation of the Greek translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2010; 23: 1.

· Dunne F.S., McAleer S., Roff S. Assessment of the undergraduate medical education environment in a large UK medical school. Health Educ J. 2006; 65 (2): 149-58.

· Edgren G., Haffling A., Jakobsson U., McAleer S., Danielsen N. Comparing the educational environment (as measured by DREEM) at two different stages of curriculum reform. Med Teach. 2010; 32: e233-8.

· Genn J.M. Curriculum, environment, climate, quality and change in medical education: a unifying perspective. In: Genn J.M. (ed.). Curriculum, Environment, Climate, Quality and Change in Medical Education: a Unifying Perspective. AMEE Education Guide No. 23. Dundee, Scotland : AMEE, 2001: 7-28.

· Genn J.M., Harden R.M. What is medical education here really like? Suggestions for action research studies of climates of medical education environments. Med Teach. 1986; 8 (2): 111-24.

· Jiffry M.T.M., McAleer S., Fernando S., Marasinghe R.B. Using the DREEM questionnaire to gather baseline information on an evolving medical school in Sri Lanka. Med Teach. 2005; 27 (4): 348-52.

· Lai N.M., Nalliah S., Jutti R.C., Hla Y.Y., Lim V.K.E. The educational environment and self-perceived clinical competence of senior medical students in a Malaysian medical school. Educ Health. 2009; 22 (2): 1-15.

· Lizzio A., Wilson K., Simons R. University students’ perceptions of the learning environment and academic outcomes: Implications for theory and practice. Stud High Educ. 2002; 27 (1): 27-52.

· Mayya S.S., Roff S. Students’ perceptions of educational environment: a comparison of academic achievers and under-achievers at Kasturba Medical College, India. Educ Health. 2004; 17 (3): 280-91.

· McAleer S., Roff S. A practical guide to using the Dundee Ready Education Environment Measure (DREEM). In: Genn J.M. (ed.). Curriculum, Environment, Climate, Quality and Change in Medical Education: a Unifying Perspective. AMEE Education Guide No. 23. Dundee, Scotland : AMEE, 2001: 29-33.

· McKendree J. Can we create an equivalent educational experience on a two campus medical school? Med Teach. 2009; 31: e202-5.

· Miles S. Changes in medical education: examining the students’ views. In: Cavenagh P., Leinster S.J., Miles S. (eds). The Changing Face of Medical Education. Abingdon, UK : Radcliffe Publishing Ltd, 2011: 103-15.

· Miles S., Leinster S.J. Medical students’ perceptions of their educational environment: expected versus actual perceptions. Med Educ. 2007; 41 (3): 265-72.

· Miles S., Leinster S.J. Comparing staff and student perceptions of the student experience at a new medical school. Med Teach. 2009; 31 (6): 539-46.

· O’Brien A.P., Chan T.M.F., Cho M.A.A. Investigating nursing students’ perceptions of the changes in a nursing curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory: results of a cluster analysis. Int J Nurs Educ Schol. 2008; 5 (1): 25.

· O’Rouke M., Hammond S., O’Flynn S., Boylan G. The Medical Student Stress Profile: a tool for stress audit in medical training. Med Teach. 2010; 44: 1027-37.

· Pimparyon P., Roff S., McAleer S., Poonchai B., Pemba S. Educational environment, student approaches to learning and academic achievement in a Thai nursing school. Med Teach. 2000; 22 (4): 359-64.

· Plucker J.A. The relationship between school climate conditions and student aspirations. J Educ Res. 1998; 91 (4): 240-6.

· Riquelme A., Oporto M., Oporto J., Méndez J.I., Viviani P., Salech F., et al. Performance of the Spanish translation of the Dundee Ready Education Environment Measure (DREEM). Educ Health. 2009; 22 (1): 1-11.

· Roff S., McAleer S. What is educational climate? In: J.M. Genn (ed.). Curriculum, Environment, Climate, Quality and Change in Medical Education: a Unifying Perspective. AMEE Education Guide No. 23. Dundee, Scotland : AMEE, 2001: 3-4.

· Roff S., McAleer S, Harden RM, Al-Qahtani M, Ahmed AU, Deza H, Groenen G, Primparyon P. Development and validation of the Dundee Ready Education Environment Measure (DREEM). Med Teach. 1997; 19 (4): 295-9.

· Roff S., McAleer S., Ifere O.S., Bhattacharya S. A global diagnostic tool for measuring educational environment: comparing Nigeria and Nepal. Med Teach. 2001; 23 (4): 378-82.

· Sobral D.T. Medical students’ self-appraisal of first-year learning outcomes: use of the course valuing inventory. Med Teach. 2004; 26 (3): 234-8.

· Soemantri D., Herrera C., Riquelme A. Measuring the educational environment in health professions studies: a systematic review. Med Teach. 2010; 32: 947-52.

· Thomas B.S., Abraham R.R., Alexander M., Ramnarayan K. Students’ perceptions regarding educational environment in an Indian dental school. Med Teach. 2009; 31: e185-8.

· Thomé G., Hovenberg H., Edgren G. Portfolio as a method for continuous assessment in an undergraduate health education programme. Med Teach. 2006; 28 (6): e171-6.

· Till H. Identifying the perceived weaknesses of a new curriculum by means of the Dundee Ready Education Environment Measure (DREEM) Inventory. Med Teach. 2004; 26 (1): 39-45.

· Till H. Climate studies: can students’ perceptions of the ideal educational environment be of use for institutional planning and resource utilization? Med Teach. 2005; 27 (4): 332-7.

· Tokuda Y., Goto E., Otaki J., Jacobs J., Omata F., Obara H., et al. Undergraduate educational environment perceived preparedness for postgraduate clinical training, and pass rate on the National Medical Licensure Examination in Japan. BMC Med Educ. 2010; 10: 35.

· Varma R., Tiyagi E., Gupta J.K. Determining the quality of educational climate across multiple undergraduate teaching sites using the DREEM inventory. BMC Med Educ. 2005; 5: 8.

· Vieira J.E., do Patrocinio Tenorio Nunes M., de Arruda Martins M. Directing student response to early patient contact by questionnaire. Med Educ. 2003; 37 (2): 119-25.

· Wang J., Zang S., Shan T. Dundee Ready Education Environment Measure: Psychometric testing with Chinese nursing students. J Adv Nurs. 2009; 65 (12): 2701-9.

· Whittle S., Whelan B., Murdoch-Eaton D.G. DREEM and beyond; studies of the educational environment as a means for its enhancement. Educ Health. 2007; 20 (1): 1-9.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»