ДОКАЗАТЕЛЬНЫЙ ПОДХОД В СОЗДАНИИ ОЦЕНОЧНОГО ИНСТРУМЕНТАРИЯ ДЛЯ АККРЕДИТАЦИИ СПЕЦИАЛИСТОВ ЗДРАВООХРАНЕНИЯ

Резюме

Рассматриваются основные положения доказательного подхода и его возможности для создания инновационного оценочного инструментария. Анализируются этапы внедрения доказательного подхода в практику создания оценочного инструментария для аккредитации специалистов здравоохранения. Приводятся итоги апробации ситуационных заданий, требующих аргументации выбора ответов.

Ключевые слова:аккредитация, доказательный подход, инновационные ситуационные задания, модель специалиста

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Семенова Т.В., Малахова Т.Н., Сизова Ж.М. Доказательный подход в создании оценочного инструментария для аккредитации специалистов здравоохранения // Медицинское образование и профессиональное развитие. 2021. Т. 12, № 1. С. 67-79. DOI: https://doi.org/10.33029/2220-8453-2021-12-1-67-79

Идеи доказательного подхода первоначально возникли в медицине в ХХ в. Родоначальником доказательного подхода считают А. Кокрейна, британского эпидемиолога, который полагал, что принятие решений в лечении больных необходимо вести на основе анализа многочисленных научных и практических данных, обеспечивающих доказательную базу для выбора оптимальных решений [1]. Его идеи были поддержаны единомышленниками, и доказательный подход в ХХ в. обрел свое заслуженное почетное место в здравоохранении многих стран мира. Например, обширная информация о рандомизированных исследованиях собрана в электронных базах данных - Мелете, Cochrane Controlled TrieLs Register [2]. Примером реализации доказательного подхода в отечественной системе здравоохранения могут служить многочисленные клинические рекомендации по лечению больных, разработанные и внедренные в практику деятельности специалистов здравоохранения в России [3].

Со временем доказательный подход расширил область охвата и переместился в сферу социальных наук, получив свое развитие в социологии и образовании [4]. В частности, в образовательных измерениях доказательный подход как составная часть методологии сформировался еще в конце XX в., но получил свое распространение в практике создания инновационного оценочного инструментария для массовых оценочных процессов намного позже, лишь в конце первого десятилетия XXI в. В целом под доказательным подходом в образовании можно понимать специальную технологию научно обоснованного сбора и интеграции данных для выявления наиболее эффективных методов обучения, оценивания и управленческих воздействий, приводящих к позитивным изменениям в образовании, росту его эффективности и совершенствованию качества его результатов [5].

Цель построения доказательств в оценивании состоит в установлении соответствия определенных утверждений относительно наблюдаемых баллов испытуемых реальной действительности, их истинным латентным баллам, являющимся идеализацией и свободным от ошибок измерения. С начала XXI в. в связи с появлением ком-петентностного подхода к трактовке качества результатов образования актуализировались проблемы обеспечения высокой надежности и валидности результатов измерений в силу металатентной природы переменных измерений - компетенций [6]. По этой причине целый ряд тестологических служб и компаний обратился к методологии доказательного подхода при проведении сертификационных или иных экзаменов (Cisco, GlassLab, CRESST, Labs, CITO и т.д.) [12]. Благодаря тому, что доказательный подход обеспечивает несмещенные оценки переменных измерений, свободных от субъективного восприятия индивидуумов, и предоставляет обоснованную интегрированную информацию об оцениваемых латентных характеристиках испытуемых, его применение позволяет повысить надежность и валидность оценок компетентности испытуемых.

Эти возможности доказательного подхода особенно важны на экзаменах высокой значимости, к числу которых относятся аттестация выпускников медицинских вузов и аккредитация специалистов здравоохранения [7]. При первичном анализе результатов аттестации и аккредитации, нацеленном на отбор испытуемых, преодолевших пороговый балл, доказательный подход обеспечивает дополнительную уточняющую информацию о результатах испытуемых в зоне нечетких решений (10% слева и справа от порогового балла). Такая информация, основанная на углубленном анализе аргументации испытуемых при выборе ответов в рамках доказательного подхода, позволяет минимизировать ошибки классификации при аттестации или аккредитации, к числу которых относят ложные положительные (испытуемый неоправданно считается преодолевшим пороговый балл) и ложные отрицательные (испытуемый незаслуженно отнесен к категории не преодолевших пороговый балл) решения.

Вторичный анализ результатов аттестации или аккредитации, предназначенный для совершенствования качества профессиональной готовности специалистов здравоохранения и выполненный в рамках доказательного подхода, позволяет получить детализированную развернутую информацию о ходе мышления каждого испытуемого при выполнении заданий теста или кейса. Анализируя ход размышлений испытуемых при выполнении заданий на экзаменах, можно получить доказательства того, что данная переменная (компетенция или трудовая функция) действительно освоена и правильное выполнение задания носит не случайный, а вполне закономерный характер. На основе анализа хода мышления испытуемого при выполнении аттестационных или аккредитационных заданий доказательный подход обеспечивает оценку способности каждого испытуемого к аргументации, анализу данных, критическому мышлению и принятию правильных профессиональных решений, в том числе с использованием информационных баз данных [3].

Таким образом, технологии аттестации и аккредитации, обращающиеся к возможностям доказательного подхода, способствуют повышению эффективности этих процедур путем роста надежности и валидности результатов образовательных измерений. Эти технологии обладают инновационностью и нуждаются в дальнейшем изучении и практическом внедрении. В статье рассматриваются теоретические и методические аспекты доказательного подхода при первичном и вторичном анализе данных аккредитации выпускников медицинских вузов. Приводятся результаты эксперимента, предназначавшегося для апробации возможности использования доказательного подхода при разработке инновационного оценочного инструментария для первичной аккредитации в целях роста надежности аккредитационных решений.

В основе доказательного подхода в оценивании лежат радикальные различия между данными и доказательствами (Schum D.A., 1987) [8]. Первые можно отождествить с наблюдаемыми результатами испытуемых в образовательных измерениях, а вторыми являются аргументы для анализа, позволяющего сделать обоснованные выводы об истинных баллах испытуемых. Не любые аргументы являются доказательствами, так как иногда испытуемые идут по простейшему пути и выбирают в качестве аргументов простой перечень событий, фактов либо ссылок на публикации. В оценочных процессах доказательства должны обладать должной глубиной и убедительностью, показывая последовательность рассуждений испытуемого при выполнении задания. Такие полноценные доказательства являются составной частью классической схемы Тулмина (Toulmin, 1958), иллюстрирующей логические связи между данными, доказательствами и выводами [2]. Модификация схемы Тулмина, выполненная авторами статьи для оценивания в аккредитации, приводится на рис. 1. На схеме связующим звеном между интерпретацией результатов оценивания, предназначенной для получения выводов относительно истинных баллов испытуемых, и наблюдаемыми результатами оценивания, полученными при проведении оценочных процедур, является совокупность доказательств, содержащих наборы утверждений. Сами по себе утверждения, как правило, неоднозначны, так как могут вести как к правильным, так и к альтернативным ответам.

Рис. 1. Модификация схемы Тулмина для оценочных процессов, по [2]

При правильном выполнении задания испытуемый приведет верные аргументы. Контраргументы приведут испытуемого к неверным выводам, и задание будет выполнено неверно. Обращаясь к языку статистики, что вполне оправданно в силу неизбежного влияния на результаты оценивания ошибок измерения, можно утверждать, что наблюдаемые результаты измерений дают априорные оценки вероятности правильного выполнения каждого задания испытуемыми, а доказательная база позволяет уточнить априорные оценки и получить апостериорные оценки параметра каждого испытуемого путем дедуктивных рассуждений на основе теоремы Байеса [9, 10].

В общем случае байесовская сеть имеет вид ориентированного графа, в котором каждая вершина представляет определенную переменную, а дуги изображают причинно-следственные связи между переменными. В образовательных измерениях для построения байесовской сети отталкиваются от теоретических предположений об освоении испытуемым переменных (для данного случая - трудовых функций), а затем переходят к поиску доказательств, подтверждающих освоение переменных. Такими доказательствами являются апостериорные оценки вероятности того, что данная переменная (компетенция или трудовая функция) освоена испытуемым, т.е. задание выполнено испытуемым не случайно или с помощью подсказки, а на основе сформированной компетентности в данном виде профессиональной деятельности.

Построению байесовской сети должна предварять работа по созданию модели специалиста, носящей форму сети и задающей в данном случае целевые ориентиры относительно освоения испытуемыми трудовых функций из профессиональных стандартов для специалистов здравоохранения [11, 12]. При построении сетевой модели необходимо принимать во внимание различный характер связей между отдельными ее компонентами. Такой характер может быть либо условным, когда для выполнения данного трудового действия необходимо, чтобы у специалиста были сформированы другие трудовые действия, либо безусловным, означающим, что отдельные компоненты модели локально независимы. Локальная независимость компонентов модели не исключает существование частичной взаимосвязи элементов, но эта связь намного слабее и не носит явного причинно-следственного характера (Mislevy R., 2016) [10].

На рис. 2 показан пример построения модели, включающей совокупность трудовых действий врача-кардиолога. В кружках размещены номера трудовых действий, взятые из приказа Министерства труда и социальной защиты Российской Федерации от 14.03.2018 г. № 140н "Об утверждении профессионального стандарта "Врач-кардиолог"" [13]. Модель специалиста, приведенная на рис. 2, отражает различия в характере связей между трудовыми функциями с помощью линий отличающегося вида. Существование локальной независимости между трудовыми функциями, предполагающей их частичную связь, показано с помощью штриховых линий. Для причинно-следственной связи выбраны сплошные линии.

Рис. 2. Модель испытуемого в аккредитации специалистов здравоохранения (специальность "Кардиология")

Д - действие.

Содержательный анализ трудовых действий, представленных на рис. 2, позволяет выделить 6-е действие, направленное на обоснование и постановку диагноза, которое связано с другими действиями причинно-следственными связями. Действительно, вполне очевидно, что ошибка в постановке диагноза приведет к последующим ошибочным решениям при выборе повторных осмотров и обследований пациентов, разработке плана лечения и назначении лекарственных препаратов и медицинских изделий.

Построение целевой модели для испытуемого имеет первостепенное значение при определении правильных пропорций заданий, планировании их числа и распределении по отдельным трудовым действиям в спецификации аккредитационных оценочных средств. На основе таких моделей, имеющих вид направленного графа, разрабатывали спецификации для тестов и ситуационных заданий в Методическом центре аккредитации специалистов здравоохранения. Поэтому содержание оценочных материалов, используемое при аккредитации, всегда сбалансировано и адекватно требованиям профессиональных стандартов для специалистов здравоохранения.

На следующем шаге строится байесовская сеть, связывающая модель испытуемого и модель измерителя и имеющая так же вид графа. Первоначальный шаг в построении структуры сети основывается на результатах применения оценочного средства или на данных из экспертных оценок априорной вероятности, являющейся мерой тесноты связей между компонентами модели испытуемого и заданиями оценочного средства [14]. После этого с помощью специального программного обеспечения (программа Netica, http://www.ai.mit.edu/murphyk/Software/BNT/bnsoft.html) выполняется количественная оценка апостериорной вероятности для каждой связи в байесовской сети, доказывающая правомерность вывода об освоении трудовой функции испытуемым или указывающая на случайный характер связи [9].

Применение доказательного подхода на основе обращения к байесовским сетям актуально при проведении вторичного анализа данных аккредитации в целях принятия управленческих решений по совершенствованию качества медицинского образования, когда подтвержденный процент испытуемых, освоивших каждое трудовое действие из профессиональных стандартов, может служить индикатором качества образовательных программ или результатов их реализации в медицинских вузах России. При первичном анализе данных аккредитации, предназначенном для отбора аккредитованных испытуемых, доказательный подход служит базисом для создания инновационного оценочного инструментария, позволяющего минимизировать ошибки классификации в зоне нечетких решений, о которой упоминалось выше.

Инновационность должна быть направлена на то, чтобы отследить процесс выполнения заданий испытуемыми и получить аргументацию выбора ответов, описывающую ход мышления испытуемых, адекватный по своей структуре логической схеме Тулмина [2] и ее модификации (см. рис. 1). Правильная аргументация, представленная испытуемыми с баллами из зоны нечетких решений, должна служить минимизации случаев ложных отрицательных решений при аккредитации, когда испытуемый неоправданно отнесен к категории тех, кто не прошел за пороговый балл. В противном случае, если обнаружены подтверждения неправильной аргументации испытуемых при выборе тех или иных ответов, можно принять решение о ложной положительной классификации и перевести испытуемых в группу тех, кто не прошел за пороговый балл. Таким образом, доказательный подход помогает проследить путь мыслительной деятельности, которая протекает у испытуемых при выполнении заданий оценочных средств, и позволяет минимизировать ошибки при классификации испытуемых в зоне нечетких решений [3].

Другим позитивным следствием применения доказательного подхода при создании инновационного оценочного инструментария является повышение количества и качества обратной связи в оценочных процессах, обеспечивающей важную информацию авторам заданий для коррекции заданий с целью повышения их содержательной валидности и аутентичности при имитации задач профессиональной деятельности на аккредитации. Помимо этого, коррекция заданий, выполненная по результатам обращения к доказательному подходу, позволяет также минимизировать систематические ошибки измерения, вернее, ту их составляющую, которая проистекает из низкой конструктной валидности заданий.

Методы и приемы создания инновационных заданий в рамках доказательного подхода многочисленны и разнообразны. Они реализуются путем включения в традиционные задания с выбором ответов различных схем, таблиц, рисунков, вопросов, ссылок на базы данных и т.п., вынуждающих испытуемых после выбора ответа обратиться к этой дополнительной информации и привести свою аргументацию по сделанному выбору в форме развернутого ответа. Несомненно, что эти приемы далеко не всегда просты и требуют от авторов заданий специальных навыков и дополнительной работы. Например, по оценкам специалистов крупнейшей Службы тестирования Questionmark, имеющей подразделения в США, Великобритании и Германии и разрабатывающей тесты на 36 языках для различных стран мира, время разработки качественных заданий довольно значительно (https://www.questionmark.com/). В соответствии со взглядами специалистов этой Службы, сформированными на основе многолетнего опыта работы в различных странах, его можно определить в соответствии с данными в табл. 1.

Таблица 1. Время разработки заданий по оценкам специалистов Службы тестирования Questionmark

Как следует из табл. 1, создание инновационных заданий является трудозатратным процессом, требующим от авторов креативности и тщательного обдумывания. Поэтому использование доказательного подхода в деятельности структур, занимающихся тестированием, требует подготовительного периода, включающего ряд этапов. В качестве I этапа работ по созданию инновационных заданий на основе доказательного подхода в Методическом центре аккредитации в состав ситуационных заданий был включен обширный графический материал, имитирующий ситуации профессиональной деятельности врача и содержащий различные форматы представления анализов, фотоснимки и другие документальные описания состояния пациента [15-17].

II этапом подготовительного периода можно считать введение элементов интерактивности в ситуационные задания, где интерактивность понимается как способность задания реагировать на действия испытуемого [14]. Потребность в интерактивности возникла вследствие появления причинно-следственных связей в заданиях кейса по целому ряду медицинских специальностей ("лечебное дело", "педиатрия" и т.д.), обусловленных содержанием трудовых функций профессиональных стандартов и отраженных в модели испытуемого для аккредитации специалистов здравоохранения (специальность "Кардиология"), приведенной на рис. 2. При появлении неверных ответов на вопросы, направленные на постановку диагноза, ответы испытуемых корректируются, и затем все испытуемые без исключения получают возможность ответить на оставшиеся вопросы ситуационного задания. Необходимость коррекции соответствующим образом отражается в итоговых баллах тех, кто не сумел поставить диагноз верно.

Первые 2 этапа в настоящее время уже внедрены в практику аккредитации специалистов здравоохранения, в то время как III этап подготовительного периода по созданию инновационных заданий на основе доказательного подхода был реализован пока в режиме апробации сотрудниками Методического центра аккредитации специалистов в 2019-2020 гг. на представительных выборках студентов VI курсов медицинских вузов России. Суть III этапа состоит в конструировании испытуемыми аргументации после выбора одного или нескольких ответов из числа предложенных ответов к заданию. Цель апробации - анализ информации о типичных аргументах испытуемых, приводимых ими при выборе ответов.

Оценочным инструментарием, выбранным для апробации, послужили ситуационные задания из банка оценочных средств для первичной аккредитации специалистов по специальности "Лечебное дело". Каждому испытуемому предлагалось выполнить 2 ситуационных задания, включающих по 12 вопросов с выбором ответов, а затем обосновать выбор ответов путем приведения аргументации, ссылок на изученный материал и описания хода своих рассуждений. В апробации приняли участие 68 студентов VI курса лечебных факультетов образовательных организаций ФГАОУ ВО Первый МГМУ им. И.М. Сеченова Минздрава России (Сеченовский Университет), ФГБОУ ВО Тверской ГМУ Минздрава России, ФГБОУ ВО ИвГМА Минздрава России. Выбор участников был случаен.

Для аргументации в поле задания отводится специальное место. Примеры таких заданий показаны на рис. 3 и 4.

Рис. 3. Пример фрагмента ситуационного задания, требующего приведения аргументации по выбору ответа (частично полная аргументация)

Рис. 4. Пример фрагментов двух ситуационных заданий, требующих приведения аргументации по выбору ответов (неполная аргументация)

Для сравнения на рис. 3 и 4 приведены задания, отличающиеся по степени обоснованности выбора ответа. Аргументация испытуемого, приведенная на рис. 3, полнее по сравнению с ответами испытуемых на рис. 4. Однако даже она далека от требований логической схемы Тулмина, согласно которой должны выстраиваться аргументы по выбору ответов. Вполне понятно, что ответы испытуемых на рис. 4 не дают никакой информации о ходе их мышления и рассуждениях при выборе ответов.

В табл. 2 приводятся общие итоги апробации. В первом столбце указаны участники апробации. Второй столбец содержит информацию о числе заданий с выбором ответов, выполненных испытуемыми каждого вуза. В третьем столбце содержится число обоснований, включающих частично полную аргументацию, подобную той, которая приведена на рис. 3. Четвертый столбец показывает число испытуемых, ответивших подобно примерам на рис. 4, 5. Испытуемые вместо развернутого обоснования приводят краткую ссылку на клинические рекомендации, приказ Минздрава России или другие материалы из прослушанных лекций.

Рис. 5. Пример фрагментов двух ситуационных заданий, требующих приведения аргументации по выбору ответов (неполная аргументация)

Таблица 2. Итоги апробации по вузам

Апробация инновационных заданий на основе доказательного подхода показала, что у значительного числа выпускников медицинских вузов (430 кратких ответов по сравнению с 1190 частично полными ответами) не сформированы навыки аргументированного объяснения выбора своих решений в лечении больных. При правильном положении вещей обоснования должны содержать результаты сравнительного критического анализа информации по лекционному курсу, оценочные суждения по практическому опыту выпускника и т.п., завершающиеся выводом по выбору правильного ответа.

В целом введение доказательного подхода в практику аккредитации позволит понять:

- на основании каких соображений испытуемый выбрал один из ответов, предложенных в заданиях с множественным выбором?

- как и каким путем в мышлении испытуемых происходит переход от знаний к умениям их применять для решения профессиональных проблем?

- в чем причины выбора неправильных ответов?

- как обобщить результаты выполнения отдельных заданий, чтобы получить более широкие представления о способностях выпускников медицинских вузов аргументировать свои решения? Несомненным позитивным следствием введения доказательного подхода в практику аккредитации будет совершенствование способностей выпускников медицинских вузов по построению доказательной базы для выбора оптимальных решений в своей профессиональной деятельности. Помимо этого применение доказательного подхода в ситуационных заданиях позволит испытуемым:

- проявить свои способности по работе со значительными объемами информации, в том числе применить умения собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;

- применить навыки критического и системного мышления;

- продемонстрировать навыки принятия решений на основе анализа ситуации.

В целом можно сделать вывод о том, что внедрение доказательного подхода в разработку оценочного инструментария для аккредитации открывает новые возможности для совершенствования качества медицинского образования.

Литература

1. Mazurek M.B., Fineout-Overholt E. Evidence-based practice in nursing & healthcare: a guide to best practice. Bernadette Mazurek Melnyk. 2nd ed. 624 p. ISBN 978-1-60547-778-7.

2. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). Princeton, NJ : Educational Testing Service, 2003.

3. Звонников В.И., Свистунов А.А., Семенова Т.В. Оценка профессиональной готовности специалистов в системе здравоохранения / под ред. Т.В. Семеновой. Москва : ГЭОТАР-Медиа, 2019. 272 с.

4. Чиркин А.А. Размышления о доказательной педагогике // Педагогические инновации: традиции, опыт, перспективы. Материалы Международной научно-практической конференции. Витебск : ВГУ, 2010. С. 55-56.

5. Малахова Т.Н., Челышкова М.Б., Семенова Т.В. Доказательный подход в разработке оценочных средств для аккредитации выпускников вузов // Педагогические измерения. 2019, № 1. С. 55-62.

6. Ефремова Н.Ф. Аргументации и доказательства надежности оценок компетенций студентов // Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки. 2018. Т. 12, № 2. С. 43-50. DOI: https://doi.org/10.31161/1995-0659-2018-12-2-43-50.

7. Сизова Ж.М., Семенова Т.В., Челышкова М.Б. Оценка профессиональной готовности специалистов здравоохранения при аккредитации // Медицинский вестник Северного Кавказа. 2017. Т. 12, № 4. С. 459-462. DOI: https://doi.org/10.14300/mnnc.2017.12127.

8. Schum D.A. Evidence and inference for the intelligence analyst. Lanham, MD : University Press of America, 1987.

9. Тулупьев А.Л., Николенко С.И., Сироткин А.В. Байесовские сети: логико-вероятностный подход, СПб : Наука, 2006.

10. Levy R., Mislevy R. Bayesian Psychometric Modeling. CRC Press, Taylor & Francis Group, LLC, 2016.

11. Буль Е.Е. Обзор моделей студента для компьютерных систем обучения // Образовательные технологии и общество. 2003. Том. 6, № 4. С. 245-50. Режим доступа: https://cyberleninka.ru/article/n/obzor-modeley-studenta-dlya-kompyuternyh-sistem-obucheniya.

12. Stauffer K., Stauffer K. Applications of Student Modeling. 1996.

13. Приказ Министерства труда и социальной защиты Российской Федерации от 14.03.2018 № 140н "Об утверждении профессионального стандарта "Врач-кардиолог".

14. Semenova T., Sizova Z., Zvonnikov V., Masalimova A., Ersozlu Z. The Development of Model and Measuring Tool for Specialists Accreditation // EURASIA J. Math., Sci. Tech. Ed. 2017. Vol. 13, N 10. P. 6779-6788.

15. Сизова Ж.М., Звонников В.И., Челышкова М.Б. Методические рекомендации по оцениванию специалистов здравоохранения при аккредитации (Выпуск 4) // под ред. Ж.М. Сизовой. ФГАОУ ВО Первый Московский государственный медицинский университет им. И.М. Сеченова Минздрава России (Сеченовский университет), Методический центр аккредитации специалистов. Москва : Издательство Первого МГМУ имени И.М. Сеченова, 2018. 56 с.

16. Семенова Т.В., Сизова Ж.М., Малахова Т.Н., Малыгин А.А., Челышкова М.Б. Интерактивные множественные кейсы в аккредитации специалистов здравоохранения // Медицинский вестник Северного Кавказа. 2019. Т. 1, № 1. С.118-22. DOI: https://doi.org/10.14300/mnnc.2019.14066.

17. Burke E., Kleeman J. Assessing for Situational Judgment Designing, deploying and getting value from Situational Judgment Assessments, White Paper, 2018. 43 p. Режим доступа: www.questionmark.com.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»