To the content
2 . 2023

ASSESSING THE PROFESSIONALISM OF PHYSICIANS BY PATIENTS: TRANSLATION INTO RUSSIAN, ADAPTATION AND VALIDATION OF THE IPAMP QUESTIONNAIRE

Abstract

The assessment of medical professionalism does not lose its relevance, since it is associated with the assessment of the quality of training of future doctors and the provision of medical care to the population. Existing tools for assessing the professionalism of doctors in the Russian Federation rarely take into account the opinion of patients or their legal representatives. The International Patient Assessment Tool for Medical Professionalism (IPAMP) includes 11 items and is designed to assess the professionalism of trainees and doctors from the patient’s point of view.

Purpose. Translation into Russian, adaptation and validation of the Patient Assessment Tool for Medical Professionalism (IPAMP).

Material and methods. A cross-sectional study was conducted on the basis of the Arkhangelsk Children’s Dental Clinic of the Arkhangelsk Region to test the reliability and validity of the Russian version of the questionnaire (R-IPAMP). 336 legal representatives of patients (parents) were anonymously interviewed, who assessed the professionalism of 7 dentists with a work experience of no more than 3 years, under the age of 30 years.

Results. Intercultural translation and adaptation of IPAMP into Russian was carried out. Structural and criterion validity of the assessment tool are determined. The Cronbach’s alpha coefficient for 11 items of the questionnaire was 0.814, which indicates good reliability of the assessment tool, internal consistency of the questionnaire questions and their homogeneity. We analyzed the response data of 336 legal representatives of patients who highly rated the medical professionalism of young doctors (4.56±0.04).

Research limitations. Standardization of the questionnaire requires further study of its convergent and discriminant validity, retest reliability, and factor analysis on a larger sample of respondents.

Conclusion. The proposed version of the Russian version of IPAMP is a valid and reliable tool for assessing medical professionalism on the part of patients and can be used at all stages and levels of medical education, as well as in practical healthcare to receive feedback from patients or their legal representatives in order to correct the educational process and improve interactions in the doctor-patient system.

Keywords:medical professionalism; grade; patients’ opinions; questionnaire, validity; reliability

Funding. The study had no sponsor support.

Conflict of interest. The authors declare no conflict of interest.

For citation: Vasilyeva E.Yu., Semakova A.A., Sungurova M.S. Assessing the professionalism of physicians by patients: translation into Russian, adaptation and validation of the IPAMP questionnaire. Meditsinskoe obrazovanie i professional’noe razvitie [Medical education and professional development]. 2023; 11 (2): 29–38. DOI: https://doi.org/10.33029/2220-8453-2023-14-2-29-38 (in Russian)

Проблема медицинского профессионализма приобретает особую важность на современном этапе развития медицинского образования и практического здравоохранения [1, 2]. Между тем это понятие остается одним из самых сложных и неоднозначных в науке. За последние 20 лет в зарубежной и отечественной науке было предпринято немало попыток внести ясность в понятие "медицинский профессионализм". Так, например, в 2002 г. была опубликована Хартия врачей о медицинском профессионализме, впоследствии одобренная более чем 100 профессиональными ассоциациями по всему миру [3]. Однако оно по-прежнему трактуется учеными по-разному: как социологический конструкт; как требование к уровню мастерства, профессиональным знаниям и умениям врача, относящимся к практической деятельности специалиста со стороны общественности; как следование определенному профессиональному поведению и должностным обязанностям и др. [4]. Можно выделить ряд методологических проблем в изучении медицинского профессионализма: нечеткость в определении и терминологии, необходимость определения его функциональной значимости для общества и структуры, которые влекут за собой очень важную проблему измерения и диагностики медицинского профессионализма.

Оценка медицинского профессионализма на всех этапах медицинского образования имеет большое значение, ибо она способствует усилению мотивации будущих врачей к обучению и формированию профессиональной идентичности, позволяет преподавателям медицинских вузов внести коррективы в содержание учебного процесса с целью повышения его качества; своевременно выявлять обучающихся, врачебная деятельность которых в дальнейшем может представлять опасность для пациентов [5].

В РФ и за рубежом существуют различные инструменты оценки медицинского профессионализма. Так, например, в такой области медицины, как общественное здоровье и здравоохранение, проводятся серьезные исследования на предмет выявления удовлетворенности пациентов качеством оказываемых медицинских услуг, например, путем изучения их отзывов [6]. Однако при наличии различных инструментов для оценки медицинского профессионализма мнение пациентов редко рассматривается в научной литературе и изучается на практике [7-9]. Между тем поскольку пациенты являются ключевой заинтересованной стороной при оказании медицинской помощи, то исследования по оценке профессионализма врачей с использованием жизненного опыта пациентов весьма актуальны за рубежом и в нашей стране [1, 10]. Так, например, зарубежные исследователи включают в оценку медицинского профессионализма навыки общения врачей, которые вполне могут оценить пациенты: индивидуальный подход, проявление вежливости и терпения, наличие чуткого и сострадательного отношения к пациенту, а также вовлечение пациентов в совместное принятие решений [11]. Очевидно, что вышеперечисленные навыки и качества профессионального поведения трудно оценить в формальных и официальных условиях оценки студентов-медиков, например на экзамене или в процедуре итоговой аттестации выпускников медицинских вузов, но при этом мнение пациентов относительно выраженности навыков общения и качеств межличностного взаимодействия врачей не стоит исключать совсем, так как оно имеет большое значение и может дополнять другие источники информации (например, тест, симуляцию и оценку преподавателя, врача, коллеги). С этой целью в 2020 г. был разработан стандартизированный инструмент оценки медицинского профессионализма для пациентов (IPAMP), который активно используется в практике медицинского образования [12]. В РФ проблема оценки медицинского профессионализма студентов, ординаторов и молодых врачей не является решенной: методики для оценки их профессионализма с точки зрения пациентов отсутствуют. Цель исследования: разработать российскую версию IPAMP (The instrument for Patient Assessment of Medical Professionalism) - R(Russian)-IPAMP и проверить ее достоверность и надежность в исследовании мнения пациентов о профессионализме врачей-стоматологов.

Материал и методы

Нами были осуществлены межкультурный перевод и адаптация IPAMP на русский язык и проведено поперечное исследование, чтобы изучить его психометрические свойства. Оценку профессионализма врачей-стоматологов со стороны пациентов изучали на базе ГАУЗ Архангельской области "Архангельская детская стоматологическая поликлиника" с апреля по июнь 2022 г. Критерии отбора законных представителей пациентов (родителей): возраст 30 лет и старше, присутствие вместе со своими детьми на приеме врачей-стоматологов, стаж работы которых составлял не более 3 лет. Все добровольно согласились участвовать в исследовании. Респонденты заполняли анкету после приема у врача и отдавали регистратору. Исследование поддержано и одобрено локальным этическим комитетом ФГБОУ ВО СГМУ (г. Архангельск) Минздрава России (Протокол № 5 от 10.10.2020).

Оригинальный вариант IPAMP имеет 11 пунктов, каждый из которых оценивается по 5-балльной шкале Лайкерта (1 - плохо, 2 - удовлетворительно, 3 - хорошо, 4 - очень хорошо и 5 - отлично, # - невозможно оценить). По данным разработчиков анкеты, анализ показал ее двухфакторную модель, включающую "вовлечение и уважение" (вопросы 5, 6 и 8-11) и "сострадание и взаимопонимание" (вопросы 1-4 и 7) [12].

IPAMP был переведен нами на русский язык в соответствии с международными рекомендациями по кросс-культурной адаптации опросников [13]. Во-первых, два прямых перевода с английского на русский язык были выполнены независимо двумя переводчиками. Переводчики свободно говорили по-английски, были знакомы с системами практического здравоохранения, в которой используются оба языка, и имели профессиональный опыт перевода анкет в области медицинского образования. Во-вторых, переводчики вместе работали над синтезом и уточнением русских переводов. Результатом такой работы стала версия 1 анкеты. Далее профессиональными переводчиками, не имевшими предварительного знания опросника, был выполнен обратный перевод версии 1 на английский язык. Мы сравнили версию с обратным переводом с оригинальной английской версией, откорректировали ее и использовали версию 2. На основе мнения врачей преподавателей-экспертов в области медицинского профессионализма версия была модифицирована. В течение 2020-2021 гг. проведены пилотные исследования в 5 поликлиниках г. Архангельска и Северодвинска, где были опрошены взрослые пациенты и родители пациентов-детей, чтобы понять, была ли версия 3 им понятной. Поскольку пилотное анкетирование показало, что проблем в процессе перевода не было, то версия 3 была признана окончательной.

Для проверки надежности внутренней согласованности анкеты использовался коэффициент альфа Кронбаха, значение которого выше 0,70 для данного коэффициента считается удовлетворительной надежностью [14].

После оказания стоматологической помощи детям и подросткам, не достигшим 15 лет, с добровольного согласия в письменной форме были проанкетированы 336 родителей как их законных представителей. Выборка респондентов сформирована по рандомному принципу. Средний возраст респондентов составил 36,27±6,77 года. Женщин, участвующих в анкетировании, - 222 (66,1%) человек, мужчин - 114 (33,9%) человек. Они оценили навыки общения 7 врачей, включая 3 женщин и 4 мужчин, которых оценили 285 (84,8%) женщин-матерей пациентов и 51 (15,2%) мужчин-отцов соответственно. Средний возраст врачей составил 25,59 (±1,40) года.

Исследование одномоментное, сравнительное. В электронную базу данных вносили сведения о результатах субъективной оценки родителями стоматологических пациентов (детей) навыков общения врачей в зависимости от врачебной специальности доктора.

Статистическая обработка данных выполнена с использованием пакета SPSS Statistics, версия 17.0 (SPSS Inc., США). Обработка вариационных рядов включала расчет средних величин (M), стандартного отклонения средней величины. Проверка вариационных рядов на подчинение закону нормального распределения проведена с помощью критерия Колмогорова-Смирнова.

Результаты

Для определения надежности опросника на уровне оценки врача мы исходили из основных положений теории обобщения, согласно которым определяется необходимое количество ответов пациентов, чтобы оценить работу врача в приемлемых пределах достоверности. Установлено, что стабильность ответов пациентов (Ep² ≥0,70) может быть достигнута при работе с 23-25 пациентами, а 28 пациентов обеспечивают еще больший коэффициент надежности (Ep²=0,84) [15]. В нашем исследовании количество респондентов, оценивших профессионализм врачей, соответствует вышеуказанным требованиям (табл. 1).

Анализ результатов среднего балла по вопросам анкеты, выставленного родителями пациентов, как по отдельно взятым вопросам, так и в целом, достаточно высокий - 4,56 баллов (табл. 2).

Структуры отметок, которые выставили родители пациентов, по вопросам анкеты статистически значимо различаются. Доля отметок "5" превышает 65%, а отметок "2" составляет 1,24% и отметки "3" - 9,06%. Налицо явная неоднородность структуры отметок (табл. 3).

Обсуждение

Английская версия IPAMP была переведена на русский язык и изучена нами с разных сторон. R-IPAMP-опросник показал хорошую структурную и связанную с критериями достоверность и надежность внутренней согласованности: коэффициент альфа Кронбаха равен 0,814.

Данное исследование имеет ряд сильных сторон. Во-первых, следование принятой в научном сообществе методологии перевода. В соответствии с международ­ными рекомендациями [13] мы адаптировали исходный аутентичный вариант опросника к русскому языку, используя следующую процедуру: перевод, синтез, обратный перевод, рецензирование экспертом в области медицинского профессионализма и пилотное тестирование опросника. Следование данной методологии повышает доверие к результатам исследования и выводам. Во-вторых, процент респондентов, не испытавших затруднений в понимании вопросов опросника был очень высоким - 95%. Получение высокой доли ответов имеет особое значение для характеристики исследования, так как это позволяет характеризовать его результаты как надежные и достоверные [14, 16, 17]. Оригинальная английская версия IPAMP имеет два фактора ("вовлечение и уважение" и "сострадание и взаимопонимание") [12], тогда как мы не проводили факторного анализа, потому что в некоторых исследованиях утверждается, что IPAMP имеет одно, а не двухфакторную структуру, и вопрос до сих пор остается дискуссионным. Во-вторых, проблем с переводом не было, и исходное значение элементов опросника не могло измениться и повлиять на интерпретацию респондентами русской версии. В-третьих, культурные различия, на наш взгляд, минимальны с точки зрения времени проведения медицинского интервью, пропорции времени, затрачиваемого на различные задачи и этапы врачебного приема и стиля общения между врачами и пациентами.

Предложенный опросник, насколько нам известно, - это первая российская версия IPAMP для измерения профессионализма врачей со стороны пациентов. На современном этапе, когда в практическом здравоохранении широко декларируется пациент-центрированный подход, крайне важно использовать данный опросник: он позволяет выявить и учесть мнение пациента, а в медицинском образовании R-IPAMP можно использовать для обучения студентов и ординаторов медицинскому профессионализму.

Очевидно, что исследование имеет ряд ограничений. Во-первых, факторный анализ не был проведен. Его следует осуществить в будущих исследованиях при получении более полных данных. Во-вторых, в этом исследовании, хотя структурная и связанная с критериями валидность, а также надежность внутренней согласованности шкалы опросника были проверены, мы не исследовали другие психометрические свойства опросника, например конвергентную и дискриминантную валидность и ретестовую надежность. Дальнейшая проверка этих свойств может усилить надежность данного инструмента оценки. В-третьих, количество поликлиник и больниц, в которых проводилось исследование, было относительно небольшим. Их увеличение может еще больше повысить доверие к инструменту. В-четвертых, поскольку нами обнаружено мало исследований с точки зрения оценки профессионализма врачей пациентами, то было фактически невозможно сравнить наши результаты с результатами существующих исследований. Однако это только подчеркивает новизну настоящего исследования.

Заключение

Мы перевели и адаптировали оригинальную английскую версию IPAMP на русский язык, а затем проверили надежность внутренней согласованности критериев опросника. Хотя необходимы дальнейшие исследования для пересмотра его структурной валидности, этот инструмент можно использовать для обучения студентов и ординаторов профессионализму с учетом и на основе субъективного мнения пациентов.

Литература

1.Васильева Е.Ю., Кузьминская Т.В. Оценка навыков общения с пациентами в процессе первичной специализированной аккредитации: реалии и возможности // Профилактическая медицина. 2022. № 25. С. 86-90. DOI: https://doi.org/10.17116/profmed20222502186

2.Официальный сайт мэра Москвы. URL: https://www.mos.ru/mayor/themes/18299/7348050

3.ABIM Foundation; ACP-ASIM Foundation; European Federation of Internal Medicine. Medical professionalism in the new millennium: a physician charter // Ann. Intern. Med. 2002. Vol. 136. P. 243-246. DOI: 10.7326/0003-4819-136-3-200202050-00012. PMID: 11827500.

4.Логинов С.А. Специфика современного понимания понятия "Профессионализм" в медицине // European research. 2016. № 2. С. 114-116.

5.Tay K.T., Ng S., Hee J.M., Chia E.W.Y., Vythilingam D., Ong Y.T. et al. Assessing professionalism in medicine - a scoping review of assessment tools from 1990 to 2018 // J. Med. Educ. Curric. Dev. 2020. Vol 7, N.1: 2382120520955159.

6.Пьянзина А.В., Вагнер В.Д. Удовлетворенность и качество жизни пациентов в процессе стоматологического ортопедического лечения: обзор литературы // Институт стоматологии. 2022. № 1. С. 93-95.

7.Розов Р.А., Трезубов В.Н., Ураков А.Л., Азарин Г.С., Решетников А.П., Копылов М.В. Критериальная система оценки реальных компетенций врачей-стоматологов, занимающихся дентальной имплантологией. Результаты анализа 43 портфолио молодых врачей-стоматологов // Стоматология. 2019. № 98. С. 4-11. DOI: https://doi.org/10.17116/stomat2019980314

8.Hodges B., Paul R., Ginsburg S. The Ottawa Consensus Group Members. Assessment of professionalism: From where have we come - to where are we going? An update from the Ottawa Consensus Group on the assessment of professionalism // Med. Teach. 2019. Vol. 76, N. 3. P. 249-255. DOI: https://doi.org/10.1080/0142159X.2018.1543862. Epub 2019 Jan 29. PMID: 30696355.

9.Chisholm A., Askham J. What do you think of your doctor? A review of questionnaires for gathering patients’ feedback on their doctor. Picker Institute Europe. 2006

10. Pirjani R., Rabiei M., Alipour S., Hosseini R., Shahvari Z. Promoting professionalism in practice: using patients’ lived experiences // Med. Educ. 2019. Vol. 53, N. 5. P. 505. DOI: https://doi.org/10.1111/medu.13863. Epub 2019 Mar 19. PMID: 30891829.

11. Wilkinson T.J., Wade W.B., Knock L.D. A blueprint to assess professionalism: results of a systematic review // Acad. Med. 2009. Vol. 84, N. 5. P. 551-558. DOI: https://doi.org/10.1097/ACM.0b013e31819fbaa2. PMID: 19704185.

12. Ratelle J.T., Halvorsen A.J., Mandrekar J., Sawatsky A.P., Reed D.A., Beckman T.J. Internal medicine resident professionalism assessments: exploring the association with patients’ overall satisfaction with their hospital stay // Acad. Med. 2020. Vol. 95, N. 6. P. 902-910. DOI: https://doi.org/10.1097/ACM.0000000000003114. PMID: 31809293.

13. Beaton D.E., Bombardier C., Guillemin F., Ferraz M.B. Guidelines for the process of cross-cultural adaptation of self-report measures // Spine (Phila Pa 1976). 2000. Vol. 25, N 24. P. 3186-3191. DOI: https://doi.org/10.1097/00007632-200012150-00014. PMID: 11124735.

14. Гайдышев И. Анализ и обработка данных. Специальный справочник. СПб : "Питер", 2001. 750 c.

15. Ward K., Stanyon M., Ryan K., Dave S. Power, recovery and doing something worthwhile: A thematic analysis of expert patient perspectives in psychiatry education // Health Expect. 2022 Vol. 25, N. 2. P. 549-557. DOI: https://doi.org/10.1111/hex.13375. Epub 2022 Jan 25. PMID: 35076965; PMCID: PMC 8957736.

16. Booker Q.S. Austin J.D. Balasubramanian B.A. Survey strategies to increase participant response rates in primary care research studies // Fam. Pract. 2021. Vol. 38, N. 5. P. 699-702.

17. Phillips A.W., Reddy S., Durning S.J. Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102 // Med. Teach. 2016. Vol. 38, N. 3. P. 217-228. DOI: https://doi.org/10.3109/0142159X.2015.1105945. Epub 2015 Dec 9. PMID: 26648511.

18. Профессиональные стандарты. Здравоохранение. URL: https://fgosvo.ru/docs/index/2/2?page=5

19. ФГОС ВО (3++) по направлениям специалитета клиническая медицина. URL: https://fgosvo.ru/fgosvo/index/26/76 (дата обращения: 01.02.2023)

20. Hair J.F., Black W.C., Babin B.J, Anderson R.E. Multivariate data analysis. 8th ed. Andover: Cengage Learning EMEA. 2019.

21. O’Sullivan H., van Mook W., Fewtrell R., Wass V. Integrating professionalism into the curriculum: AMEE Guide No. 61 // Med. Teach. 2012. Vol. 34, N. 2. P. 64-77. DOI: https://doi.org/10.3109/0142159X.2012.655610. PMID: 22289014.

References

1.Vasilyeva E. Yu., Kuzminskaya T.V. Assessment of communication skills with patients in the process of primary specialized accreditation: realities and opportunities. Profilakticheskaja medicina [Preventive medicine]. 2022; 25 (2): 86–90. URL: https://doi.org/10.17116/profmed20222502186 (in Russian)

2.Official website of the Mayor of Moscow. URL: https://www.mos.ru/mayor/themes/18299/7348050 (date of access 02.02.2023)

3.ABIM Foundation; ACP-ASIM Foundation; European Federation of Internal Medicine. Medical professionalism in the new millennium: a physician charter. Ann Intern Med. 2002 Feb 5; 136 (3): 243–6. DOI: https://doi.org/10.7326/0003-4819-136-3-200202050-00012. PMID: 11827500.

4.Loginov S.A. The specifics of the modern understanding of the concept of «professionalism» in medicine. 2016; 2 (13): 114–6. European Researcher. Series A – International Journal of Social Science. (in Russian)

5.Tay K.T., Ng S., Hee J.M., Chia E.W.Y., Vythilingam D., Ong Y.T., et al. Assessing professionalism in medicine – a scoping review of assessment tools from 1990 to 2018. J Med Educ Curric Dev. 2020; 7 (1): 2382120520955159.

6.Pyanzina A.V., Wagner V.D. Satisfaction and quality of life of patients in the process of dental orthopedic treatment: literature review. Institut stomatologii [Institute of Dentistry]. 2022; 1 (94): 93–5. (in Russian)

7.Rozov R.A., Trezubov V.N., Urakov A.L., Azarin G.S., Reshetnikov A.P., Kopylov M.V. Criterion system for assessing the real competencies of dentists engaged in dental implantology. The results of the analysis of 43 portfolios of young dentists. Stomatologija [Dentistry]. 2019; 98 (3): 4–11. DOI: https://doi.org/10.17116/stomat2019980314 (in Russian)

8.Hodges B., Paul R., Ginsburg S. The Ottawa Consensus Group Members. Assessment of professionalism: From where have we come – to where are we going? An update from the Ottawa Consensus Group on the assessment of professionalism. Med Teach. 2019; 41 (3): 249–255. DOI: https://doi.org/10.1080/0142159X.2018.1543862. Epub 2019 Jan 29. PMID: 30696355.

9.Chisholm A., Askham J. What do you think of your doctor? A review of questionnaires for gathering patients’ feedback on their doctor. Picker Institute Europe. 2006

10. Pirjani R., Rabiei M., Alipour S., Hosseini R., Shahvari Z. Promoting professionalism in practice: using patients’ lived experiences. Med Educ. 2019; 53 (5): 505. DOI: https://doi.org/10.1111/medu. 13863. Epub 2019 Mar 19. PMID: 30891829.

11. Wilkinson T.J., Wade W.B., Knock L.D. A blueprint to assess professionalism: results of a systematic review. Acad Med. 2009; 84 (5): 551–8. DOI: https://doi.org/10.1097/ACM.0b013e31819fbaa2. PMID: 19704185.

12. Ratelle J.T., Halvorsen A.J., Mandrekar J., Sawatsky A.P., Reed D.A., Beckman T.J. Internal medicine resident professionalism assessments: exploring the association with patients’ overall satisfaction with their hospital stay. Acad Med. 2020; 95 (6): 902–10. DOI: https://doi.org/10.1097/ACM.0000000000003114. PMID: 31809293.

13. Beaton D.E., Bombardier C., Guillemin F., Ferraz M.B. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa 1976). 2000; 25 (24): 3186–91. DOI: https://doi.org/10.1097/00007632-200012150-00014. PMID: 11124735.

14. Gaidyshev I. Data analysis and processing. A special reference book. St. Petersburg: «Peter», 2001. 750 p. (in Russian)

15. Ward K., Stanyon M., Ryan K., Dave S. Power, recovery and doing something worthwhile: A thematic analysis of expert patient perspectives in psychiatry education. Health Expect. 2022; 25 (2): 549–57. DOI: https://doi.org/10.1111/hex.13375. Epub 2022 Jan 25. PMID: 35076965; PMCID: PMC 8957736.

16. Booker Q.S., Austin J.D., Balasubramanian B.A. Survey strategies to increase participant response rates in primary care research studies. Fam Pract. 2021; 38 (5): 699–702.

17. Phillips A.W., Reddy S., Durning S.J. Improving response rates and evaluating nonresponse bias in surveys: AMEE Guide No. 102. Med Teach. 2016; 38 (3): 217–28. DOI: https://doi.org/10.3109/0142159X.2015.1105945. Epub 2015 Dec 9. PMID: 26648511.

18. Professional standards. Healthcare. URL: https://fgosvo.ru/docs/index/2/2?page=5

19. FGOS VO (3++) in the areas of specialty c linical medicine. URL: https://fgosvo.ru/fgosvo/index/26/76 (date of access 01.02.2023)

20. Hair J.F., Black W.C., Babin B.J., Anderson R.E. Multivariate data analysis. 8th ed. Andover: Cengage Learning EMEA; 2019.

21. O’Sullivan H., van Mook W., Fewtrell R., Wass V. Integrating professionalism into the curriculum: AMEE Guide No. 61. Med Teach. 2012; 34 (2): e64–77. DOI: 1 https://doi.org/0.3109/0142159X.2012.655610. PMID: 22289014.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)

CHIEF EDITOR
CHIEF EDITOR
Balkizov Zalim Zamirovich
Secretary General of the Russian Society of Medical Education Specialists, Director of the Institute of Training of Medical Education Specialists of the Russian Medical Academy of Continuing Professional Education, 125993, Moscow, Russian Federation, Professor of the Department of Vocational Education and Educational Technologies of the N.I. Pirogov RNIMU of the MOH of Russia, CEO of GEOTAR-Med, Advisor President of the National Medical Chamber, Moscow, Russian Federation

Journals of «GEOTAR-Media»