ONLINE LEARNING DEVELOPMENTS IN UNDERGRADUATE MEDICAL EDUCATION IN RESPONSE TO THE COVID-19 PANDEMIC: A BEME SYSTEMATIC REVIEW: BEME GUIDE NO. 69

• Jennifer N. Stojan
• Mary Haas
• Satid Thammasitboon
• Lina Lander
• Sean Evans
• Teresa Pawlikowska
• Cameron Pawlik
• Madelyn Lew
• Deena Khamees
• William Peterson
• Ahmad Hider
• Ciaran Grafton-Clarke
• Hussein Uraiby
• Morris Gordon
• Michelle Daniel

Abstract

Background. The COVID-19 pandemic spurred an abrupt transition away from in-person educational activities. This systematic review investigated the pivot to online learning for nonclinical undergraduate medical education (UGME) activities and explored descriptions of educational offerings deployed, their impact, and lessons learned.

Methods. The authors systematically searched four online databases and conducted a manual electronic search of MededPublish up to December 21, 2020.

Two authors independently screened titles, abstracts and full texts, performed data extraction and assessed risk of bias. A third author resolved discrepancies. Findings were reported in accordance with the STORIES (Structured approach to the Reporting in healthcare education of Evidence Synthesis) statement and BEME guidance.

Results. 56 articles were included. The majority (41) described the rapid transition of existing offerings to online formats, whereas fewer (15) described novel activities. The majority (27) included a combination of synchronous and asynchronous components. Didactics (40) and small groups (26) were the most common instructional methods. Teachers largely integrated technology to replace and amplify rather than transform learning, though learner engagement was often interactive. Thematic analysis revealed unique challenges of online learning, as well as exemplary practices. The quality of study designs and reporting was modest, with underpinning theory at highest risk of bias. Virtually all studies (54) assessed reaction/satisfaction, fewer than half (23) assessed changes in attitudes, knowledge or skills, and none assessed behavioral, organizational or patient outcomes.

Conclusions. UGME educators successfully transitioned face-to-face instructional methods online and implemented novel solutions during the COVID-19 pandemic. Although technology's potential to transform teaching is not yet fully realized, the use of synchronous and asynchronous formats encouraged virtual engagement, while offering flexible, self-directed learning. As we transition from emergency remote learning to a post-pandemic world, educators must underpin new developments with theory, report additional outcomes and provide details that support replication.

Keywords:best evidence medical education, remote learning, online learning, undergraduate medical education, COVID-19

Литература/References

· Alkhowailed M.S., Rasheed Z., Shariq A., Elzainy A., El Sadik A., Alkhamiss A., et al. Digitalization plan in medical education during COVID-19 lockdown. Inform Med Unlocked. 2020; 20: 100432.

· Allen W.C. Overview and evolution of the ADDIE training system. Adv Dev Hum Resour. 2006; 8 (4): 430–41.

· Bramer W.M., Giustini D., de Jonge G.B., Holland L., Bekhuis T. Deduplication of database search results for systematic reviews in EndNote. J Med Libr Assoc. 2016; 104 (3): 240–3.

· Branch R.M., Dousay T.A. Survey of instructional design models. Bloomington, IN: Association for Educational Communications and Technology (AECT), 2015.

· Burns R., Wenger J. A remotely conducted paediatric bootcamp for fourth-year medical students. Med Educ. 2020; 54 (7): 668–9.

· Chandrasinghe P.C., Siriwardana R.C., Kumarage S.K., Munasinghe B.N.L., Weerasuriya A., Tillakaratne S., et al. A novel structure for online surgical undergraduate teaching during the COVID-19 pandemic. BMC Med Educ. 2020; 20 (1): 324.

· Chen B.Y., Kern D.E., Kearns R.M., Thomas P.A., Hughes M.T., Tackett S. From modules to MOOCs: application of the six-step approach to online curriculum development for medical education. Acad Med. 2019; 94 (5): 678–85.

· Chen C.H., Mullen A.J. COVID-19 can catalyze the modernization of medical education. JMIR Med Educ. 2020; 6 (1): e19725.

· Clark J.M., Sanders S., Carter M., Honeyman D., Cleo G., Auld Y., et al. Improving the translation of search strategies using the Polyglot Search Translator: a randomized controlled trial. J Med Libr Assoc. 2020; 108 (2): 195–207.

· Clarke V., Braun V. Teaching thematic analysis: overcoming challenges and developing strategies for effective learning. Psychologist. 2013; 26 (2): 120–3. URL: http://eprints.uwe.ac.uk/21155

· Cleland J., Durning S.J. Researching medical education. West Sussex, UK: John Wiley and Sons, 2015.

· Clemmons K., Boehme K., Cannon M., Graham J., Lipschitz R. Building up while shutting down: an academic health system educational response to the COVID-19 pandemic. MedEdPublish. 2020; 9 (1): 165.

· Co M, Chu K.M. Distant surgical teaching during COVID-19 – a pilot study on final year medical students. Surg Pract. 2020; 24 (3): 105–9.

· Coiado O.C., Yodh J., Galvez R., Ahmad K. How COVID-19 transformed problem-based learning at Carle Illinois College of Medicine. Med Sci Educ. 2020; Aug 24: 1–2.

· Cook D.A., Beckman T.J., Bordage G. A systematic review of titles and abstracts of experimental studies in medical education: many informative elements missing. Med Educ. 2007a; 41 (11): 1074–81.

· Cook D.A., Beckman T.J., Bordage G. Quality of reporting of experimental studies in medical education: a systematic review. Med Educ. 2007b; 41 (8): 737–45.

· Cook D.A., Bordage G., Schmidt H.G. Description, justification and clarification: a framework for classifying the purposes of research in medical education. Med Educ. 2008; 42 (2): 128–33.

· Cook D.A., Levinson A.J., Garside S. Method and reporting quality in health professions education research: a systematic review. Med Educ. 2011; 45 (3): 227–38.

· Cook D.A., Reed D.A. Appraising the quality of medical education research methods: the medical education research study quality instrument and the Newcastle-Ottawa Scale-Education. Acad Med. 2015; 90 (8): 1067–76.

· Cuschieri S., Calleja Agius J. Spotlight on the shift to remote anatomical teaching during Covid-19 pandemic: perspectives and experiences from the University of Malta. Anat Sci Educ. 2020; 13 (6): 671–9.

· Daniel M., Gordon M., Patricio M., Hider A., Pawlik C., Bhagdev R., et al. An update on developments in medical education in response to the COVID-19 pandemic: A BEME scoping review: BEME guide no. 64. Med Teach. 2021; 43 (3): 253–71.

· Emanuel E.J. The inevitable reimagining of medical education. JAMA. 2020; 323 (12): 1127.

· Fatani T.H. Student satisfaction with videoconferencing teaching quality during the COVID-19 pandemic. BMC Med Educ. 2020; 20 (1): 396.

· Gaber D.A., Shehata M.H., Amin H.A.A. Online team-based learning sessions as interactive methodologies during the pandemic. Med Educ. 2020; 54 (7): 666–7.

· Garg M., Eniasivam A., Satterfield J., Norton B., Austin E., Dohan D. Rapid transition of a preclinical health systems science and social justice course to remote learning in the time of coronavirus. Med Educ Online. 2020; 25 (1): 1812225.

· Gaur U., Majumder M.A.A., Sa B., Sarkar S., Williams A., Singh K. 2020. Challenges and opportunities of preclinical medical education: COVID-19 crisis and beyond. SN Compr Clin Med. 2020; Sep 22: 1–6.

· Geha R., Dhaliwal G. Pilot virtual clerkship curriculum during the COVID-19 pandemic: podcasts, peers and problem-solving. Med Educ. 2020; 54 (9): 855–6.

· Gill D., Whitehead C., Wondimagegn D. Challenges to medical education at a time of physical distancing. Lancet. 2020; 396 (10 244): 77–9.

· Gordon M., Hill E., Stojan J., Daniel M. Educational interventions to improve handover in health care: an updated systematic review. Acad Med. 2018; 93 (8): 1234–44.

· Gordon M., Daniel M., Patricio M. What do we mean by «systematic» in health education systematic reviews and why it matters! Med Teach. 2019; 41 (8): 956–7.

· Gordon M., Farnan J., Grafton-Clarke C., Ahmed R., Gurbutt D., McLachlan J., et al. Non-technical skills assessments in undergraduate medical education: a focused BEME systematic review: BEME Guide No. 54. Med Teach. 2019; 41 (7): 732–45.

· Gordon M., Gibbs T. STORIES statement: publication standards for healthcare education evidence synthesis. BMC Med. 2014; 12 (1): 143.

· Gordon M., Patricio M., Horne L., Muston A., Alston S., Pammi M., et al. Developments in medical education in response to the COVID-19 pandemic: a rapid BEME systematic review: BEME Guide No. 63. Med Teach. 2020; 42 (11): 1202–15.

· Hammick M., Dornan T., Steinert Y. Conducting a best evidence systematic review. Part 1: from idea to data coding. BEME Guide No. 13. Med Teach. 2010; 32 (1): 3–15.

· Hodges C., Moore S., Lockee B., Trust T., Bond A. The difference between emergency remote teaching and online learning. Educause Reviews. 2020. URL: https://er.educause.edu/articles/2020/3/the-difference-between-emergency-remote-teaching-and-online-learning

· Howley L., Szauter K., Perkowski L., Clifton M., McNaughton N. Quality of standardised patient research reports in the medical education literature: review and recommendations. Med Educ. 2008; 42 (4): 350–8.

· Hrastinski S. Asynchronous & synchronous E-learning. Educause Reviews. 2008; 31 (4): 5. URL: http://www.educause.eduleducause+ouarteriyieducauseouarteriymagazinevolumlasynchronousandsynchronouseleal163445/

· Iqbal M.Z., Alradhi H.I., Alhumaidi A.A., Alshaikh K.H., Al Obaid A.M., Alhashim M.T., et al. Telegram as a tool to supplement online medical education during COVID-19 crisis. Acta Inform Med. 2020; 28 (2): 94–7.

· Jeong L., Smith Z., Longino A., Merel S.E., McDonough K. Virtual peer teaching during the COVID-19 pandemic. Med Sci Educ. 2020; 30 (4): 1–2. DOI: https://doi.org/10.1007/s40670-020-01065-1

· Jones T.A., Vidal G., Taylor C. Interprofessional education during the COVID-19 pandemic: finding the good in a bad situation. J Interprof Care. 2020; 34 (5): 633–46.

· Joseph J.P., Joseph A.O., Conn G., Ahsan E., Jackson R., Kinnear J. COVID-19 pandemic medical education adaptations: the power of students, staff and technology. Med Sci Educ. 2020; 30 (4): 1–2.

· Jumat M.R., Wong P., Foo K.X., Lee I.C.J., Goh S.P.L., Ganapathy S., et al. From trial to implementation, bringing team-based learning online-Duke NUS medical school’s response to the COVID-19 pandemic. Med Sci Educ. 2020; 30 (4): 1–6.

· Khalil R., Mansour A.E., Fadda W.A., Almisnid K., Aldamegh M., Al-Nafeesah A., et al. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students’ perspectives. BMC Med Educ. 2020; 20 (1): 285.

· Kim J.W., Myung S.J., Yoon H.B., Moon S.H., Ryu H., Yim J.J. How medical education survives and evolves during COVID-19: our experience and future direction. PLoS One. 2020; 15 (12): e0243958.

· Kimmons R., Graham C.R., West R.E. The PICRAT model for technology integration in teacher preparation. Contemp Iss Technol Teach Educ. 2020; 20 (1): 176–98. URL: https://citejournal.org/volume-20/issue-1-20/general/the-picrat-model-for-technology-integration-in-teacherpreparation

· Kirkpatrick J.D., Kirkpatrick W.L. Four levels of training evaluation. East Peoria, IL. Versa Press, 2016.

· Laksov K.B., Dornan T., Teunissen P.W. Making theory explicit – an analysis of how medical education research(ers) describe how they connect to theory. BMC Med Educ. 2017; 17 (1): 18–9.

· Lapane K.L., Dube C.E. Rigor and reproducibility training for first year medical students in research pathways. Clin Transl Sci. 2021; 14 (3): 1026–36.

· Liang S., Taylor L.N., Hasan R. Student-led adaptation of improvement science learning during the COVID-19 pandemic. PRiMER. 2020; 4: 20.

· Mahima S.M., Sasirekha M., Leonoline E.J., Vaijayanthimala P. Perception of undergraduate medical and dental students towards learning anatomy in google classroom. Indian J Public Health Res Dev. 2020; 11 (10): 18–25.

· Mann K., Dornan T., Teunissen P.W. Perspectives on learning. In: T. Dornan, K. Mann, A. Scherpbier, J. Spencer (eds). Medical Education: Theory and Practice. New York, NY: Elsevier, 2011: 17–38.

· Martinez L., Holley A., Brown S., Abid A. Addressing the rapidly increasing need for telemedicine education for future physicians. PRiMER. 2020; 4: 16.

· Masters K. They shoot horses, don’t they? A warning to medical schools about medical teacher burnout during COVID-19. MedEdPublish. 2021; 10 (1): 47.

· Mayer R.E. Introduction to multimedia learning & cognitive theory of multimedia learning. In: The Cambridge Handbook of Multimedia Learning. Cambridge, MA: Cambridge University Press, 2005: 1–48.

· McHugh M.L. Interrater reliability: the kappa statistic. Biochem Med. 2012; 22 (3): 276–82.

· Means B., Toyama Y., Murphy R., Bakia M., Jones K. Evaluation of evidence-based practices in online-learning: a meta-analysis and review of online learning studies. Washington, DC: US Department of Education, Office of Planning, Evaluation, and Policy Development, 2009.

· Mendez-Reguera A., Lopez Cabrera M.V. Engaging my Gen Z class: teaching with memes. Med Sci Educ. 2020; 30 (4): 1–2.

· Millwood R. Learning theories map. Holistic Approach to Technology Enhanced Learning (HoTEL). 2013. URL: http://hotel-project.eu/content/learning-theories-map-richardmillwood (date of access February 25, 2021)

· Mohos A., Mester L., Barabas K., Nagyvari P., Kelemen O. Orvos-beteg kommunikacios gyakorlat szimulalt pacienssel a koronavırusj arvany idejen. (A COVID-19-pandemia orvosszakmai kerdesei) [Doctor-patient communication training with simulated patient during the coronavirus pandemic]. Orv Hetil. 2020; 161 (33): 1355–62.

· Moro C., Stromberga Z. Enhancing variety through gamified, interactive learning experiences. Med Educ. 2020; 54 (12): 1180–1.

· Morris Z.S., Wooding S., Grant J. The answer is 17 years, what is the question: understanding time lags in translational research. J R Soc Med. 2011; 104 (12): 510–20.

· Naidoo N., Akhras A., Banerjee Y. Confronting the challenges of anatomy education in a competency-based medical curriculum during normal and unprecedented times (COVID-19 Pandemic): pedagogical framework development and implementation. JMIR Med Educ. 2020; 6 (2): e21701.

· Newcomb A.B., Duval M., Bachman S.L., Mohess D., Dort J., Kapadia M.R. Building rapport and earning the surgical patient’s trust in the era of social distancing: teaching patient-centered communication during video conference encounters to medical students. J Surg Educ. 2021; 7204 (20): 30 211–7.

· Parker E.U., Chang O., Koch L. Remote anatomic pathology medical student education in Washington State. Am J Clin Pathol. 2020; 154 (5): 585–91.

· Prasad N., Fernando S., Willey S., Davey K., Kent F., Malhotra A., et al. Online interprofessional simulation for undergraduate health professional students during the COVID-19 pandemic. J Interprof Care. 2020; 34 (5): 706–10.

· Price E.G., Beach M.C., Gary T.L., Robinson K.A., Gozu A., Palacio A., et al. A systematic review of the methodological rigor of studies evaluating cultural competence training of health professionals. Acad Med. 2005; 80 (6): 578–86.

· Rapanta C., Botturi L., Goodyear P., Guardia L., Koole M. Online University teaching during and after the Covid-19 crisis: refocusing teacher presence and learning activity. Postdigit Sci Educ. 2020; 2 (3): 923–45.

· Ratanawongsa N., Thomas P.A., Marinopoulos S.S., Dorman T., Wilson L.M., Ashar B.H., et al. The reported validity and reliability of methods for evaluating continuing medical education: a systematic review. Acad Med. 2008; 83 (3): 274–83.

· Reed D., Price E., Windish D., Wright S., Gozu A., Hsu E., et al. Challenges in systematic reviews of educational intervention studies. Ann Intern Med. 2005; 142 (12 Pt 2): 1080–99.

· Reed D.A., Cook D.A., Beckman T.J., Levine R.B., Kern D.E., Wright S.M. Association between funding and quality of published medical education research. JAMA. 2007; 298 (9): 1002–9.

· Rehman R., Fatima S.S. An innovation in Flipped Class Room: a teaching model to facilitate synchronous and asynchronous learning during a pandemic. Pak J Med Sci. 2020; 37 (1): 131–6.

· Robertson B., McDermott C., Star J., Lewin L.O., Spell N. Synchronous virtual interprofessional education focused on discharge planning. J Interprof Educ Pract. 2021; 22: 100388.

· Rosasco J., Hanson Z., Kramer J., Steele L., Beachy B., Gothard M.D., et al. A randomized study using telepresence robots for behavioral health in interprofessional practice and education. Telemed J E Health. 2020; 27 (7): 755–62.

· Rosenberg M. E-Learning: strategies for delivering knowledge in the digital age. New York: McGraw-Hill, 2001.

· Roy H., Ray K., Saha S., Ghosal A.K. A study on students’ perceptions for online zoom-app based flipped class sessions on anatomy organised during the lockdown period of COVID-19. J Clin Diagn Res. 2020; 14 (6): AC01–04.

· Rucker J., Steele S., Zumwalt J., Bray N. Utilizing zoom breakout rooms to expose preclerkship medical students to TeleMedicine encounters. Med Sci Educ. 2020; 30 (4): 1–2.

· Ruiz J.G., Mintzer M.J., Leipzig R.M. The impact of E-learning in medical education. Acad Med. 2006; 81 (3): 207–12.

· Rutledge C., Hawkins E.J., Bordelon M., Gustin T.S. Telehealth Education: an Interprofessional online immersion experience in response to COVID-19. J Nurs Educ. 2020; 59 (10): 570–6.

· Sa-Couto C., Nicolau A. How to use telesimulation to reduce COVID-19 training challenges: a recipe with free online tools and a bit of imagination. MedEdPublish. 2020; 9 (1): 129.

· Sandars J., Patel R.S., Goh P.S., Kokatailo P.K., Lafferty N. The importance of educational theories for facilitating learning when using technology in medical education. Med Teach. 2015; 37 (11): 1039–42.

· Schlegl A.T., Pinter Z., Kovacs A., Kopjar E., Varga P., Kardos D., et al. Teaching basic surgical skills using homemade tools in response to COVID-19. Acad Med. 2020; 95 (11): e7.

· Selwyn N. Looking beyond learning: notes towards the critical study of educational technology. J Comput Assist Learn. 2010; 26 (1): 65–73.

· Shahrvini B., Baxter S.L., Coffey C.S., MacDonald B.V., Lander L. Preclinical remote undergraduate medical education during the COVID-19 pandemic: a survey study. Res Sq. 2020; Jun 10: 1–39.

· Sharma S., Ray A., Sadasivam B. Adaptations in teaching modalities for medical undergraduates in response to coronavirus disease 2019 at a single teaching institute in India. Korean J Med Educ. 2020; 32 (4): 291–5.

· Singal A., Bansal A., Chaudhary P., Singh H., Patra A. Anatomy education of medical and dental students during COVID-19 pandemic: a reality check. Surg Radiol Anat. 2021; 43 (4): 515–21.

· Singh K., Srivastav S., Bhardwaj A., Dixit A., Misra S. Medical education during the COVID-19 pandemic: a single institution experience. Indian Pediatr. 2020; 57 (7): 678–9.

· Spaletra P., Sigal A.R., Gelpi R.J., Alves de Lima A. Implementation of a virtual rotation in Cardiology in times of COVID-19. Medicina. 2020; 80 (5): 587–8.

· Srinivasan D.K. Medical students’ perceptions and an anatomy teacher’s personal experience using an e-Learning platform for tutorials during the Covid-19 crisis. Anat Sci Educ. 2020; 13 (3): 318–9.

· Steehler A.J., Pettitt-Schieber B., Studer M.B., Mahendran G., Pettitt B.J., Henriquez O.A. Implementation and evaluation of a virtual elective in otolaryngology in the time of COVID-19. Otolaryngol Head Neck Surg. 2021; 164 (3): 556–61.

· Sterne J.A., Hernan M.A., Reeves B.C., Savovic J., Berkman N.D., Viswanathan M., et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016; 355: i4919.

· Sud R., Sharma P., Budhwar V., Khanduja S. Undergraduate ophthalmology teaching in COVID-19 times: students’ perspective and feedback. Indian J Ophthalmol. 2020; 68 (7): 1490–1.

· Sudhir M., Mascarenhas S., Isaac J., Alfroukh J., Abdul Rahuman S. Adapting to the need of the hour: communication skills simulation session using an online platform during COVID-19. MedEdPublish. 2020; 9 (1): 3048.

· Sweller J., Ayres P., Kalyuga P. Cognitive load theory. New York, NY: Springer-Verlag, 2011.

· Tan J., Lee Y., Tan L., Cheong Y., Nyo Y. The conduct of paediatric surgery collaborative learning cases via an online platform during the COVID-19 outbreak: challenges and lessons learnt. MedEdPublish. 2020; 9 (1): 261.

· Tang B., Coret A., Qureshi A., Barron H., Ayala A.P., Law M. Online lectures in undergraduate medical education: scoping review. JMIR Med Educ. 2018; 4 (1): e11.

· Taylor D.C., Hamdy H. Adult learning theories: implications for learning and teaching in medical education: AMEE Guide No. 83. Med Teach. 2013; 35 (11): e1561–72.

· Thum DiCesare J.A., Segar D.J., Donoho D., Radwanski R., Zada G., Yang I. Democratizing access to neurosurgical medical education: National efforts in a medical student training camp during coronavirus disease 2019. World Neurosurg. 2020; 144: e237–43.

· Torre D.M., Daley B.J., Sebastian J.L., Elnicki D.M. Overview of current learning theories for medical educators. Am J Med. 2006; 119 (10): 903–7.

· Vala N.H., Vachhani M.V., Sorani A.M. Study of evaluation of E-learning classes among medical students during COVID-19 pandemic phase in Jamnagar city. Natl J Physiol Pharm Pharmacol. 2020; 10 (12): 1042–2.

· Verma A., Verma S., Garg P., Godara R. Online teaching during COVID-19: perception of medical undergraduate students. Indian J Surg. 2020; 82 (3): 299–300.

· Vollbrecht P.J., Porter-Stransky K.A., Lackey-Cornelison W.L. Lessons learned while creating an effective emergency remote learning environment for students during the COVID-19 pandemic. Adv Physiol Educ. 2020; 44 (4): 722–5.

· Walton R., Greenberg A., Ehlke D., Sola O. Development of a health policy elective for medical students during the COVID-19 pandemic: a pilot study. PRiMER. 2020; 4: 29.

· Wentling T., Waight C., Gallaher J., La Fleur J., Wang C., Kanfer A. E-Learning: a review of literature. Urbana-Champaign, IL: University of Illinois National Center for Supercomputer Applications (NCSA), 2000.

· Wilcha R.J. Effectiveness of virtual medical teaching during the COVID-19 crisis: systematic review. JMIR Med Educ. 2020; 6 (2): e20963.

· Wintraub L., Xie M., Issa M., Jeyakumar Y., Nelms M., Sharma D., et al. Wearable technology and live video conferencing: the development of an affordable virtual teaching platform to enhance clinical skills education during the COVID-19 pandemic. Can Med Educ J. 2020; 11 (5): e121–5.

· Wish-Baratz S., Crofton A.R., Gutierrez J., Henninger E., Griswold M.A. Assessment of mixed-reality technology use in remote online anatomy education. JAMA Netw Open. 2020; 3 (9): e2016271.

· Wolf F.M. Methodological quality, evidence, and research in medical education (RIME). Acad Med. 2004; 79 (Suppl 10): 68–9.

· Worthington T. Synchronizing asynchronous learning. Collections: Australian National University Digital. 2013. DOI: http://dx.doi.org/10.1109/ICCSE.2013.6553983

· Yardley S., Dornan T. Kirkpatrick’s levels and education «evidence». Med Educ. 2012; 46 (1): 97–106. PMID: 22150201.

· Zhang Q., He Y.J., Zhu Y.H., Dai M.C., Pan M.M., Wu J.Q., et al. The evaluation of online course of Traditional Chinese Medicine for MBBS international students during the COVID-19 epidemic period. Integr Med Res. 2020; 9 (3): 100449.

Благодаря оценке с использованием инструмента MERSQI мы пришли к определенным выводам для последующей работы:

1. Если организация поперечного исследования в рамках одной группы более подходила для ранней стадии пандемии, в настоящее время необходимо проводить исследования на более строгой основе.

2. Выборка из нескольких учебных заведений была более распространена в обзоре последипломного медицинского образования (56,9 по сравнению с 1,8%). В медицинском образовании необходимо следовать примеру последипломного медицинского образования и разрушать существующие организационные барьеры, уделяя больше внимания общим проблемам и решениям, а не исключительно локальным вопросам.

3. Серьезным пробелом в современной научной литературе остается вопрос о доказательстве достоверности результатов использования инструментов оценки. C учетом решающего значения действительных мер по достижению результатов при принятии решений, которые непосредственно касаются учащихся, будущие исследования, проводимые в условиях устойчивого онлайн-обучения с расширенными требованиями к производительности преподавателей, должны уделять приоритетное внимание устранению этого пробела.

4. Наконец, преобладание исследований, ориентированных на удовлетворенность студентов, ограничивает круг возможных выводов об эффективности образования. Более надежные доказательства эффективности обеспечит многоуровневая оценка.

Риск необъективности при использовании инструмента оценки представления данных высветил необходимость повсеместного повышения эффективности такой отчетности для содействия тиражированию перспективных разработок. Хотя ограниченная отчетность не обязательно указывает на методологическую слабость, она искажает достоверность доказательной базы. Представление данных чаще содержало сведения о ресурсах, условиях работы и методах обучения, чем о теоретических основах или контенте, и могло бы носить более подробный характер. Например, многие статьи были отнесены к "желтой зоне" риска с точки зрения представления данных о технологических ресурсах, но лишь в немногих содержалась информация о затратах финансовых и человеческих ресурсов, в результате чего организации, финансирующие систему образования, не имеют четкого представления о будущих потребностях. Мы предполагаем, что ограничения по объему статей могли особенно негативно отразиться на представлении данных о содержании. Некоторые из самых инновационных статей в нашей выборке представляли лишь краткие отчеты, и отсутствие детальной информации затрудняло оценку доказательной базы. Поэтому мы призываем авторов и журналы творчески подойти к предоставлению контента с помощью дополнительных цифровых приложений или ссылок на онлайн-хранилища.

Кроме того, по мере того как преподаватели продолжают использовать наработки, которые возникли при переходе к дистанционному обучению в чрезвычайной ситуации и применялись в течение длительного периода неопределенности, необходимо вновь уделить приоритетное внимание теоретическим основам. Несмотря на вероятную ограниченность когнитивной пропускной способности, специальной подготовки и (или) поддержки преподавателей для использования фундаментальной теории в учебном процессе, эксперты ранее уже отмечали проблемную тенденцию ограниченного обращения к прямому описанию теории задолго до начала пандемии и призывали исправить эту ситуацию (Sandars et al, 2015). Использование теории помогает преподавателям принимать обоснованные решения по вопросам проектирования, разработки и внедрения новых форм обучения (Torre et al., 2006). Прямое описание теоретических или концептуальных основ авторами научных работ позволяет им обосновать целесообразность, обеспечить строгость подхода к реализации и оценке своих инициатив и тем самым повысить возможности распространения опыта своей работы (Cleland, Durning, 2015). В последнее десятилетие наблюдается рост осведомленности о технологически насыщенном обучении (Technology Enhanced Learning, TEL) (особенно конструктивистских и социальных конструктивистских теорий) (Millwood, 2013). Многие существующие концепции, например теория когнитивной нагрузки Свеллера и соавт. (Sweller et al., 2011) и принципы мультимедийного обучения Майера (Mayer, 2005), могут стать основой для педагогического проектирования. Однако в условиях дистанционного обучения в чрезвычайной ситуации, вызванного пандемией, многие преподаватели опирались на подход, основанный на использовании инструментов (с упором на доступность технологий для переноса курса в онлайн-формат) и/или материалов (использование одних и тех же материалов для преподавания курса независимо от формата), а ориентацию на педагогику, в которой учитывается цель, желаемые результаты обучения и контекст обучения (Rapanta et al., 2020). Эффективное онлайн-обучение является результатом тщательного, систематического проектирования и планирования, однако нехватка времени, вызванная непредвиденным и внезапным характером пандемии, резко снизила возможности применения такого подхода (Branch, Dousay 2015; Hodges et al., 2020). Для практической реализации подходов к педагогическому проектированию, в которых повышение эффективности обучения обеспечивается с помощью новых технологий, может потребоваться больше времени. В будущем работа по повышению квалификации преподавательского состава должна предусматривать включение теоретических основ и опыта передовой практики, основанной на доказательных данных, в соответствующие программы подготовки.

Сравнение с предыдущими обзорами, научной литературой и другими обзорами данной серии

По сравнению с экспресс-обзором, проведенным Гордоном и соавт. (Gordon et al., 2020), и общим обзором, подготовленным Дэниэл и соавт. (Daniel et al, 2021), о влиянии пандемии COVID-19 на медицинское образование, в нашем обзоре был рассмотрен более узкий круг проблем перехода к онлайн-обучению в медицинском образовании. Это позволило более подробно рассказать об образовательных форматах, методах обучения и используемых технологиях, оценить качество работ для определения риска необъективности и провести тщательный тематический анализ извлеченных уроков.

В двух предыдущих работах исследовался поворот к онлайн-обучению в медицинском образовании. Гор и соавт. (Gaur et al., 2020) провели обзор научной литературы, в котором были рассмотрены проблемы и возможности, с которыми сталкиваются медицинские факультеты при внедрении дистанционного обучения для доклинического обучения во время пандемии COVID-19. Хотя этот обзор не носил систематический характер, его авторы выявили несколько связанных тем. В работе Вилха (Wilcha, 2020) также был выполнен краткий качественный обзор применения и эффективности виртуального обучения. Однако данный обзор охватывал лишь период с мая по июнь 2020 г. Таким образом, наша работа представляет собой наиболее методологически строгий и всеобъемлющий систематический обзор, проведенный на сегодняшний день (и охватывающий полный год с момента начала пандемии COVID-19).

Данный обзор проводился параллельно с двумя другими, которые в настоящее время находятся на стадии рецензирования: Хамис и соавт. сосредоточились на переходе от занятий в аудитории к онлайн-обучению в последипломном медицинском образовании, а Графтон-Кларк и соавт. уделили основное внимание повороту к клиническому обучению на рабочем месте на всех уровнях медицинского образования. При рассмотрении этой триады обзоров мы обратили внимание на то, что преподаватели в основном заняты проблемами своих учебных заведений и сосредоточены на локальных потребностях. Есть несколько примеров совместной работы нескольких учебных заведений. Однако преподаватели в области последипломного медицинского образования чаще сотрудничали с несколькими организациями для работы над региональными, национальными и даже глобальными решениями общих проблем. Национальные специализированные организации в области последипломного медицинского образования более активно содействовали развитию партнерских отношений и вносили более значительный вклад в предоставление образовательных услуг, чем национальные образовательные организации высшего медицинского образования. Эти выводы указывают на возможности, существующие у преподавателей в области медицинского образования, для того чтобы последовать примеру своих коллег из сферы последипломного медицинского образования и эффективно использовать перспективный потенциал сотрудничества и объединения ресурсов различных учебных заведений для снижения индивидуальной нагрузки как на самих преподавателей, так и на их организации.

Еще одна тенденция, отмеченная в триаде обзоров, заключалась в низкой представленности наиболее влиятельных научных журналов по вопросам образования. Хотя они собрали много материалов о различных точках зрения и тем самым внесли заметный вклад в налаживание международного диалога, количество появившихся в них исследовательских статей было мизерным. Примечательным исключением является журнал Medical Education, однако и в нем публиковались почти исключительно лишь краткие отчеты. У этой ситуации несколько возможных объяснений. Во-первых, быстро подготовленные рукописи, вероятно, не соответствовали уровню строгости, предъявляемому к материалам для публикации в наиболее влиятельных журналах в отношении методологии и детализации представления данных. Кроме того, в таких журналах обычно установлен более строгий процесс рецензирования, который увеличивает цикл редактирования. В результате по состоянию на 21 декабря 2020 г. рукописи с подробным описанием соответствующей образовательной деятельности могли еще находиться на стадии рецензирования. В дальнейшем мы настоятельно призываем авторов и редакционные коллегии уделять приоритетное внимание публикации высококачественных научных исследований, в том числе работ, продолжающих прошлые пилотные проекты, у которых могут появиться более надежные оценочные данные в дополнение к уже существующей доказательной базе.

Насколько нам известно, в обзорах медицинского образования и последипломного медицинского образования впервые была применена платформа интеграции технологий PICRAT (Kimmons et al., 2020) для изучения степени взаимодействия студентов и работы преподавателей с новыми технологиями. Учитывая прагматичный подход педагогов, работающих в условиях кризиса, неудивительно, что решения по вопросам уровня взаимодействия студентов в рамках учебного процесса (т.е. пассивного-интерактивного-творческого) в основном диктовались предметом и целями обучения. Мы приветствуем появление ряда "интерактивных" разработок и теперь призываем преподавателей расширить ограниченный объем работ, описывающих разработки для "творческого" взаимодействия, для повышения уровня вовлеченности учащихся в будущем. Преподаватели чаще всего использовали новые технологии для "замены" занятий, которые ранее проводились в очном режиме. Однако преподаватели в области высшего медицинского образования использовали технологии для "усиления" традиционных методов обучения в гораздо большей степени, чем их коллеги в сфере последипломного медицинского образования. Высшее медицинское образование предусматривает более высокую долю учебных мероприятий в аудитории, работы по получению клинических навыков и лабораторных занятий по сравнению с последипломным медицинским образованием, где большая часть обучения происходит в рамках оказания помощи и непосредственного ухода за пациентами. Данное обстоятельство, возможно, стимулировало развитие творческого подхода в высшем медицинском образовании, поскольку эта область предусматривала больше мероприятий в режиме онлайн по более широкому кругу вопросов. Мы рекомендуем специалистам по проектированию образовательных программ использовать PICRAT в качестве инструмента для планирования интеграции технологий, призванных обеспечить трансформацию педагогической практики в будущем, поскольку наблюдается спад ажиотажного поиска новых решений, настало время для по-настоящему вдумчивого подхода к такому проектированию.

Сильные стороны и ограничения

У данного обзора много сильных сторон. Как и в прошлый раз, мы завершили работу в сжатые сроки без ущерба для методологической строгости во многом благодаря большой и относительно опытной команде, которая уже накопила опыт в области оценки контента в ходе подготовки предыдущих обзоров. Группа авторов вела свою деятельность на основе международного сотрудничества студентов-медиков, ординаторов, научных сотрудников и преподавателей, обладающих опытом в области проведения систематических обзоров, медицинского образования, онлайн-обучения и теории образования. Более узкая ориентированность на переход медицинского образования из аудитории в режим онлайн позволила нам завершить тематический анализ извлеченных уроков, внедрить новую платформу интеграции технологий в систематические обзоры (PICRAT), провести оценку качества с использованием инструмента MERSQI в отношении методологии проведения исследований и инструмента RAG в отношении риска необъективности в представлении данных по исследованиям.

Нашему обзору также присущи определенные ограничения. Мы не ограничивали наш поиск работами на английском языке, поскольку наша цель заключалась в отражении всей широты международного опыта, накопленного во время пандемии COVID-19. Однако использование сервиса Google Translate могло привести к потере отдельных смысловых нюансов в процессе извлечения данных. Мы использовали независимый подход к кодированию информации и проводили обзор на основе консенсуса, однако применение различных инструментов (PICRAT, MERSQI, RAG) порой создавало определенные сложности в силу естественной вариабельности основного материала. Наиболее значительное ограничение связано со сроками проведения настоящего обзора. Поиск научной литературы был завершен всего через год после начала пандемии. Хотя это позволяет быстро распространять важную и актуальную информацию в данной области для предоставления рекомендаций преподавателями в условиях непрекращающейся пандемии, мы понимаем, что ситуация в медицинском образовании продолжает развиваться. Могут появиться оригинальные исследовательские рукописи, которые содержат больше элементов теории и подробнее описывают предложения в области образования. Поэтому для дальнейшего обобщения адаптации учебного процесса к пандемии COVID-19 потребуется проведение новых обзоров в будущем. Актуальная электронная версия обзора, периодически обновляемая для отражения текущего состояния исследований, была бы идеальным решением для научных программ в области медицинского образования, связанных с пандемией COVID-19, а также в других областях, где наблюдается быстрое изменение существующей доказательной базы. По оценкам, для внедрения данных, полученных в ходе исследований, в клиническую практику в среднем требуется 17 лет, что подчеркивает необходимость постоянной работы по обобщению доказательных данных для сокращения этого разрыва в передаче знаний (Morris et al., 2011).

Наш обзор охватывает публикации за первый год после начала пандемии COVID-19, в течение которого преподаватели быстро адаптировались к возникшей ситуации, чтобы свести к минимуму сбои учебного процесса. Следует отметить, что большинство рассмотренных разработок в области образования было отнесено их авторами к категории онлайн, а не дистанционного обучения в чрезвычайной ситуации. Хотя только в двух публикациях содержалось непосредственное упоминание о дистанционном обучении в чрезвычайной ситуации, рассмотренный в обзоре период был действительно кризисным для мирового образовательного сообщества. Таким образом, при интерпретации результатов нашего обзора следует учитывать, что стандарты успешного дистанционного обучения в чрезвычайной ситуации отличаются от планового онлайн-обучения тем, что от дистанционного обучения в чрезвычайной ситуации ожидается обеспечение достаточного, а не равного или превосходящего образовательного опыта по сравнению со стандартным учебным планом (VoUbrecht et al, 2020). "Основная задача в этой ситуации состоит не в том, чтобы воссоздать устойчивую образовательную экосистему, а скорее в предоставлении временного доступа к обучению... способом, использование которого можно быстро организовать и который обеспечивает надежную доступность во время чрезвычайной ситуации или кризиса" (Hodges et at., 2020). Предложения в области образования, обобщенные в нашем обзоре, несомненно, удовлетворяли насущную потребность в продолжении обучения, но большинство из них не предназначались для постоянной замены очного обучения. Хотя результаты, полученные по модели Киркпатрика, продемонстрировали, что разработки для дистанционного обучения в чрезвычайной ситуации стали приемлемым вариантом работы во время кризиса и обеспечили получение студентами определенных знаний и навыков, в настоящее время отсутствуют сравнительные исследования, в которых рассматриваются долгосрочные последствия этого перехода и на которые можно было бы опираться при принятии решений о дальнейших действиях. По мере ослабления первоначального шока от пандемии COVID-19 и растущего признания онлайн-обучения в качестве нормы сообщество специалистов в области медицинского образования должно задуматься о будущем после пандемии, а это предполагает установление более высокого стандарта качества онлайн-обучения, в котором технологии эффективно используются для оптимизации учебного процесса, а не просто для его поддержания. Говоря о будущем, мы призываем преподавателей более полно изучить потенциал новых технологий для трансформации обучения, а также уделять приоритетное внимание исследованиям, которые дают ответы на вопросы о том, что именно является желательным, устойчивым и эффективным в долгосрочной перспективе.

ЗАКЛЮЧЕНИЕ

В условиях постепенного прояснения ситуации результаты нашего обзора позволяют читателям получить представление об аспектах онлайн-обучения, которые, скорее всего, сохранятся и в мире после пандемии:

- Использование дидактики обеспечивает разумный уровень вовлеченности студентов в учебный процесс и, следовательно, может быть продолжено в рамках онлайн-обучения.

- Работа в малых группах способствует активному процессу и обучению с хорошей вовлеченностью в виртуальном пространстве, однако развитие преподавательского сообщества, связей между преподавателями и коллегами является более сложной задачей, поэтому при выборе формата обучения следует исходить из местных условий и целей учебной программы.

- Приобретение клинических навыков (в первую очередь навыков физикального осмотра), процедурных навыков и лабораторная практика (например, анатомическое препарирование) являются наиболее сложными задачами для дистанционного обучения. Поэтому необходимо уделить приоритетное внимание как можно более быстрому возвращению этих видов занятий в аудиторный формат.

В условиях продолжающихся дополнительных разработок по вопросам онлайн-обучения в области медицинского образования мы предлагаем преподавателям следующие практические рекомендации.

- Опирайтесь на уже имеющийся опыт, сформируйте для этого крепкую команду, включающую экспертов в области образования, специалистов по педагогическому дизайну, повышению квалификации преподавателей и других вовлеченных в образование.

- Используйте новые технологии как возможность для развития образования с учетом конкретных условий, средство достижения поставленных целей, инструмент повышения эффективности обучения.

- Разрабатывайте свои инициативы на основе теорий обучения и опирайтесь на практику обучения, подтвержденную доказательными данными.

- Опишите контент, условия и методы обучения, чтобы обеспечить возможность передачи знаний.

- Предоставляйте подробную информацию о разработке, включая сроки, затраты, человеческие и материальные ресурсы, чтобы обеспечить возможность распространения вашего опыта другими специалистами.

В целом преподаватели в области медицинского образования справились с проблемами, вызванными пандемией COVID-19, и сумели быстро перевести традиционно очные занятия в онлайн-среду. Использование синхронных и асинхронных форматов способствовало развитию взаимодействия и интерактивности в виртуальном пространстве, предоставляя возможности для более гибкого, самостоятельного обучения. Хотя потенциал новых технологий для трансформации обучения реализован не полностью, в нашем обзоре обобщен ряд новых решений, которые способны заложить основу для будущего обучения в мире после пандемии. По мере перехода от дистанционного обучения в чрезвычайной ситуации и публикаций, направленных на быстрое распространение соответствующей практики, преподаватели в своих разработках должны опираться на теоретические основы, сосредоточиться на совершенствовании методологии обучения, оценивать дополнительные результаты и предоставлять подробную информацию по всем элементам учебного процесса для распространения передового опыта.

Благодарность. Авторы выражают свою признательность Уитни Таунсенд (Whitney Townsend) за поддержку в разработке стратегии поиска и помощь в проведении поиска по базам данных. Авторы также выражают признательность Лауре Стоян (Laura Stojan) за поддержку в области компьютерных технологий.

Раскрытие интересов. Авторы заявляют об отсутствии конфликта интересов. Авторы несут полную ответственность за содержание и написание статьи.

Финансирование. Авторы сообщили об отсутствии финансирования работы, представленной в этой статье.

Литература/References

· Alkhowailed M.S., Rasheed Z., Shariq A., Elzainy A., El Sadik A., Alkhamiss A., et al. Digitalization plan in medical education during COVID-19 lockdown. Inform Med Unlocked. 2020; 20: 100432.

· Allen W.C. Overview and evolution of the ADDIE training system. Adv Dev Hum Resour. 2006; 8 (4): 430-41.

· Bramer W.M., Giustini D., de Jonge G.B., Holland L., Bekhuis T. Deduplication of database search results for systematic reviews in EndNote. J Med Libr Assoc. 2016; 104 (3): 240-3.

· Branch R.M., Dousay T.A. Survey of instructional design models. Bloomington, IN: Association for Educational Communications and Technology (AECT), 2015.

· Burns R., Wenger J. A remotely conducted paediatric bootcamp for fourth-year medical students. Med Educ. 2020; 54 (7): 668-9.

· Chandrasinghe P.C., Siriwardana R.C., Kumarage S.K., Munasinghe B.N.L., Weerasuriya A., Tillakaratne S., et al. A novel structure for online surgical undergraduate teaching during the COVID-19 pandemic. BMC Med Educ. 2020; 20 (1): 324.

· Chen B.Y., Kern D.E., Kearns R.M., Thomas P.A., Hughes M.T., Tackett S. From modules to MOOCs: application of the six-step approach to online curriculum development for medical education. Acad Med. 2019; 94 (5): 678-85.

· Chen C.H., Mullen A.J. COVID-19 can catalyze the modernization of medical education. JMIR Med Educ. 2020; 6 (1): e19725.

· Clark J.M., Sanders S., Carter M., Honeyman D., Cleo G., Auld Y., et al. Improving the translation of search strategies using the Polyglot Search Translator: a randomized controlled trial. J Med Libr Assoc. 2020; 108 (2): 195-207.

· Clarke V., Braun V. Teaching thematic analysis: overcoming challenges and developing strategies for effective learning. Psychologist. 2013; 26 (2): 120-3. URL: http://eprints.uwe.ac.uk/21155

· Cleland J., Durning S.J. Researching medical education. West Sussex, UK: John Wiley and Sons, 2015.

· Clemmons K., Boehme K., Cannon M., Graham J., Lipschitz R. Building up while shutting down: an academic health system educational response to the COVID-19 pandemic. MedEdPublish. 2020; 9 (1): 165.

· Co M, Chu K.M. Distant surgical teaching during COVID-19 - a pilot study on final year medical students. Surg Pract. 2020; 24 (3): 105-9.

· Coiado O.C., Yodh J., Galvez R., Ahmad K. How COVID-19 transformed problem-based learning at Carle Illinois College of Medicine. Med Sci Educ. 2020; Aug 24: 1-2.

· Cook D.A., Beckman T.J., Bordage G. A systematic review of titles and abstracts of experimental studies in medical education: many informative elements missing. Med Educ. 2007a; 41 (11): 1074-81.

· Cook D.A., Beckman T.J., Bordage G. Quality of reporting of experimental studies in medical education: a systematic review. Med Educ. 2007b; 41 (8): 737-45.

· Cook D.A., Bordage G., Schmidt H.G. Description, justification and clarification: a framework for classifying the purposes of research in medical education. Med Educ. 2008; 42 (2): 128-33.

· Cook D.A., Levinson A.J., Garside S. Method and reporting quality in health professions education research: a systematic review. Med Educ. 2011; 45 (3): 227-38.

· Cook D.A., Reed D.A. Appraising the quality of medical education research methods: the medical education research study quality instrument and the Newcastle-Ottawa Scale-Education. Acad Med. 2015; 90 (8): 1067-76.

· Cuschieri S., Calleja Agius J. Spotlight on the shift to remote anatomical teaching during Covid-19 pandemic: perspectives and experiences from the University of Malta. Anat Sci Educ. 2020; 13 (6): 671-9.

· Daniel M., Gordon M., Patricio M., Hider A., Pawlik C., Bhagdev R., et al. An update on developments in medical education in response to the COVID-19 pandemic: A BEME scoping review: BEME guide no. 64. Med Teach. 2021; 43 (3): 253-71.

· Emanuel E.J. The inevitable reimagining of medical education. JAMA. 2020; 323 (12): 1127.

· Fatani T.H. Student satisfaction with videoconferencing teaching quality during the COVID-19 pandemic. BMC Med Educ. 2020; 20 (1): 396.

· Gaber D.A., Shehata M.H., Amin H.A.A. Online team-based learning sessions as interactive methodologies during the pandemic. Med Educ. 2020; 54 (7): 666-7.

· Garg M., Eniasivam A., Satterfield J., Norton B., Austin E., Dohan D. Rapid transition of a preclinical health systems science and social justice course to remote learning in the time of coronavirus. Med Educ Online. 2020; 25 (1): 1812225.

· Gaur U., Majumder M.A.A., Sa B., Sarkar S., Williams A., Singh K. 2020. Challenges and opportunities of preclinical medical education: COVID-19 crisis and beyond. SN Compr Clin Med. 2020; Sep 22: 1-6.

· Geha R., Dhaliwal G. Pilot virtual clerkship curriculum during the COVID-19 pandemic: podcasts, peers and problem-solving. Med Educ. 2020; 54 (9): 855-6.

· Gill D., Whitehead C., Wondimagegn D. Challenges to medical education at a time of physical distancing. Lancet. 2020; 396 (10 244): 77-9.

· Gordon M., Hill E., Stojan J., Daniel M. Educational interventions to improve handover in health care: an updated systematic review. Acad Med. 2018; 93 (8): 1234-44.

· Gordon M., Daniel M., Patricio M. What do we mean by "systematic" in health education systematic reviews and why it matters! Med Teach. 2019; 41 (8): 956-7.

· Gordon M., Farnan J., Grafton-Clarke C., Ahmed R., Gurbutt D., McLachlan J., et al. Non-technical skills assessments in undergraduate medical education: a focused BEME systematic review: BEME Guide No. 54. Med Teach. 2019; 41 (7): 732-45.

· Gordon M., Gibbs T. STORIES statement: publication standards for healthcare education evidence synthesis. BMC Med. 2014; 12 (1): 143.

· Gordon M., Patricio M., Horne L., Muston A., Alston S., Pammi M., et al. Developments in medical education in response to the COVID-19 pandemic: a rapid BEME systematic review: BEME Guide No. 63. Med Teach. 2020; 42 (11): 1202-15.

· Hammick M., Dornan T., Steinert Y. Conducting a best evidence systematic review. Part 1: from idea to data coding. BEME Guide No. 13. Med Teach. 2010; 32 (1): 3-15.

· Hodges C., Moore S., Lockee B., Trust T., Bond A. The difference between emergency remote teaching and online learning. Educause Reviews. 2020. URL: https://er.educause.edu/articles/2020/3/the-difference-between-emergency-remote-teaching-and-online-learning

· Howley L., Szauter K., Perkowski L., Clifton M., McNaughton N. Quality of standardised patient research reports in the medical education literature: review and recommendations. Med Educ. 2008; 42 (4): 350-8.

· Hrastinski S. Asynchronous & synchronous E-learning. Educause Reviews. 2008; 31 (4): 5. URL: http://www.educause.eduleducause+ouarteriyieducauseouarteriymagazinevolumlasynchronousandsynchronouseleal163445/

· Iqbal M.Z., Alradhi H.I., Alhumaidi A.A., Alshaikh K.H., Al Obaid A.M., Alhashim M.T., et al. Telegram as a tool to supplement online medical education during COVID-19 crisis. Acta Inform Med. 2020; 28 (2): 94-7.

· Jeong L., Smith Z., Longino A., Merel S.E., McDonough K. Virtual peer teaching during the COVID-19 pandemic. Med Sci Educ. 2020; 30 (4): 1-2. DOI: https://doi.org/10.1007/s40670-020-01065-1

· Jones T.A., Vidal G., Taylor C. Interprofessional education during the COVID-19 pandemic: finding the good in a bad situation. J Interprof Care. 2020; 34 (5): 633-46.

· Joseph J.P., Joseph A.O., Conn G., Ahsan E., Jackson R., Kinnear J. COVID-19 pandemic medical education adaptations: the power of students, staff and technology. Med Sci Educ. 2020; 30 (4): 1-2.

· Jumat M.R., Wong P., Foo K.X., Lee I.C.J., Goh S.P.L., Ganapathy S., et al. From trial to implementation, bringing team-based learning online-Duke NUS medical school’s response to the COVID-19 pandemic. Med Sci Educ. 2020; 30 (4): 1-6.

· Khalil R., Mansour A.E., Fadda W.A., Almisnid K., Aldamegh M., Al-Nafeesah A., et al. The sudden transition to synchronized online learning during the COVID-19 pandemic in Saudi Arabia: a qualitative study exploring medical students’ perspectives. BMC Med Educ. 2020; 20 (1): 285.

· Kim J.W., Myung S.J., Yoon H.B., Moon S.H., Ryu H., Yim J.J. How medical education survives and evolves during COVID-19: our experience and future direction. PLoS One. 2020; 15 (12): e0243958.

· Kimmons R., Graham C.R., West R.E. The PICRAT model for technology integration in teacher preparation. Contemp Iss Technol Teach Educ. 2020; 20 (1): 176-98. URL: https://citejournal.org/volume-20/issue-1-20/general/the-picrat-model-for-technology-integration-in-teacherpreparation

· Kirkpatrick J.D., Kirkpatrick W.L. Four levels of training evaluation. East Peoria, IL. Versa Press, 2016.

· Laksov K.B., Dornan T., Teunissen P.W. Making theory explicit - an analysis of how medical education research(ers) describe how they connect to theory. BMC Med Educ. 2017; 17 (1): 18-9.

· Lapane K.L., Dube C.E. Rigor and reproducibility training for first year medical students in research pathways. Clin Transl Sci. 2021; 14 (3): 1026-36.

· Liang S., Taylor L.N., Hasan R. Student-led adaptation of improvement science learning during the COVID-19 pandemic. PRiMER. 2020; 4: 20.

· Mahima S.M., Sasirekha M., Leonoline E.J., Vaijayanthimala P. Perception of undergraduate medical and dental students towards learning anatomy in google classroom. Indian J Public Health Res Dev. 2020; 11 (10): 18-25.

· Mann K., Dornan T., Teunissen P.W. Perspectives on learning. In: T. Dornan, K. Mann, A. Scherpbier, J. Spencer (eds). Medical Education: Theory and Practice. New York, NY: Elsevier, 2011: 17-38.

· Martinez L., Holley A., Brown S., Abid A. Addressing the rapidly increasing need for telemedicine education for future physicians. PRiMER. 2020; 4: 16.

· Masters K. They shoot horses, don’t they? A warning to medical schools about medical teacher burnout during COVID-19. MedEdPublish. 2021; 10 (1): 47.

· Mayer R.E. Introduction to multimedia learning & cognitive theory of multimedia learning. In: The Cambridge Handbook of Multimedia Learning. Cambridge, MA: Cambridge University Press, 2005: 1-48.

· McHugh M.L. Interrater reliability: the kappa statistic. Biochem Med. 2012; 22 (3): 276-82.

· Means B., Toyama Y., Murphy R., Bakia M., Jones K. Evaluation of evidence-based practices in online-learning: a meta-analysis and review of online learning studies. Washington, DC: US Department of Education, Office of Planning, Evaluation, and Policy Development, 2009.

· Mendez-Reguera A., Lopez Cabrera M.V. Engaging my Gen Z class: teaching with memes. Med Sci Educ. 2020; 30 (4): 1-2.

· Millwood R. Learning theories map. Holistic Approach to Technology Enhanced Learning (HoTEL). 2013. URL: http://hotel-project.eu/content/learning-theories-map-richardmillwood (date of access February 25, 2021)

· Mohos A., Mester L., Barabas K., Nagyvari P., Kelemen O. Orvos-beteg kommunikacios gyakorlat szimulalt pacienssel a koronavırusj arvany idejen. (A COVID-19-pandemia orvosszakmai kerdesei) [Doctor-patient communication training with simulated patient during the coronavirus pandemic]. Orv Hetil. 2020; 161 (33): 1355-62.

· Moro C., Stromberga Z. Enhancing variety through gamified, interactive learning experiences. Med Educ. 2020; 54 (12): 1180-1.

· Morris Z.S., Wooding S., Grant J. The answer is 17 years, what is the question: understanding time lags in translational research. J R Soc Med. 2011; 104 (12): 510-20.

· Naidoo N., Akhras A., Banerjee Y. Confronting the challenges of anatomy education in a competency-based medical curriculum during normal and unprecedented times (COVID-19 Pandemic): pedagogical framework development and implementation. JMIR Med Educ. 2020; 6 (2): e21701.

· Newcomb A.B., Duval M., Bachman S.L., Mohess D., Dort J., Kapadia M.R. Building rapport and earning the surgical patient’s trust in the era of social distancing: teaching patient-centered communication during video conference encounters to medical students. J Surg Educ. 2021; 7204 (20): 30 211-7.

· Parker E.U., Chang O., Koch L. Remote anatomic pathology medical student education in Washington State. Am J Clin Pathol. 2020; 154 (5): 585-91.

· Prasad N., Fernando S., Willey S., Davey K., Kent F., Malhotra A., et al. Online interprofessional simulation for undergraduate health professional students during the COVID-19 pandemic. J Interprof Care. 2020; 34 (5): 706-10.

· Price E.G., Beach M.C., Gary T.L., Robinson K.A., Gozu A., Palacio A., et al. A systematic review of the methodological rigor of studies evaluating cultural competence training of health professionals. Acad Med. 2005; 80 (6): 578-86.

· Rapanta C., Botturi L., Goodyear P., Guardia L., Koole M. Online University teaching during and after the Covid-19 crisis: refocusing teacher presence and learning activity. Postdigit Sci Educ. 2020; 2 (3): 923-45.

· Ratanawongsa N., Thomas P.A., Marinopoulos S.S., Dorman T., Wilson L.M., Ashar B.H., et al. The reported validity and reliability of methods for evaluating continuing medical education: a systematic review. Acad Med. 2008; 83 (3): 274-83.

· Reed D., Price E., Windish D., Wright S., Gozu A., Hsu E., et al. Challenges in systematic reviews of educational intervention studies. Ann Intern Med. 2005; 142 (12 Pt 2): 1080-99.

· Reed D.A., Cook D.A., Beckman T.J., Levine R.B., Kern D.E., Wright S.M. Association between funding and quality of published medical education research. JAMA. 2007; 298 (9): 1002-9.

· Rehman R., Fatima S.S. An innovation in Flipped Class Room: a teaching model to facilitate synchronous and asynchronous learning during a pandemic. Pak J Med Sci. 2020; 37 (1): 131-6.

· Robertson B., McDermott C., Star J., Lewin L.O., Spell N. Synchronous virtual interprofessional education focused on discharge planning. J Interprof Educ Pract. 2021; 22: 100388.

· Rosasco J., Hanson Z., Kramer J., Steele L., Beachy B., Gothard M.D., et al. A randomized study using telepresence robots for behavioral health in interprofessional practice and education. Telemed J E Health. 2020; 27 (7): 755-62.

· Rosenberg M. E-Learning: strategies for delivering knowledge in the digital age. New York: McGraw-Hill, 2001.

· Roy H., Ray K., Saha S., Ghosal A.K. A study on students’ perceptions for online zoom-app based flipped class sessions on anatomy organised during the lockdown period of COVID-19. J Clin Diagn Res. 2020; 14 (6): AC01-04.

· Rucker J., Steele S., Zumwalt J., Bray N. Utilizing zoom breakout rooms to expose preclerkship medical students to TeleMedicine encounters. Med Sci Educ. 2020; 30 (4): 1-2.

· Ruiz J.G., Mintzer M.J., Leipzig R.M. The impact of E-learning in medical education. Acad Med. 2006; 81 (3): 207-12.

· Rutledge C., Hawkins E.J., Bordelon M., Gustin T.S. Telehealth Education: an Interprofessional online immersion experience in response to COVID-19. J Nurs Educ. 2020; 59 (10): 570-6.

· Sa-Couto C., Nicolau A. How to use telesimulation to reduce COVID-19 training challenges: a recipe with free online tools and a bit of imagination. MedEdPublish. 2020; 9 (1): 129.

· Sandars J., Patel R.S., Goh P.S., Kokatailo P.K., Lafferty N. The importance of educational theories for facilitating learning when using technology in medical education. Med Teach. 2015; 37 (11): 1039-42.

· Schlegl A.T., Pinter Z., Kovacs A., Kopjar E., Varga P., Kardos D., et al. Teaching basic surgical skills using homemade tools in response to COVID-19. Acad Med. 2020; 95 (11): e7.

· Selwyn N. Looking beyond learning: notes towards the critical study of educational technology. J Comput Assist Learn. 2010; 26 (1): 65-73.

· Shahrvini B., Baxter S.L., Coffey C.S., MacDonald B.V., Lander L. Preclinical remote undergraduate medical education during the COVID-19 pandemic: a survey study. Res Sq. 2020; Jun 10: 1-39.

· Sharma S., Ray A., Sadasivam B. Adaptations in teaching modalities for medical undergraduates in response to coronavirus disease 2019 at a single teaching institute in India. Korean J Med Educ. 2020; 32 (4): 291-5.

· Singal A., Bansal A., Chaudhary P., Singh H., Patra A. Anatomy education of medical and dental students during COVID-19 pandemic: a reality check. Surg Radiol Anat. 2021; 43 (4): 515-21.

· Singh K., Srivastav S., Bhardwaj A., Dixit A., Misra S. Medical education during the COVID-19 pandemic: a single institution experience. Indian Pediatr. 2020; 57 (7): 678-9.

· Spaletra P., Sigal A.R., Gelpi R.J., Alves de Lima A. Implementation of a virtual rotation in Cardiology in times of COVID-19. Medicina. 2020; 80 (5): 587-8.

· Srinivasan D.K. Medical students’ perceptions and an anatomy teacher’s personal experience using an e-Learning platform for tutorials during the Covid-19 crisis. Anat Sci Educ. 2020; 13 (3): 318-9.

· Steehler A.J., Pettitt-Schieber B., Studer M.B., Mahendran G., Pettitt B.J., Henriquez O.A. Implementation and evaluation of a virtual elective in otolaryngology in the time of COVID-19. Otolaryngol Head Neck Surg. 2021; 164 (3): 556-61.

· Sterne J.A., Hernan M.A., Reeves B.C., Savovic J., Berkman N.D., Viswanathan M., et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ. 2016; 355: i4919.

· Sud R., Sharma P., Budhwar V., Khanduja S. Undergraduate ophthalmology teaching in COVID-19 times: students’ perspective and feedback. Indian J Ophthalmol. 2020; 68 (7): 1490-1.

· Sudhir M., Mascarenhas S., Isaac J., Alfroukh J., Abdul Rahuman S. Adapting to the need of the hour: communication skills simulation session using an online platform during COVID-19. MedEdPublish. 2020; 9 (1): 3048.

· Sweller J., Ayres P., Kalyuga P. Cognitive load theory. New York, NY: Springer-Verlag, 2011.

· Tan J., Lee Y., Tan L., Cheong Y., Nyo Y. The conduct of paediatric surgery collaborative learning cases via an online platform during the COVID-19 outbreak: challenges and lessons learnt. MedEdPublish. 2020; 9 (1): 261.

· Tang B., Coret A., Qureshi A., Barron H., Ayala A.P., Law M. Online lectures in undergraduate medical education: scoping review. JMIR Med Educ. 2018; 4 (1): e11.

· Taylor D.C., Hamdy H. Adult learning theories: implications for learning and teaching in medical education: AMEE Guide No. 83. Med Teach. 2013; 35 (11): e1561-72.

· Thum DiCesare J.A., Segar D.J., Donoho D., Radwanski R., Zada G., Yang I. Democratizing access to neurosurgical medical education: National efforts in a medical student training camp during coronavirus disease 2019. World Neurosurg. 2020; 144: e237-43.

· Torre D.M., Daley B.J., Sebastian J.L., Elnicki D.M. Overview of current learning theories for medical educators. Am J Med. 2006; 119 (10): 903-7.

· Vala N.H., Vachhani M.V., Sorani A.M. Study of evaluation of E-learning classes among medical students during COVID-19 pandemic phase in Jamnagar city. Natl J Physiol Pharm Pharmacol. 2020; 10 (12): 1042-2.

· Verma A., Verma S., Garg P., Godara R. Online teaching during COVID-19: perception of medical undergraduate students. Indian J Surg. 2020; 82 (3): 299-300.

· Vollbrecht P.J., Porter-Stransky K.A., Lackey-Cornelison W.L. Lessons learned while creating an effective emergency remote learning environment for students during the COVID-19 pandemic. Adv Physiol Educ. 2020; 44 (4): 722-5.

· Walton R., Greenberg A., Ehlke D., Sola O. Development of a health policy elective for medical students during the COVID-19 pandemic: a pilot study. PRiMER. 2020; 4: 29.

· Wentling T., Waight C., Gallaher J., La Fleur J., Wang C., Kanfer A. E-Learning: a review of literature. Urbana-Champaign, IL: University of Illinois National Center for Supercomputer Applications (NCSA), 2000.

· Wilcha R.J. Effectiveness of virtual medical teaching during the COVID-19 crisis: systematic review. JMIR Med Educ. 2020; 6 (2): e20963.

· Wintraub L., Xie M., Issa M., Jeyakumar Y., Nelms M., Sharma D., et al. Wearable technology and live video conferencing: the development of an affordable virtual teaching platform to enhance clinical skills education during the COVID-19 pandemic. Can Med Educ J. 2020; 11 (5): e121-5.

· Wish-Baratz S., Crofton A.R., Gutierrez J., Henninger E., Griswold M.A. Assessment of mixed-reality technology use in remote online anatomy education. JAMA Netw Open. 2020; 3 (9): e2016271.

· Wolf F.M. Methodological quality, evidence, and research in medical education (RIME). Acad Med. 2004; 79 (Suppl 10): 68-9.

· Worthington T. Synchronizing asynchronous learning. Collections: Australian National University Digital. 2013. DOI: http://dx.doi.org/10.1109/ICCSE.2013.6553983

· Yardley S., Dornan T. Kirkpatrick’s levels and education "evidence". Med Educ. 2012; 46 (1): 97-106. PMID: 22150201.

· Zhang Q., He Y.J., Zhu Y.H., Dai M.C., Pan M.M., Wu J.Q., et al. The evaluation of online course of Traditional Chinese Medicine for MBBS international students during the COVID-19 epidemic period. Integr Med Res. 2020; 9 (3): 100449.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)