Unified state examination as a predictor of academic performance in medical university

Резюме Currently the results of the unified state examination (USE) became the only criteria to be admitted to the majority of medical universities in Russia. However, this fact is still causing hot debates among medical education professionals concerning appropriateness of professional orientation and objective knowledge assessment of applicants as theyguarantee students' subsequent successful training at medical university. Moreover, an obvious trend to encourage additional financial resources from the Federal state budget and Sverdlovsk region budget for the target admission of applicants to the Ural State Medical University (USMU) makes us pay attention to the rating selection of future medical students. Recently we foundthe decrease of the average USE scoreof applicants to the general medicine faculty of USMU. The aim of research was to study association between USE scores and medical students' academic performance in the course of human anatomy.We analyzed data on academic performance of the students from general medicine faculty according to the rating system in the course ofhuman anatomy during 2014—2017 (total 716 student ratings) and compared their results to their USE score at admission to USMU. All students were divided into four groupsaccording to the source of financing the occupied training place at USMU. The comparable data were analyzed using standard statistical methods with rank correlation. The vast majority of compared groups showed positive correlation of the average strength with the correlation coefficient of 0.24 to 0.42. Thus, our research showed the association between USE scores and subsequent academic performance of medical students in the course of human anatomy..

Ключевые слова: • unified state examination • prognostic value • rank correlation • students' rating system • human anatomy • medical student

Мед. образование и проф. развитие. 2017. № 2-3. С. 34-41.

В отечественной системе общего об­разования единый государственный экзамен (ЕГЭ) является стандартной про­цедурой окончания программы общего об­разования, предоставляющей выпускникам право участвовать в конкурсе для поступле­ния в учебные заведения профессиональ­ного образования. В средствах массовой информации и на страницах научной пе­чати, посвященной вопросам образования и профессионального развития, до настоя­щего времени не утихает дискуссия о целе­сообразности продолжения практики ЕГЭ как единственно возможной системы отбо­ра претендентов для поступления в высшие учебные заведения России. В равной мере встречаются мнения, часто крайне проти­воположные, касающиеся положительных и отрицательных сторон практики приме­нения ЕГЭ. Сторонники ЕГЭ подчерки­вают необходимость обеспечения равного доступа абитуриентов к ресурсам системы образования на всей территории Россий­ской Федерации. Они считают, что персональные рейтинги ЕГЭ действительно отра­жают реальные способности выпускников школы, дающие им возможность поступить в вузы и качественно осваивать образова­тельные программы профессионального образования. Противники утверждают, что практика применения ЕГЭ не отражает реальный уровень образования выпуск­ников общеобразовательных учреждений, и в этом смысле ЕГЭ закрывает двери выс­ших учебных заведений для абитуриентов, действительно способных успешно осваи­вать образовательную программу высшего образования в соответствии с осознанным личным выбором.

Проблема ЕГЭ усложняется тем, что действующая система отбора претендентов в вузы нашей страны позволяет абитуриен­ту не только конкурировать в университетах разных регионов, но даже в пределах одного учебного заведения подавать документы на образовательные программы, относящиеся к разным укрупненным группам специаль­ностей, направлений подготовки, что доводит ситуацию профессионального выбора до абсурда и ставит под сомнение целесоо­бразность проведения работы по профес­сиональной ориентации среди молодежи.

Вместе с тем некоторые регионы России действительно остро нуждаются в конкрет­ных специалистах. В частности, ощущает­ся дефицит врачебных кадров в Уральском регионе, что привело к необходимости практически удвоить набор абитуриентов в ФГБОУ ВО "Уральский государственный медицинский университет" Минздрава Рос­сии (УГМУ, Екатеринбург) с 2014 г. за счет привлечения дополнительных источников финансирования мест целевого набора из средств федерального бюджета и бюджета Свердловской области. Как показывает наш опыт, это приводит к изменениям, проявля­ющимся в снижении проходного балла при формировании конкурсного отбора претен­дентов в данных целевых группах. В резуль­тате в состав студентов-целевиков попада­ют лица с низким персональным рейтингом ЕГЭ, которые испытывают в дальнейшем проблемы с освоением программы врачеб­ного образования. Неизбежно возникают ситуации, связанные с отчислением сту­дентов за академическую неуспеваемость и, как следствие, поиска решений для со­хранения численности контингента целе­вого набора. Закономерно появляется ряд вопросов. Насколько целесообразна такая практика? Насколько успешно овладевают врачебной профессией студенты с низким персональным рейтингом ЕГЭ? Является ли персональный рейтинг ЕГЭ прогности­ческим фактором успеваемости в вузе? Сле­дует ли понижать пороговую планку про­ходного балла в ходе конкурсного отбора для студентов-целевиков или обеспечить равные конкурентные условия поступления в вузы для каждого потенциального абиту­риента?

В доступных нам публикациях мы не нашли исследований, направленных на поиск корреляций между рейтингами ЕГЭ лиц, зачисленных по конкурсу на различные места, в порядке отбора пре­тендентов в медицинские университеты нашей страны и результатами их после­дующих персональных учебных достиже­ний в качестве студентов, что и побудило нас к изучению данной темы. В основу рабочей гипотезы исследования было по­ложено мнение, что персональный рей­тинг ЕГЭ должен коррелировать с успе­ваемостью студентов в период обучения в университете и, таким образом, может быть использован в качестве прогности­ческого критерия оценки индивидуаль­ных качеств, проявляющихся в способ­ности и готовности осваивать программу высшего образования.

Материал и методы

В качестве объекта исследования, соста­вившего статистическую выборку, послужи­ли студенты лечебно-профилактического факультета УГМУ, зачисленные по кон­курсу в 2014 г. (344 человек) и 2015 г. (348 че­ловек), всего 716 человека. Распределение студентов по группам представлено следую­щим образом:

Набор студентов, 2014 г.

1-я группа - 102 человека, студенты, зачисленные на места, финансируемые из федерального бюджета РФ (ФБ).

2-я группа - 24 человека, внебюджет­ные студенты (ВБ), оплачивающие обуче­ние за счет личных средств.

3-я группа - 134 человека, студенты, зачисленные на места по целевому набору за счет средств федерального бюджета РФ (ФЦБ).

4-я группа - 84 человека, студенты, за­численные на места по целевому набору за счет средств бюджета Свердловской обла­сти (ЦБСО).

Набор студентов, 2015 г.

1-я группа (ФБ) - 47 человек, студенты, зачисленные на места, финансируемые из федерального бюджета РФ.

2-я группа (ВБ) - 25 человек, внебюд­жетные студенты, оплачивающие обучение за счет личных средств.

3-я группа (ФЦБ) - 195 человек, сту­денты, зачисленные на места по целевому набору за счет средств федерального бюд­жета РФ.

4-я группа (ЦБСО) - 81 человек, сту­денты, зачисленные на места по целевому набору за счет средств бюджета Свердлов­ской области.

В качестве исходных данных учи­тывались персональные рейтинги ЕГЭ (300-балльная шкала: биология, химия, рус­ский язык), которые сопоставлялись с дис­циплинарными рейтингами [100-балльная шкала балльно-рейтинговой системы учета учебных достижений (БРС)] по курсу "Ана­томия человека".

Реализуемая на кафедре анатомии че­ловека БРС доказала свою валидность в качестве эффективного инструмента контрольно-оценочной деятельности, по­зволяющей ранжировать отдельных сту­дентов и академические группы по призна­ку успешности уровня освоения учебного материала и результатов обучения [1].

Сравниваемые данные подвергались стандартной статистической обработке с использованием метода ранговой кор­реляции, учитывающей распределение статистической выборки (коэффициент Стьюдента, t<2). Данные представлены в табл. 1, 2 в виде M±a, где М - среднее значение, σ - среднее квадратичное откло­нение.

Результаты

Система конкурсного отбора абитури­ентов, реализуемая в УГМУ, при формиро­вании списка претендентов предусматри­вает ранжирование их по персональному рейтингу ЕГЭ. Учитываются результаты ЕГЭ по трем дисциплинам: химия, биоло­гия, русский язык.

В 2014 г. (см. табл. 1) наиболее высо­кий конкурс приходился на места, фи­нансируемые из федерального бюджета (255,9±15,4), а наиболее низкий проход­ной балл наблюдался в группе абитуриен­тов, поступающих на целевые места, фи­нансируемые из бюджета Свердловской области (192,3±11,8). Промежуточное положение при определении проходного балла в порядке убывания занимают: места целевого набора за счет средств федераль­ного бюджета (225,3±18,3), внебюджетные места (208,2±13,0).

В 2015 г. отмечается сходная тенденция с предыдущим годом (см. табл. 2). Наибо­лее высокий конкурс отмечался на места, финансируемые из федерального бюджета (275,7±5,5), а наиболее низкий проходной балл также наблюдался в группе абитури­ентов, поступающих на целевые места, финансируемые из бюджета Свердловской области (195,7±15,1). Промежуточное по­ложение при определении проходного бал­ла в порядке убывания занимают: внебюд­жетные места (232,2±9,6); места целевого набора за счет средств федерального бюд­жета (229,9±23,0), что находится в преде­лах статистической погрешности.

В ходе дальнейшего исследования были подвергнуты сравнительному анализу ме­тодом ранговой корреляции персональные рейтинги ЕГЭ и успеваемость студентов по учебной дисциплине "Анатомия человека". Сложившаяся БРС учета учебных достижений на кафедре анатомии человека УГМУ в пределах изучаемой дисциплины доказа­ла свою состоятельность, позволяет адек­ватно отражать фактические достижения конкретных студентов в выполнении плана учебной занятости, уровней освоения учеб­ного материала и результатов обучения по курсу в целом. В подавляющем большин­стве сравниваемых групп отмечается поло­жительная корреляция средней силы. Диапазон коэффициента корреляции от 0,24 до 0,42. Исключение составляет группа целе­вого набора 2015 г., принятая по заказу Ми­нистерства здравоохранения Свердловской области, где корреляционная связь между сравниваемыми параметрами не установ­лена. Вероятно, причины этого явления кроются в особенностях внутригрупповых характеристик персональных данных ЕГЭ, что требует отдельного изучения.

Обсуждение

Проведенный нами анализ данных по­казал зависимость между результатами ЕГЭ и дальнейшей успеваемостью студентов в медицинском вузе. Однако наше исследо­вание ограничено только одной дисципли­ной профильного цикла, и мы допускаем, что при сопоставлении общей успеваемости студентов-медиков и результатов ЕГЭ дан­ная корреляция может быть не выявлена. Учитывая мировую тенденцию использо­вания тестовых мероприятий для конкурс­ного отбора претендентов, мы обратились к зарубежным источникам для сопоставле­ния полученных нами данных. Тест для по­ступления в медицинский колледж (Medical College Admission Test, MCAT) и средний балл успеваемости (Grade Point Average, GPA) используются в качестве основных критериев для поступления в медицинские учебные заведения в США и наиболее часто сопоставляются с дальнейшей успеваемо­стью студентов-медиков и их результатами на выпускных экзаменах [2-10].

Также в ряде исследований сопоставля­ют результаты итогового аккредитационного экзамена выпускников медицинских вузов со средним баллом их успеваемости в ходе обучения на различных ступенях образования, начиная с программ бака­лавриата [3], магистратуры [2], получе­ния степени доктора медицины (Doctor of Medicine, MD) [5, 6, 9, 10] и доктора фило­софии (Doctor of Philosophy, PhD) [4]. Ино­странные авторы не только изучают обще­принятые индикаторы академической подготовки абитуриентов в медицинские колледжи, но также вводят в свою практи­ку дополнительные показатели и факторы успеваемости студентов-медиков на про­тяжении всего обучения, чтобы получить максимально достоверное представление о прогностической силе этих показателей на конечный результат обучения.

В одном из исследований была опреде­лена сильная корреляция между накопи­тельным GPA в магистратуре, дальней­шей успеваемостью студентов-медиков в течение доклинических годов обучения и результатами итогового экзамена для получения медицинской лицензии [2]. При этом не была обнаружена существен­ная зависимость между баллами за MCAT и последующей академической успеваемо­стью студентов-медиков [2], также данный показатель имел слабую прогностическую ценность относительно результатов выпуск­ников по программам MD и PhD [4]. В дру­гом исследовании не выявили не только статистически значимой разницы между успеваемостью студентов в медицинском вузе и баллами за МСАТ, но и показателя­ми GPA, и выбором программы бакалав­риата или магистратуры до поступления в медицинский колледж [3]. Другие про­веденные в данной области исследования особое внимание обращают на то, что баллы за MCAT и GPA оказываются ста­тистически не значимыми показателями для прогнозирования баллов, получаемых выпускниками-медиками при сдаче квали­фикационных экзаменов, при этом факто­ром, определяющим высокие результаты, в данном случае являются баллы за вы­пускные экзамены в медицинском коллед­же [8, 9]. Однако баллы за MCAT и GPA достоверно имеют прогностическую цен­ность относительно академической успе­ваемости студентов-медиков в течение периода обучения в медицинском коллед­же [5, 6]. При этом ряд исследователей все же не исключают того, что баллы за MCAT и GPA действительно имеют корреляцию с баллами, полученными за экзамен для получения медицинской лицензии [7, 10].

На сегодняшний день в системе выс­шего медицинского образования в России происходят изменения, касающиеся обяза­тельной аккредитации специалистов в сфе­ре здравоохранения, меняется структура клинических экзаменов, направленная на достижения максимально объективной оценки выпускников медицинских вузов [11]. В связи с этим особую актуальность приобретают исследования, посвященные многофакторному изучению зависимостей различных показателей успеваемости в медицинском вузе с результатами на уровне аккредитации специалистов в сфере здра­воохранения. На наш взгляд, проведение подобных исследований является необ­ходимым условием для своевременного внесения изменений в образовательный процесс в медицинском вузе, если мы хо­тим, чтобы молодые специалисты в сфере здравоохранения отвечали требованиям, предъявляемым им обществом, и их ква­лификация соответствовала развитию со­временного мира.

Литература

1. Ивачев П.В., Нуждин О.Ю., Куликов С.Н., Митрофанова К.А. Педагогическая диагностика резуль­татов обучения на примере учебного курса "Анатомия человека" // Инновации в образовании. 2016. № 11. С. 90-100.

2. Sadik A., Woldemariam В., Wang X. Master students' cGPA is a good predictor of success in medical school // Med. Sci. Educ. 2017. Vol. 27, N 2. P. 193-199.

3. Dixon D. Prediction of osteopathic medical school performance on the basis of MCAT score, GPA, sex, undergraduate major, and undergraduate institution // J. Am. Osteopath. Assoc. 2012. Vol. 112, N 4. P. 175-181.

4. Bills J.L., VanHouten J., Grundy M.M. et al. Validity of the medical college admission test for MD - PhD student outcomes // Adv. Health Sci. Educ. 2016.Vol. 21. P. 33-49.

5. Dunleavy D.M., Kroopnick M.H., Dowd K.W. et al. The predictive validity of the MCAT exam in relation to academic performance through medical school: a national cohort study of 2001-2004 matriculants // Acad. Med. 2013. Vol. 88, N 5. P. 666-671.

6. Callahan C.A., Hojat M., Veloski J. et al. The predictive validity of three versions of the MCAT in relation to performance in medical school, residency, and licensing examinations: a longitudinal study of 36 classes of Jefferson Medical College // Acad. Med. 2010. Vol. 85, N 6. P. 980-987.

7. Searcy C.A., Dowd K.W., Hughes M.G. et al. Association of MCAT scores obtained with standard vs extra administration time with medical school admission, medical student performance, and time to graduation // JAMA. 2015. Vol. 313, N 22. P. 2253-2262.

8. Colbert C., McNeal T., Lezama M. et al. Factors associated with performance in an internal medicine clerkship // Proc. (Bayl. Univ. Med. Cent.). 2017. Vol. 30, N 1. P. 38-40.

9. Roy В., Ripstein I., Perry K. et al. Predictive value of grade point average (GPA), Medical College Admission Test (MCAT), internal examinations (Block) and National Board of Medical Examiners (NBME) scores on Medical Council of Canada qualifying examination part I (MCCQE-1) scores // Can. Med. Educ. J. 2016. Vol. 7, N 1. P. e47-e56.

10. Gauer J.L., Wolff J.M., Jackson J.B. Do MCAT scores predict USMLE scores? An analysis on 5 years of medical student data // Med. Educ. Online. 2016. Vol. 21. Article ID 31795.

11. Балкизов З.З., Семенова Т.В. Объективный структурированный клинический экзамен : руководство // Мед. образование и проф. развитие. 2016. № 3. С. 27-51.

Peer-review