Опыт создания системы оценочных средств в ходе преподавания поликлинической терапии в соответствии с Федеральным государственным образовательным стандартом и профессиональным стандартом специалиста по терапии. Сообщение 2. Экзамен и итоговая оценка

Резюме В статье представлены результаты обучения студентов по специальности "Поликлиническая терапия" по итогам как текущей оценки знаний, так и проведенного экзамена. Использованная балльно-рейтинговая система продемонстрировала свои преимущества в виде направленности на формирование профессиональных компетенций, требований систематической подготовки студентов, удобства использования, прозрачности и объективности. Результаты, полученные студентами, объективно оценивают уровень имеющихся теоретических знаний и практических навыков и определяют направления дальнейшей работы преподавателей.

Ключевые слова: • балльно-рейтинговая система • образовательный стандарт • компетентность • итоговая оценка

Мед. образование и проф. развитие. 2017. № 4. С. 70-78.

Балльно-рейтинговая система (БРС) - это система контроля, при которой учету, проверке и оцениванию подвергают­ся все виды учебной и внеучебной деятель­ности, выполняемые студентами с целью повышения качества полученных зна­ний и формирования профессиональных компетенций [1]. В противоположность традиционному методу, БРС основана на учете накапливаемых баллов за выполне­ние текущих видов учебной деятельности и на регулярно проводимых контрольных измерениях в процессе изучения моду­лей в течение определенного промежут­ка времени [2, 3, 4]. Данная система была заимствована из зарубежной практики и в ходе внедрения в различных вузах России нашла немало как сторонников, так и противников ее использования [5].

Были отмечены положительные сто­роны БРС в виде ее стимулирующего и дисциплинирующего характера, откры­тости и прозрачности, а также накопи­тельных свойств, позволяющих создать ощущение стабильности и комфорта у каждого систематически работающего студента [6]. Анализ зарубежной практи­ки использования рейтинговой модели оценки подтверждает ее эффективность как средства активизации учебной рабо­ты студентов, повышения их мотивации к постоянному самоконтролю и планиро­ванию своей успеваемости, укреплению дисциплины и личной ответственно­сти за результаты учебной работы [4, 7]. Первые результаты, полученные при опросе российских студентов, также про­демонстрировали скорее положитель­ную, чем отрицательную оценку БРС: опрошенные отметили, что введение балльно-рейтинговой оценки "повыша­ет регулярность занятий", "способствует росту учебной дисциплины", "повышает самостоятельность" и "ответственность", способствует формированию учебной мотивации и направленности [8].

В то же время высказываются опасения, что данная система, контролирующая пре­имущественно процесс освоения знаний, будет подменять основную цель - оценку формирования профессиональных компе­тенций специалиста [6]. Возможно, именно этим обусловлено в целом осторожное от­ношение преподавателей к введению БРС. Так, мониторинговые исследования 2006 г., проведенные центром аудита качества обра­зования ФГБОУ ВО "Курский государствен­ный университет", показали, что только 43% опрошенных преподавателей университета выступают "за", в то время как 39% выска­зываются "против" введения БРС оценки ка­чества подготовки студентов как заменителя традиционной системы оценки знаний [9].

Таким образом, перед преподавателями вузов стоит непростая задача: путем внедре­ния рейтинговой систематической системы оценки знаний добиться получения конеч­ного результата - выпустить специалиста, обладающего необходимыми профессио­нальными компетенциями. Проблема ста­новится еще более актуальной в медицине, так как многие изучаемые в вузе навыки являются практическими и предполагают оценку взаимодействия студента с больным.

Материал и методы

С целью преодоления указанных слож­ностей и в рамках действующего Феде­рального государственного образова­тельного стандарта (ФГОС) на кафедре поликлинической терапии была создана БРС, позволяющая, на наш взгляд, диффе­ренцировать объективный подход к оцен­ке теоретических и практических знаний, активизировать самостоятельную работу студентов, мотивировать и дисциплиниро­вать обучающихся.

Как было указано ранее [10], на первом этапе создания системы оценочных средств, касающихся текущей успеваемости, были выделены две группы элементов педагогиче­ского процесса. Первая группа - это обяза­тельные элементы для допуска к итоговой аттестации, но не подлежащие оценке, а именно посещение практических (семи­нарских) занятий и лекций. Вторая группа -обязательные для выполнения навыки с последующей дифференцированной оценкой. К этой группе мы отнесли те виды деятельности студентов, которые, на наш взгляд, более точно отражают степень сформированности профессиональных ком­петенций, как то: рубежный контроль по окончанию каждого дисциплинарного модуля (оценка знаний); работа с амбула­торным пациентом (интегративная оценка знаний, умений и навыков); написание тактик по ведению амбулаторных боль­ных, которых студент курировал во время, отведенное на самостоятельную работу (оценка знаний и умений); заполнение ме­дицинской документации амбулаторного пациента (вновь - оценка знаний, умений и навыков). Следует отметить, что разде­ление всего цикла обучения на отдельные модули, в ходе которых различные элемен­ты обучения повторялись с определенной периодичностью, продемонстрировало яв­ное улучшение качества выполнения зада­ний студентами к последнему модулю.

Отметим, что для удобства и простоты оценивания нами во всех случаях исполь­зовались традиционные критерии, кото­рые позже в программе Excel автоматиче­ски переводились в рейтинговые баллы. Таким образом, преодолевалась сложность подсчета баллов преподавателем и пони­мания итоговой оценки студентом [11].

Результаты

В ходе 3 семестров, в течение которых в соответствии с учебным планом про­ходило обучение студентов дисциплине "Поликлиническая терапия", каждый обучающийся мог набрать от 40 до 60 рей­тинговых баллов, что соответствовало По­ложению о БРС вуза. В табл. 1 представ­лены результаты текущей успеваемости к моменту завершения обучения студентов дисциплине.

Обращает на себя внимание тот факт, что по любому из видов контроля конечные по­казатели оказались ниже условной средней границы. При проведении анализа данной ситуации нами установлено, что основная причина была связана с отсутствием вну­тренней мотивации студентов на система­тическую и добросовестную деятельность. В подавляющем большинстве случаев у студентов отсутствовало понимание не­обходимости ежедневной подготовки к за­нятиям, постоянной готовности к общению с пациентом и оказанию ему медицинской помощи, необходимости своевременного заполнения медицинской документации. При этом отметим, что дисциплинирован­ность выпускника является залогом форми­рования профессиональных компетенций врача участкового терапевта, а рейтинговая система обучения максимально эффектив­на именно при регулярных занятиях [11]. Данная ситуация была абсолютно ожи­даемой, учитывая ранее существовавшую модель обучения с оценкой, полученной по результатам лишь итогового экзамена, но неожиданной, принимая во внимание то, что студенты предыдущие четыре курса обучались с использованием БРС.

С целью преодоления указанных про­блем решением кафедрального методиче­ского совещания было ранее предусмотре­но, что все виды контролей, сданные позже установленного срока без уважительной причины или пересдающиеся вследствие неудовлетворительной оценки, не могут быть оценены выше минимального балла [10]. Это, вероятно, и повлияло на доста­точно низкий итоговый результат.

Второй причиной недостаточно вы­соких текущих оценок явилось ожидание студентов того, что итоговая оценка по дисциплине "Поликлиническая терапия" будет зависеть исключительно от результатов экзамена. Данная ситуация объяснима тем, что в условиях переходного на БРС периода не существует единого подхода к формированию БРС на разных кафедрах, и, действительно, нередко экзаменацион­ная оценка играет решающую роль. Более того, ранее существовавшая модель обуче­ния предполагала выставление итоговой оценки исключительно по результатам эк­замена.

С учетом того, что оценка навыков и умений проводилась регулярно в ходе обучения, а также в силу того, что итого­вая аттестация ограничена жесткими вре­менными рамками, было принято решение о проведении экзамена в виде собеседова­ния. Подчеркнем, что экзамен в формате "автомат" не был предусмотрен, что связа­но с попыткой максимальной объективи­зации знаний студента. Мы полагаем, что итоговый экзамен является своеобразной "квинтэссенцией" всего периода обучения дисциплине. Кроме того, введение форма­та "автомат" в ранее опубликованных ра­ботах привело к снижению успеваемости, что может быть связано с нежеланием сту­дентов сдавать экзамен и соглашающихся на более низкую оценку (например, "хоро­шо" вместо возможной "отлично" по ре­зультатам экзамена) [4, 12].

Студентам в ходе экзамена предлага­лось ответить на 3 вопроса, касающихся преимущественно профессиональной дея­тельности врача участкового терапевта. Ниже приведены основные направления и количество баллов, которые мог полу­чить студент за каждый вопрос.

1. Классификация и клиническая кар­тина заболевания (от 2 до 10 баллов).

2. Лечение той или иной нозологиче­ской формы на амбулаторном этапе. Цели терапии, целевые показатели (от 4 до 15 баллов).

3. Экспертиза нетрудоспособности. Динамическое наблюдение, его цели. Дис­пансеризация (от 4 до 15 баллов).

Так же как и для текущих контролей, при оценке экзаменационных вопросов преподаватели заносят в электронный журнал оценки от "3" до "5", соответству­ющие традиционным критериям, с после­дующим автоматическим переводом их в рейтинговые баллы в программе Excel.

Следует отметить, что одним из недо­статков традиционной системы оценки всегда указывался субъективизм преподава­теля. БРС, безусловно, не гарантирует пол­ной независимости студента, однако сво­дит к минимуму данную возможность [11]. Кроме того, длительность изучения дисци­плины (8 нед в 3 семестрах) позволила нам осуществить определенную "ротацию" сту­дентов между преподавателями кафедры, что позволило поставить всех студентов в равные условия.

Из допущенных к экзамену студентов 18,1% не смогли сдать экзамен с первого раза. С каждым неаттестованным студен­том проводился опрос о причинах неудачи. Подавляющее большинство опрошенных отметили собственный неудовлетвори­тельный уровень подготовки к экзамену, а зачастую - полное отсутствие предэкзаме­национной подготовки с ожиданием поло­жительной оценки в связи с наличием, по мнению самих обучающихся, некоторых базовых знаний. "Камнем преткновения" для большинства неаттестованных яви­лись специальные знания, необходимые для врача участкового терапевта, а имен­но: целевые показатели, необходимые для достижения результата в ходе лечебного процесса на амбулаторном этапе, динами­ческое наблюдение за пациентом, вклю­чающее ожидаемые сроки и индикаторы улучшения состояния, а также побочные эффекты терапии и вопросы диспансери­зации. Данные вопросы расценивались студентами как второстепенные и мало­значимые по сравнению с клинической картиной заболевания и необходимостью поставить правильный диагноз. Соответ­ственно, предэкзаменационная подготов­ка по соответствующим вопросам велась по остаточному принципу.

Среди студентов, успешно сдавших эк­замен с первого раза, экзаменационные и конечные рейтинговые баллы составили 24,67±9,14 и 73,96±11,3 соответственно (табл. 2).

С учетом требований вуза, студенту на­ряду с рейтинговыми баллами в зачетной книжке указывается традиционная оценка. Распределение итоговых оценок у студен­тов, сдавших экзамен с первого раза, пред­ставлено в табл. 3.

На наш взгляд, данные результаты до­статочно точно характеризуют сложив­шуюся ситуацию и вполне соответствуют результатам ранее опубликованных работ [12, 13]. Недостаточно высокий уровень итоговых оценок связан с несколькими факторами:

- наличием существенного влияния теку­щих контролей в учебных семестрах на формирование конечных результатов;

- ленью и отсутствием мотивации сту­дентов к дополнительной предэкзаме­национной подготовке;

- снижением влияния "человеческого фак­тора", а именно преподаватели оценива­ли каждый вопрос собеседования отдель­но и дифференцированно, а не выводили единую экзаменационную оценку.

К сожалению, мы не можем провести динамический анализ результатов студен­тов ввиду отсутствия ранее экзамена по дисциплине "Поликлиническая терапия", однако проведенные исследования сви­детельствуют о снижении успеваемости после введения как БРС, так и итогового собеседования по результатам текущей ат­тестации. При этом сами авторы отмечают, что снижение успеваемости в большей сте­пени отражает реальный уровень знаний студентов [12-14].

Вполне предсказуемыми оказались ре­зультаты сопоставления текущих оценок у студентов, успешно сдавших экзамен, и неаттестованных с первого раза (табл. 4). Сре­ди последних текущие оценки оказались очень низкими, что позволяет преподава­телям уже в течение цикла сформировать "группу риска" по неудовлетворительной итоговой аттестации.

В целом отношение шансов (ОШ) меж­ду общим баллом за текущую успеваемость и неуспешной сдачей экзамена составило для 45 и менее баллов: ОШ=15,836 (6,79-36,95), p<0,001. В то же время, при наборе 50 и более баллов, напротив, вероятность успешной сдачи экзамена существенно возрастала и составила: ОШ=7,45 (2,78­19,9), p<0,001.

Еще одной интересной стороной ис­следования явилось выявление тех видов текущего контроля, которые имеют наи­более тесную связь с итоговой успеваемо­стью (табл. 5). Оказалось, что рубежные тестовые контроли являются самым сла­бым звеном при формировании текуще­го и итогового рейтинга. Действительно, с точки зрения преподавателей, тесто­вая система контролей является крайне неудачным "подарком" западной системы образования, в ходе которой формируются не знания студентов, а навык правильного выбора верного ответа.

В этой связи мы бы подчеркнули тес­ную взаимосвязь между другими видами контролей, которые действительно отра­жают формирование профессиональных компетенций, а именно работа с амбула­торным пациентом, написание тактик и заполнение медицинской документации (коэффициенты взаимной корреляции со­ставили от 0,66 до 0,83).

Другой интересной особенностью, вы­явленной в ходе проведенного корреляци­онного анализа, явилась высокая степень зависимости итоговой оценки от экзаме­национного балла. Это объясняется тем, что в ходе экзамена студенты могут полу­чить от 10 до 40 баллов, что является суще­ственной долей в формировании итогового рейтинга.

Крайне важной для нас оказалась оцен­ка студентов как потребителей образо­вательных услуг предложенной им БРС. С этой целью на заключительном этапе нами проведен опрос студентов выпускно­го курса. В целом большинство студентов положительно оценили введение БРС: 56% отметили, что система является объективной и отражает реальный уровень знаний. Доля отрицательных оценок составила 27% и, как и ожидалось, это были неаттестованные с первого раза студенты. Остав­шиеся 17% отметили, что в целом предло­женная БРС имеет больше "плюсов", чем "минусов".

Заключение

Таким образом, предложенная нами до­статочно простая для понимания и внедре­ния компетентностно-ориентированная система оценочных средств по дисциплине "Поликлиническая терапия" апробирова­на нами как в ходе текущего обучения, так и в ходе итоговой аттестации. БРС проде­монстрировала определенные преимуще­ства в виде направленности на формиро­вание профессиональных компетенций, требований систематической подготовки студентов, удобства использования, про­зрачности и объективности. Система доказала свою несостоятельность при ори­ентировке только на результаты тестового контроля и одновременно показала необ­ходимость уделять дополнительное вни­мание проблемам, возникающим сугубо в амбулаторно-поликлинических условиях: определению целевых показателей лечеб­ного процесса в амбулаторных условиях, необходимости и целям динамического наблюдения за пациентом, вопросам дис­пансеризации.

Мы полагаем, что нам удалось макси­мально объективно оценить имеющиеся у студентов теоретические знания и практи­ческие навыки, необходимые для работы врача участкового терапевта, сведя к ми­нимуму влияние "человеческого фактора" и случайности. Дальнейшие направления нашей работы будут связаны как с более внимательным изучением вопросов именно поликлинической терапии, указанными ранее, так и с совершенствованием мето­дов оценки деятельности студентов и соз­данием у обучающихся понимания того, что только регулярная и систематическая работа может сформировать действитель­но грамотного специалиста. А это, в свою очередь, повышает шансы студента быть более востребованным на рынке труда в будущем.

Литература

1. Маслоу А. Мотивация и личность. 3-е изд. СПб. : Питер, 2006. 256 с.

2. Ким Н.Ф. Рейтинговая система оценки успеваемости студентов вуза как фактор повышения качества образования // Молодой ученый. 2015. № 17. С. 535-537.

3. Осин А.Я., Крукович Е.В., Лучанинова В.Н и др. Балльно-рейтинговая оценка учебных достижений сту­дентов при модульно-блочном обучении в медицинском вузе // Тихоокеан. мед. журн. 2011. № 2. С. 88-92.

4. Сазонов Б.А. Балльно-рейтинговые системы оценивания знаний и обеспечение качества учебного про­цесса // Высшее образование в России. 2012. № 6. С. 28-40.

5. Зенкина В.Г., Агибалова А.А. Балльно-рейтинговая система оценки знаний как эффективная мотивация студентов к успешному обучению // Международ. журн. прикладных и фундаментальных исследований. 2016. № 4. С. 818-821.

6. Будаев В.Д. О трудностях перехода на балльно-рейтинговую системы оценки знаний студентов // UNIVERSUM: Вестн. Герценовского ун-та. 2010. № 10. С. 51-54.

7. Пермяков О.Е., Жадан В.А., Менькова С.В. Влияние организации балльно-рейтинговой системы на мотивацию учебно-познавательной деятельности студентов и профессиональной деятельности препо­давателей // Изв. Томского политехнического ун-та. 2006. Т. 309, № 6. С. 216-222.

8. Новикова Е.Ю. Балльно-рейтинговая система: мнение студентов // Высшее образование в России. 2013. № 7. С. 132-136.

9. Белова С.Н. Балльно-рейтинговая система оценки качества подготовки студентов как элемент системы ме­неджмента качества образовательного процесса в вузе // Сибир. педагогический журн. 2008. № 2. С. 70-82.

10. Теплякова О.В, Сарапулова А.В, Гришина И.Ф. Опыт создания системы оценочных средств в ходе пре­подавания поликлинической терапии в соответствии с Федеральным государственным образовательным стандартом и профессиональным стандартом специалиста по терапии (сообщение 1. Текущая оценка) // Мед. образование и проф. развитие. 2017. № 1. С. 66-74.

11. Куценко Е.И. Преимущества и недостатки использования балльно-рейтинговой системы в оценке учебных достижений студентов // Сборник трудов конференции "Актуальные научно-методические и нормативно-правовые аспекты внедрения ФГОС ВПО". Оренбург, 2013. С. 54-58.

12. Жданова Е.И., Решетник ЛА., Птичкина О.И. Итоги перевода учебного процесса на балльно-рейтинговую системы по результатам работы кафедры детских болезней Иркутского государственного медицинского университета // Сибир. мед. журн. 2011. Т. 107, № 8. С. 124-126.

13. Андриевская Т.Г., Алексеева Н.Ю. Балльно-рейтинговая оценка учебной деятельности студентов на ка­федре факультетской терапии Иркутского государственного медицинского университета // Сибир. мед. журн. 2010. Т. 94, № 3. С. 134-136.

14. Андриевская Т.Г., Алексеева Н.Ю. Результаты учебной деятельности студентов лечебного факультета с использованием балльно-рейтинговой системы на кафедре факультетской терапии Иркутского госу­дарственного медицинского университета // Сибир. мед. журн. 2010. Т. 94, № 3. С. 109-111.

Рецензирование