Creation experience of the system of assessment resources in the teaching of outpatient therapy according to the Federal state educational standard and Professional standard of therapy. Report 2. Exam and final score

To the content 4 . 2017

Abstract

The article presents the results of train­ing students in the specialty "Polyclinic Therapy" based on the results of both the current assessment of knowledge and the conducted exam. The used score-rating system showed its advantages in the form of a focus on the formation of professional competencies, the requirements of system­atic preparation of students, comfortable using, transparency and objectivity. The results obtained by students objectively as­sess the level of available theoretical knowl­edge and practical skills and determine the directions for further work to the teachers.

Keywords:• score-rating system • educational standards • competence • final score

Meditsinskoe obrazovanie i professional’noe razvitie [Medical Education and Professional Development]. 2017; (4): 70–8.

Балльно-рейтинговая система (БРС) - это система контроля, при которой учету, проверке и оцениванию подвергают­ся все виды учебной и внеучебной деятель­ности, выполняемые студентами с целью повышения качества полученных зна­ний и формирования профессиональных компетенций [1]. В противоположность традиционному методу, БРС основана на учете накапливаемых баллов за выполне­ние текущих видов учебной деятельности и на регулярно проводимых контрольных измерениях в процессе изучения моду­лей в течение определенного промежут­ка времени [2, 3, 4]. Данная система была заимствована из зарубежной практики и в ходе внедрения в различных вузах России нашла немало как сторонников, так и противников ее использования [5].

Были отмечены положительные сто­роны БРС в виде ее стимулирующего и дисциплинирующего характера, откры­тости и прозрачности, а также накопи­тельных свойств, позволяющих создать ощущение стабильности и комфорта у каждого систематически работающего студента [6]. Анализ зарубежной практи­ки использования рейтинговой модели оценки подтверждает ее эффективность как средства активизации учебной рабо­ты студентов, повышения их мотивации к постоянному самоконтролю и планиро­ванию своей успеваемости, укреплению дисциплины и личной ответственно­сти за результаты учебной работы [4, 7]. Первые результаты, полученные при опросе российских студентов, также про­демонстрировали скорее положитель­ную, чем отрицательную оценку БРС: опрошенные отметили, что введение балльно-рейтинговой оценки "повыша­ет регулярность занятий", "способствует росту учебной дисциплины", "повышает самостоятельность" и "ответственность", способствует формированию учебной мотивации и направленности [8].

В то же время высказываются опасения, что данная система, контролирующая пре­имущественно процесс освоения знаний, будет подменять основную цель - оценку формирования профессиональных компе­тенций специалиста [6]. Возможно, именно этим обусловлено в целом осторожное от­ношение преподавателей к введению БРС. Так, мониторинговые исследования 2006 г., проведенные центром аудита качества обра­зования ФГБОУ ВО "Курский государствен­ный университет", показали, что только 43% опрошенных преподавателей университета выступают "за", в то время как 39% выска­зываются "против" введения БРС оценки ка­чества подготовки студентов как заменителя традиционной системы оценки знаний [9].

Таким образом, перед преподавателями вузов стоит непростая задача: путем внедре­ния рейтинговой систематической системы оценки знаний добиться получения конеч­ного результата - выпустить специалиста, обладающего необходимыми профессио­нальными компетенциями. Проблема ста­новится еще более актуальной в медицине, так как многие изучаемые в вузе навыки являются практическими и предполагают оценку взаимодействия студента с больным.

Материал и методы

С целью преодоления указанных слож­ностей и в рамках действующего Феде­рального государственного образова­тельного стандарта (ФГОС) на кафедре поликлинической терапии была создана БРС, позволяющая, на наш взгляд, диффе­ренцировать объективный подход к оцен­ке теоретических и практических знаний, активизировать самостоятельную работу студентов, мотивировать и дисциплиниро­вать обучающихся.

Как было указано ранее [10], на первом этапе создания системы оценочных средств, касающихся текущей успеваемости, были выделены две группы элементов педагогиче­ского процесса. Первая группа - это обяза­тельные элементы для допуска к итоговой аттестации, но не подлежащие оценке, а именно посещение практических (семи­нарских) занятий и лекций. Вторая группа -обязательные для выполнения навыки с последующей дифференцированной оценкой. К этой группе мы отнесли те виды деятельности студентов, которые, на наш взгляд, более точно отражают степень сформированности профессиональных ком­петенций, как то: рубежный контроль по окончанию каждого дисциплинарного модуля (оценка знаний); работа с амбула­торным пациентом (интегративная оценка знаний, умений и навыков); написание тактик по ведению амбулаторных боль­ных, которых студент курировал во время, отведенное на самостоятельную работу (оценка знаний и умений); заполнение ме­дицинской документации амбулаторного пациента (вновь - оценка знаний, умений и навыков). Следует отметить, что разде­ление всего цикла обучения на отдельные модули, в ходе которых различные элемен­ты обучения повторялись с определенной периодичностью, продемонстрировало яв­ное улучшение качества выполнения зада­ний студентами к последнему модулю.

Отметим, что для удобства и простоты оценивания нами во всех случаях исполь­зовались традиционные критерии, кото­рые позже в программе Excel автоматиче­ски переводились в рейтинговые баллы. Таким образом, преодолевалась сложность подсчета баллов преподавателем и пони­мания итоговой оценки студентом [11].

Результаты

В ходе 3 семестров, в течение которых в соответствии с учебным планом про­ходило обучение студентов дисциплине "Поликлиническая терапия", каждый обучающийся мог набрать от 40 до 60 рей­тинговых баллов, что соответствовало По­ложению о БРС вуза. В табл. 1 представ­лены результаты текущей успеваемости к моменту завершения обучения студентов дисциплине.

Обращает на себя внимание тот факт, что по любому из видов контроля конечные по­казатели оказались ниже условной средней границы. При проведении анализа данной ситуации нами установлено, что основная причина была связана с отсутствием вну­тренней мотивации студентов на система­тическую и добросовестную деятельность. В подавляющем большинстве случаев у студентов отсутствовало понимание не­обходимости ежедневной подготовки к за­нятиям, постоянной готовности к общению с пациентом и оказанию ему медицинской помощи, необходимости своевременного заполнения медицинской документации. При этом отметим, что дисциплинирован­ность выпускника является залогом форми­рования профессиональных компетенций врача участкового терапевта, а рейтинговая система обучения максимально эффектив­на именно при регулярных занятиях [11]. Данная ситуация была абсолютно ожи­даемой, учитывая ранее существовавшую модель обучения с оценкой, полученной по результатам лишь итогового экзамена, но неожиданной, принимая во внимание то, что студенты предыдущие четыре курса обучались с использованием БРС.

С целью преодоления указанных про­блем решением кафедрального методиче­ского совещания было ранее предусмотре­но, что все виды контролей, сданные позже установленного срока без уважительной причины или пересдающиеся вследствие неудовлетворительной оценки, не могут быть оценены выше минимального балла [10]. Это, вероятно, и повлияло на доста­точно низкий итоговый результат.

Второй причиной недостаточно вы­соких текущих оценок явилось ожидание студентов того, что итоговая оценка по дисциплине "Поликлиническая терапия" будет зависеть исключительно от результатов экзамена. Данная ситуация объяснима тем, что в условиях переходного на БРС периода не существует единого подхода к формированию БРС на разных кафедрах, и, действительно, нередко экзаменацион­ная оценка играет решающую роль. Более того, ранее существовавшая модель обуче­ния предполагала выставление итоговой оценки исключительно по результатам эк­замена.

С учетом того, что оценка навыков и умений проводилась регулярно в ходе обучения, а также в силу того, что итого­вая аттестация ограничена жесткими вре­менными рамками, было принято решение о проведении экзамена в виде собеседова­ния. Подчеркнем, что экзамен в формате "автомат" не был предусмотрен, что связа­но с попыткой максимальной объективи­зации знаний студента. Мы полагаем, что итоговый экзамен является своеобразной "квинтэссенцией" всего периода обучения дисциплине. Кроме того, введение форма­та "автомат" в ранее опубликованных ра­ботах привело к снижению успеваемости, что может быть связано с нежеланием сту­дентов сдавать экзамен и соглашающихся на более низкую оценку (например, "хоро­шо" вместо возможной "отлично" по ре­зультатам экзамена) [4, 12].

Студентам в ходе экзамена предлага­лось ответить на 3 вопроса, касающихся преимущественно профессиональной дея­тельности врача участкового терапевта. Ниже приведены основные направления и количество баллов, которые мог полу­чить студент за каждый вопрос.

1. Классификация и клиническая кар­тина заболевания (от 2 до 10 баллов).

2. Лечение той или иной нозологиче­ской формы на амбулаторном этапе. Цели терапии, целевые показатели (от 4 до 15 баллов).

3. Экспертиза нетрудоспособности. Динамическое наблюдение, его цели. Дис­пансеризация (от 4 до 15 баллов).

Так же как и для текущих контролей, при оценке экзаменационных вопросов преподаватели заносят в электронный журнал оценки от "3" до "5", соответству­ющие традиционным критериям, с после­дующим автоматическим переводом их в рейтинговые баллы в программе Excel.

Следует отметить, что одним из недо­статков традиционной системы оценки всегда указывался субъективизм преподава­теля. БРС, безусловно, не гарантирует пол­ной независимости студента, однако сво­дит к минимуму данную возможность [11]. Кроме того, длительность изучения дисци­плины (8 нед в 3 семестрах) позволила нам осуществить определенную "ротацию" сту­дентов между преподавателями кафедры, что позволило поставить всех студентов в равные условия.

Из допущенных к экзамену студентов 18,1% не смогли сдать экзамен с первого раза. С каждым неаттестованным студен­том проводился опрос о причинах неудачи. Подавляющее большинство опрошенных отметили собственный неудовлетвори­тельный уровень подготовки к экзамену, а зачастую - полное отсутствие предэкзаме­национной подготовки с ожиданием поло­жительной оценки в связи с наличием, по мнению самих обучающихся, некоторых базовых знаний. "Камнем преткновения" для большинства неаттестованных яви­лись специальные знания, необходимые для врача участкового терапевта, а имен­но: целевые показатели, необходимые для достижения результата в ходе лечебного процесса на амбулаторном этапе, динами­ческое наблюдение за пациентом, вклю­чающее ожидаемые сроки и индикаторы улучшения состояния, а также побочные эффекты терапии и вопросы диспансери­зации. Данные вопросы расценивались студентами как второстепенные и мало­значимые по сравнению с клинической картиной заболевания и необходимостью поставить правильный диагноз. Соответ­ственно, предэкзаменационная подготов­ка по соответствующим вопросам велась по остаточному принципу.

Среди студентов, успешно сдавших эк­замен с первого раза, экзаменационные и конечные рейтинговые баллы составили 24,67±9,14 и 73,96±11,3 соответственно (табл. 2).

С учетом требований вуза, студенту на­ряду с рейтинговыми баллами в зачетной книжке указывается традиционная оценка. Распределение итоговых оценок у студен­тов, сдавших экзамен с первого раза, пред­ставлено в табл. 3.

На наш взгляд, данные результаты до­статочно точно характеризуют сложив­шуюся ситуацию и вполне соответствуют результатам ранее опубликованных работ [12, 13]. Недостаточно высокий уровень итоговых оценок связан с несколькими факторами:

- наличием существенного влияния теку­щих контролей в учебных семестрах на формирование конечных результатов;

- ленью и отсутствием мотивации сту­дентов к дополнительной предэкзаме­национной подготовке;

- снижением влияния "человеческого фак­тора", а именно преподаватели оценива­ли каждый вопрос собеседования отдель­но и дифференцированно, а не выводили единую экзаменационную оценку.

К сожалению, мы не можем провести динамический анализ результатов студен­тов ввиду отсутствия ранее экзамена по дисциплине "Поликлиническая терапия", однако проведенные исследования сви­детельствуют о снижении успеваемости после введения как БРС, так и итогового собеседования по результатам текущей ат­тестации. При этом сами авторы отмечают, что снижение успеваемости в большей сте­пени отражает реальный уровень знаний студентов [12-14].

Вполне предсказуемыми оказались ре­зультаты сопоставления текущих оценок у студентов, успешно сдавших экзамен, и неаттестованных с первого раза (табл. 4). Сре­ди последних текущие оценки оказались очень низкими, что позволяет преподава­телям уже в течение цикла сформировать "группу риска" по неудовлетворительной итоговой аттестации.

В целом отношение шансов (ОШ) меж­ду общим баллом за текущую успеваемость и неуспешной сдачей экзамена составило для 45 и менее баллов: ОШ=15,836 (6,79-36,95), p<0,001. В то же время, при наборе 50 и более баллов, напротив, вероятность успешной сдачи экзамена существенно возрастала и составила: ОШ=7,45 (2,78­19,9), p<0,001.

Еще одной интересной стороной ис­следования явилось выявление тех видов текущего контроля, которые имеют наи­более тесную связь с итоговой успеваемо­стью (табл. 5). Оказалось, что рубежные тестовые контроли являются самым сла­бым звеном при формировании текуще­го и итогового рейтинга. Действительно, с точки зрения преподавателей, тесто­вая система контролей является крайне неудачным "подарком" западной системы образования, в ходе которой формируются не знания студентов, а навык правильного выбора верного ответа.

В этой связи мы бы подчеркнули тес­ную взаимосвязь между другими видами контролей, которые действительно отра­жают формирование профессиональных компетенций, а именно работа с амбула­торным пациентом, написание тактик и заполнение медицинской документации (коэффициенты взаимной корреляции со­ставили от 0,66 до 0,83).

Другой интересной особенностью, вы­явленной в ходе проведенного корреляци­онного анализа, явилась высокая степень зависимости итоговой оценки от экзаме­национного балла. Это объясняется тем, что в ходе экзамена студенты могут полу­чить от 10 до 40 баллов, что является суще­ственной долей в формировании итогового рейтинга.

Крайне важной для нас оказалась оцен­ка студентов как потребителей образо­вательных услуг предложенной им БРС. С этой целью на заключительном этапе нами проведен опрос студентов выпускно­го курса. В целом большинство студентов положительно оценили введение БРС: 56% отметили, что система является объективной и отражает реальный уровень знаний. Доля отрицательных оценок составила 27% и, как и ожидалось, это были неаттестованные с первого раза студенты. Остав­шиеся 17% отметили, что в целом предло­женная БРС имеет больше "плюсов", чем "минусов".

Заключение

Таким образом, предложенная нами до­статочно простая для понимания и внедре­ния компетентностно-ориентированная система оценочных средств по дисциплине "Поликлиническая терапия" апробирова­на нами как в ходе текущего обучения, так и в ходе итоговой аттестации. БРС проде­монстрировала определенные преимуще­ства в виде направленности на формиро­вание профессиональных компетенций, требований систематической подготовки студентов, удобства использования, про­зрачности и объективности. Система доказала свою несостоятельность при ори­ентировке только на результаты тестового контроля и одновременно показала необ­ходимость уделять дополнительное вни­мание проблемам, возникающим сугубо в амбулаторно-поликлинических условиях: определению целевых показателей лечеб­ного процесса в амбулаторных условиях, необходимости и целям динамического наблюдения за пациентом, вопросам дис­пансеризации.

Мы полагаем, что нам удалось макси­мально объективно оценить имеющиеся у студентов теоретические знания и практи­ческие навыки, необходимые для работы врача участкового терапевта, сведя к ми­нимуму влияние "человеческого фактора" и случайности. Дальнейшие направления нашей работы будут связаны как с более внимательным изучением вопросов именно поликлинической терапии, указанными ранее, так и с совершенствованием мето­дов оценки деятельности студентов и соз­данием у обучающихся понимания того, что только регулярная и систематическая работа может сформировать действитель­но грамотного специалиста. А это, в свою очередь, повышает шансы студента быть более востребованным на рынке труда в будущем.

Литература

1. Маслоу А. Мотивация и личность. 3-е изд. СПб. : Питер, 2006. 256 с.

2. Ким Н.Ф. Рейтинговая система оценки успеваемости студентов вуза как фактор повышения качества образования // Молодой ученый. 2015. № 17. С. 535-537.

3. Осин А.Я., Крукович Е.В., Лучанинова В.Н и др. Балльно-рейтинговая оценка учебных достижений сту­дентов при модульно-блочном обучении в медицинском вузе // Тихоокеан. мед. журн. 2011. № 2. С. 88-92.

4. Сазонов Б.А. Балльно-рейтинговые системы оценивания знаний и обеспечение качества учебного про­цесса // Высшее образование в России. 2012. № 6. С. 28-40.

5. Зенкина В.Г., Агибалова А.А. Балльно-рейтинговая система оценки знаний как эффективная мотивация студентов к успешному обучению // Международ. журн. прикладных и фундаментальных исследований. 2016. № 4. С. 818-821.

6. Будаев В.Д. О трудностях перехода на балльно-рейтинговую системы оценки знаний студентов // UNIVERSUM: Вестн. Герценовского ун-та. 2010. № 10. С. 51-54.

7. Пермяков О.Е., Жадан В.А., Менькова С.В. Влияние организации балльно-рейтинговой системы на мотивацию учебно-познавательной деятельности студентов и профессиональной деятельности препо­давателей // Изв. Томского политехнического ун-та. 2006. Т. 309, № 6. С. 216-222.

8. Новикова Е.Ю. Балльно-рейтинговая система: мнение студентов // Высшее образование в России. 2013. № 7. С. 132-136.

9. Белова С.Н. Балльно-рейтинговая система оценки качества подготовки студентов как элемент системы ме­неджмента качества образовательного процесса в вузе // Сибир. педагогический журн. 2008. № 2. С. 70-82.

10. Теплякова О.В, Сарапулова А.В, Гришина И.Ф. Опыт создания системы оценочных средств в ходе пре­подавания поликлинической терапии в соответствии с Федеральным государственным образовательным стандартом и профессиональным стандартом специалиста по терапии (сообщение 1. Текущая оценка) // Мед. образование и проф. развитие. 2017. № 1. С. 66-74.

11. Куценко Е.И. Преимущества и недостатки использования балльно-рейтинговой системы в оценке учебных достижений студентов // Сборник трудов конференции "Актуальные научно-методические и нормативно-правовые аспекты внедрения ФГОС ВПО". Оренбург, 2013. С. 54-58.

12. Жданова Е.И., Решетник ЛА., Птичкина О.И. Итоги перевода учебного процесса на балльно-рейтинговую системы по результатам работы кафедры детских болезней Иркутского государственного медицинского университета // Сибир. мед. журн. 2011. Т. 107, № 8. С. 124-126.

13. Андриевская Т.Г., Алексеева Н.Ю. Балльно-рейтинговая оценка учебной деятельности студентов на ка­федре факультетской терапии Иркутского государственного медицинского университета // Сибир. мед. журн. 2010. Т. 94, № 3. С. 134-136.

14. Андриевская Т.Г., Алексеева Н.Ю. Результаты учебной деятельности студентов лечебного факультета с использованием балльно-рейтинговой системы на кафедре факультетской терапии Иркутского госу­дарственного медицинского университета // Сибир. мед. журн. 2010. Т. 94, № 3. С. 109-111.

Peer-review