ANALYSIS OF VARIOUS METHODOLOGICAL APPROACHES TO ORGANIZATION OF SUMMATIVE ASSESSMENT IN CHEMISTRY FOR MEDICAL STUDENTS DURING IMPLEMENTATION OF FSES 3

• Elena Yu. Ermischina
• Natalia N. Kataeva
• Olga M. Medvedeva
• Kristina O. Golitsina
• Nadezhda A. Belokonova

Abstract

Introduction. Applying the Federal State Educational Standards of the third generation has made it necessary to modernize the approach to teaching the discipline «Chemistry» at Medical University. First of all, modifications affected the final control at the end of the course (with reducing the discipline’s hours, it acquired the form of a test with an assessment instead of an exam).

The aim of the study was to analyze features of methods for organizing various forms of credit with an assessment in the discipline «Chemistry» as a summative assessment and to evaluate relationship between the form of assessment, rating results and quality of mastering the material to improve the level of training of medical students.

Material and methods. An analysis of various forms of final control in the discipline «Chemistry» for 10 years of the Federal State Educational Standard‑3 operation from 2011 to 2021 was carried out at the Department of General Chemistry of the Ural State Medical University using the example of the Faculty of Treatment and Prevention. The department used such forms of credit as computer testing, written ticket control and written testing, including open-ended questions. The results of specified forms of credit and the percentage of «survival» of residual knowledge after two semesters were analyzed. Statistical processing of data on the results of the exam was carried out in the Microsoft Excel program and on the MedSpace distance education platform (Moodle version adapted for Ural State Medical University). The application package Statistica 6.0, MS Excel, Vortex 5.0 and 7.0 was used. Data are presented as arithmetic means and standard error of mean (M±m).

Results and discussion. The computer test form of the final test does not reveal the depth of knowledge of students, but allows you quickly process received answers. The result is a high passing rate and a low level of residual knowledge of students. The ticket form of control is the most difficult for first-year students to perform and for faculty members to check, but the level of residual knowledge among those who passed such an examination is the highest.

Conclusion. The best form of final control in the discipline «Chemistry» is written testing, since it includes questions on all topics of the course and open-ended tasks that require detailed answers. This form of credit with assessment encourages students to prepare systematically and thoroughly, facilitates work of faculty members when checking a huge number of papers.

Keywords:faculty of medicine and prevention; discipline «Chemistry»; examination with grade; ticket control; computer and written testing

References

1.Litvinova M.G., Litvinova T.N. Modern course of chemistry in a medical university: goals, content, structure. Sovremennye problemy nauki i obrazovaniya [Modern Problems of Science and Education]. 2018; (4): 59–67. (in Russian)

2.Ayvazova E.A., Varakina Zh.L., Zhuravleva E.A. Experience in teaching the discipline «Chemistry» at the Northern State Medical University. Elektronniy nauchno-obrazovatel’niy vestnik «Zdorov’e i obrazovanie v XXI veke» [Electronic Scientific and Educational «Bulletin Health and Education in the XXI Century»]. 2018; 20 (12): 10–4. (in Russian)

3.Privalov N.I., Polyanina A.S. Test control of students’ knowledge. Mezhdunarodniy zhurnal prikladnykh i fundamental’nykh issledovaniy [International Journal of Applied and Fundamental Research]. 2018; (4): 140–4. (in Russian)

4.Talaspekova Yu.P., Abdikadirova Kh.R., Chergizova B.T. Distance learning for medical students using the MSTEAMS and CISCO WEBEX platforms. Archivarius [Archivist]. 2020; (8): 14–6. (in Russian)

5.Aleksandrov D.N., Stepkina E.K. The experience of distance learning in a medical university. Innovatsionnaya nauka [Innovative Science]. 2020; (7): 57–9. (in Russian)

6.Moiseeva L.V., Belokonova N.A., Ermishina E.Yu., Badina T.A., Dauletova S. Efficiency of distance learning technology for studying the discipline «Environmental Chemistry» by students of a medical university. Pedagogicheskoe obrazovanie v Rossii [Pedagogic Education in Russia]. 2020; (4): 121–8. (in Russian)

7. Medvedeva O.M., Kataeva N.N., Belokonova N.A. From the experience of distance learning of chemistry for USMU students in conditions of self-isolation. Vektor nauki TGU. Seriya: Pedagogika. Psikhologiya [Vector of Science TSU. Series: Pedagogy, Psychology]. 2020; 3 (42): 7–12. (in Russian)

Тестовый компьютерный контроль позволяет оперативно оценить уровень знаний, но имеет ряд преимуществ и недостатков, в том числе отмеченных преподавателями других вузов [3]. Одно из преимуществ использования тестов - отсутствие со стороны преподавателя предвзятого отношения к оценке знаний экзаменующегося. С другой стороны, компьютерные тесты не выявляют глубину познаний, наличие логического мышления у обучающихся [3]. Тестовый компьютерный контроль на зачете с оценкой на кафедре общей химии был подкреплен системой репетиционного тестирования в программе "Тандем".

Зачет с оценкой, проводимый по билетам в письменной форме, - форма контроля, способствующая развитию памяти, внимания, логического мышления, стал практиковаться на кафедре общей химии с 2014/2015 учебного года. Однако сдача зачета в такой форме вызвала объективные трудности. Правильные ответы на теоретические вопросы давали не более 30±5% студентов. Структура билета видоизменялась. С 2014 по 2017 учебный год билет содержал 4 вопроса: 2 по биоорганической и 2 по общей химии. С 2018 по 2020 учебный год билеты содержали 3 вопроса: 2 по общей химии, 1 по биоорганической химии. Задания по общей химии включали теорию и задачу по этой же теме. Задачи были разнообразные, не предполагающие единого алгоритма решения.

Письменная форма проведения зачета с оценкой способствовала лучшей сдаче зачета: количество студентов, не сдавших зачет, уменьшилось до 17% в 2014/2015 учебном году. Однако данный показатель постепенно увеличивался и достиг 47% в 2018/2019 учебном году. Это обусловлено тем, что требования по организации контроля [2] не всегда соблюдались при письменной форме зачета с оценкой. Зачастую контролю подвергалось то, что усвоено на первом уровне, т.е. на уровне ознакомления, первичного представления в процессе очной лекции или консультации, но не отработано на практике. Сложную термодинамическую задачу на расчет по уравнению изотермы химической реакции удалось решить единицам, несмотря на то что перед зачетом проводилась очная консультация, хотя посещаемость студентами была низкая. Обучающиеся практически не смогли изложить теорию по общей химии к данной задаче, не справились с математическими расчетами, поэтому 47% студентов не смогли сдать зачет.

С 2019/2020 учебного года обязательным стало включение в билет типовой задачи по термодинамике, включающей расчет изменения энтальпии, энтропии и энергии Гиббса на примере биоорганической реакции. Формирование такого вопроса позволило связать воедино курс общей и биоорганической химии в рамках дисциплины "Химия". Анализ ответов по билетам указанного года, показывает, что с этой задачей справляется большинство студентов, так как ее решение осуществляется по определенному алгоритму, который закрепляется на практических занятиях.

Задание по биоорганической химии также представляет собой один из наиболее полно раскрываемых на экзамене вопросов. Это обусловлено тем, что цикл по биоорганической химии изучается после блока общей химии и завершает изучение дисциплины "Химия". Кроме того, в течение семестра предусмотрены письменные промежуточные контроли по всем темам биоорганической химии, что обеспечивает систематическую подготовку к итоговому зачету. До 2018 г. лекции и консультации к зачету с оценкой проводились очно в аудитории с применением презентации. С 2019/2020 учебного года лекции и консультации проводятся онлайн на платформе MS Teams. С 2019/2020 учебного года были созданы видеолекции и видеоконсультации к практическим занятиям, размещенные на различных интернет-платформах, доступных студентам. Это способствовало росту понимания и успеваемости по предмету. Количество студентов, сдавших зачет с оценкой в 2019/2020 учебном году, составило 67%.

Труднее всего студенты решают задания по общей химии, включающие теоретический вопрос и задачу по этой теме. Вопрос по теории общей химии студенты излагают частично, дают неполные и неточные ответы. Решение задачи по общей химии также вызывает значительные затруднения. Проблема заключается в том, что на каждую тему в блоке "Общая химия" существует свой набор формул для решения задач. Студенты путают термины и формулировки, используют свои "симбиотические формулы", не соответствующие реальным. На этот вопрос удавалось ответить только отличникам. Частично эту ситуацию удалось исправить с использованием видеозаписи консультации для подготовки к экзамену.

Пандемия 2020 г. [4, 5] заставила вернуться к проведению экзамена в тестовой форме. В 2020/2021 учебном году зачет с оценкой по дисциплине "Химия" проводился дистанционно в режиме онлайн, форма экзамена - тестирование на платформе для дистанционного обучения УГМУ MedSpace. Тест состоял из 14 вопросов практически по всем темам курса, время тестирования было ограничено до 60 мин. Процедура наблюдения и дистанционного контроля в ходе зачета (прокторинг) осуществлялась преподавателями кафедры с помощью видеокамер через сервис MS Teams. Результаты экзамена приведены в табл. 3. Зачет с оценкой проводился в течение нескольких дней, при этом вопросы повторялись. В связи с этим обозначилась четкая тенденция по улучшению качества ответов и увеличению рейтинговых баллов студентов на каждом последующем потоке. Современные технические возможности позволяют быстро копировать вопросы во время теста (например, с помощью кнопки на клавиатуре PrintScreen) и распространять через социальные сети. Как следствие, баллы студентов III, IV, V потоков завышены, не являются объективными и не соответствуют уровню знаний, который эти обучающиеся демонстрировали в течение семестра. Количество студентов, не сдавших зачет, было незначительным - 10%.

У тестирования как метода контроля есть свои ограничения. Легче всего с помощью теста проверить степень усвоения студентами учебного материала [2]. Проверка глубинного понимания предмета, овладения стилем мышления, свойственным дисциплине "Химия", затруднительна. Таким образом, в 2021 г. был проведен анализ использованных форм контроля на протяжении 9 лет и сложившейся ситуации: пандемия, удаленная форма занятий в школе и в вузе [6, 7] на протяжении 1,5 года. В рамках исследования форм проведения зачета с оценкой, осуществляемого на кафедре общей химии УГМУ, к 2021/2022 учебному году - году окончания действия ФГОС‑3, был сделан вывод о необходимости объединения тестовой и письменной формы контроля при проведении итогового зачета с оценкой. Наилучший результат дает очная форма проведения зачета с использованием печатных бланков, сочетающих как тестовые вопросы, оценивающие теорию, так и практические задания по общей и биоорганической химии.

В сессию 2021/2022 учебного года была осуществлена наиболее приемлемая форма зачета с оценкой за все 10 лет действия ФГОС‑3. Она имеет много преимуществ: протекает письменно, достаточно быстро проверяется преподавателями; студентам нет необходимости излагать большие фрагменты теоретического материала; разно­образные тестовые вопросы проверяют все без исключения темы курса. Развернутые ответы на задачи по термодинамике, общей и биоорганической химии, вписываемые в экзаменационный бланк, позволяют проверять качество усвоения материала на практических занятиях. Была учтена возможность утечки информации, и на каждую смену, когда параллельно сдавали 6 академических групп, были представлены только 4 варианта печатных бланков, которые менялись к следующей смене. Такая форма проведения зачета с оценкой дала следующие результаты: лечебно-профилактический факультет - 69% сдавших (см. табл. 1), у других факультетов, не вошедших в данное исследование, доля сдавших еще больше: педиатрический - 76%, стоматологический - 84%.

Дополнительно был проанализирован процент остаточных знаний по блоку "Общая химия" (см. табл. 2). Как видно из данных, процент остаточных знаний был выше в том случае, когда зачет с оценкой проходил в письменной форме (генеральная средняя формы 3 самая высокая - μ=51,4). Отдельно стоит обсудить низкую "выживаемость" знаний, обнаруженную в 2021/2022 учебном году. До этого учебного года студенты готовились к входному контролю заранее, так как контроль проводился на 2-й учебной неделе и студентов заранее предупреждали о его проведении. В 2021/2022 учебном году в связи с переходом на ФГОС 3++ студенты I курса пришли на кафедру общей химии не в 4-м семестре, а во 2-м. Было высказано предположение: так как с момента проведения экзамена прошло около 1 мес, нет необходимости предупреждать студентов о проведении контроля заранее, можно провести этот контроль без подготовки на 1-й учебной неделе. При этом процент остаточных знаний оказался значительно ниже. Это может быть объяснено только тем, что современные студенты, находясь в перегруженном информационном пространстве, не в состоянии удержать в памяти знания после экзамена даже в течение 1 мес.

Заключение

Исследования кафедры по изменению формы проведения зачета с оценкой по дисциплине "Химия" показали, что билетная форма сложна для студентов, охватывает не все темы курса, а только 3-4 вопроса. Преодоление высокого уровня сложности позволяет студентам лучше усвоить и закрепить в памяти материал, поэтому выявляется самый высокий процент остаточных знаний в те годы, когда проводился письменный зачет по билетам. Остаточные знания оценивались спустя 2 семестра по темам общей химии как процент студентов, успешно выполнивших компьютерное тестирование. Наряду с этим проверка билетов - субъективный и очень затратный по времени процесс с учетом все возрастающего числа студентов.

Компьютерная тестовая форма итогового зачета имеет элемент угадывания, заучивания ответов и не предполагает глубокого изучения дисциплины, но позволяет наиболее быстро осуществить проверку. Уровень остаточных знаний после тестирования ниже, чем после письменной формы зачета с оценкой по билетам.

Оптимальной формой итогового кон­троля является письменное, а не компьютерное тестирование, включающее вопросы на соответствие, множественный выбор, а также задания открытого типа. Такой тест сочетает в себе два преимущества: во‑первых, в бланк включены вопросы по всем темам курса "Химия"; во‑вторых, есть задания, предполагающие развернутый письменный ответ. Открытые вопросы необходимы для проверки знаний химического строения и свойств биоорганических соединений, умения решать усложненные задачи по общей химии. Такая форма зачета с оценкой удовлетворяет всем требованиям итогового контроля: стимулирует студентов готовиться систематично, облегчает труд преподавателей по проверке огромного количества работ, минимизирует утечку информации о содержании билетов и является наиболее объективной формой при оценивании.

Литература

1. Литвинова М.Г., Литвинова Т.Н. Современный курс химии в медицинском ВУЗе: цели, содержание, структура // Современные проблемы науки и образования. 2018. № 4. С. 59-67.

2. Айвазова Е.А., Варакина Ж.Л., Журавлева Е.А. Опыт преподавания дисциплины "Химия" в Северном государственном медицинском университете // Электронный научно-образовательный вестник "Здоровье и образование в XXI веке". 2018. Т. 20, № 12. С. 10-14.

3. Привалов Н.И., Полянина А.С. Тестовый контроль знаний студентов // Международный журнал прикладных и фундаментальных исследований. 2018. № 4. С. 140-144.

4. Таласпекова Ю.П., Абдикадирова Х.Р., Чергизова Б.Т. Дистанционное обучение студентов медицинского вуза с использованием платформ MСTEAMS И CISCO WEBEX // Архивариус. 2020. № 8. С. 14-16.

5. Александров Д.Н., Степкина Е.К. Опыт дистанционного обучения в медицинском вузе // Инновационная наука. 2020. № 7. С. 57-59.

6. Моисеева Л.В., Белоконова Н.А., Ермишина Е.Ю., Бадьина Т.А., Даулетова С. Эффективность дистанционной образовательной технологии изучения дисциплины "Экологическая химия" студентами медицинского вуза // Педагогическое образование в России. 2020. № 4. С. 121-128.

7. Медведева О.М., Катаева Н.Н., Белоконова Н.А. Из опыта дистанционного обучения химии студентов УГМУ в условиях самоизоляции // Вектор науки ТГУ. Серия: Педагогика, психология. 2020. № 3 (42). С. 7-12.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)