ПРОВЕДЕНИЕ ВСТУПИТЕЛЬНОГО ЭКЗАМЕНА ПО ХИМИИ СРЕДСТВАМИ MOODLE

• Игнатьева Виктория Валентиновна
• Одарюк Виктория Валентиновна
• Романова Людмила Алексеевна
• Лаврова Анна Игоревна

Резюме

В работе представлен опыт подготовки заданий для проведения внутреннего вступительного экзамена по химии в ФГБОУ ВО ДонГМУ Минздрава России в тестовом формате с использованием дистанционных образовательных технологий на базе среды Moodle. Проведенный анализ качества тестового материала средствами встроенного модуля статистического анализа показал надежность разработанного сценария вступительного испытания. С помощью параметров индекса легкости, эффективности дискриминации были выявлены слабые вопросы и выработаны рекомендации по улучшению качества составляемых заданий.

Ключевые слова: дистанционные образовательные технологии; вступительный экзамен; качество тестов; расширенная статистическая теория

В новых субъектах Российской Федерации до 2027 г. Федеральным законом от 17.02.2023 № 19-ФЗ [1] устанавливается возможность поступления в учреждения высшего образования либо по результатам вступительных испытаний, проводимых образовательной организацией, либо по результатам единого государственного экзамена (ЕГЭ). Поскольку на территории Донецкой Народной Республики практика сдачи ЕГЭ еще не приобрела массовый характер, подавляющее большинство абитуриентов выбирает поступление по внутренним экзаменам. Вступительные испытания при поступлении в образовательную организацию являются формой проверки готовности абитуриента к овла­дению выбранной специальностью и инструментом для распределения поступающих по уровню знаний. В ФГБОУ ВО ДонГМУ Минздрава России вступительные испытания проводятся по трем предметам - химии, биологии и русскому языку [2]. Для обеспечения безопасности всех участников вступительной кампании, и прежде всего абитуриентов, в 2023 г. вступительные испытания проводили с использованием дистанционных образовательных технологий. Платформой для проведения вступительных испытаний была информационно-образовательная среда университета на базе электронной системы управления обучением Moodle. Контроль выполнения заданий осуществлялся путем видеоидентификации абитуриентов в начале экзамена и последующего видеонаблюдения за ходом его прохождения. Задания экзамена по химии были подготовлены в формате тестов для обеспечения максимальной объективности при оценивании. Поскольку проведение внутреннего вступительного экзамена планируется в течение еще нескольких лет, представлялось полезным провести критический анализ подготовленных заданий. Таким образом, цель данной работы заключалась в обобщении опыта подготовки заданий для вступительного испытания по химии и статистическом анализе качества заданий для дальнейшей оптимизации.

Материал и методы

В исследование включено 737 ответов абитуриентов на вступительном испытании по химии, число попыток в каждом вари­анте - от 72 до 174 (количество тестируемых в каждый экзаменационный день). Каждый вариант содержал 34 вопроса. Качество тес­товых заданий анализировали с помощью встроенного в среду Moodle автоматизированного модуля статистического анализа. В Moodle для вычисления показателей качества тестовых материалов используется статистическая модель расширенной статистической теории (Generalizability Theory - GT), рекомендуемая для оценки качества тестов с числом испытуемых более 40 и числом вопросов в тесте более 20 [3]. Имеющееся количество попыток и длина теста обеспечивают достаточную точность статистической оценки.

Результаты и обсуждение

Разработка заданий вступительного испытания

На первичном этапе разработки заданий для вступительного испытания было решено взять за основу структуру ЕГЭ по химии. В каждый экзаменационный вариант были включены задания по общей и неорганической химии (23 вопроса) и органической химии (11 вопросов) разного уровня сложности, на решение отводилось 120 мин. Содержание вопросов соответствовало Примерным рабочим программам (ПРП) по химии (базовой и углубленной) [4, 5]. Максимальный балл за выполнение всех заданий - 100, при этом для участия в конкурсном отборе необходимо было набрать не менее 40 баллов. Общая структура теста приведена в табл. 1.

Для составления заданий были привлечены преподаватели кафедры медицинской и фармацевтической химии, а в качестве экспертов - учителя химии медицинского общеобразовательного лицея-предуниверсария ФГБОУ ВО ДонГМУ Минздрава России. Этапы подготовки экзаменационных заданий представлены на рисунке.

Представленный алгоритм подготовки заданий согласуется с рекомендациями для обеспечения содержательной валидности тестов [6]. Подготовлено 6 уникальных вариантов. Дополнительно был составлен демонстрационный вариант теста для того, чтобы абитуриенты смогли заранее ознакомиться с форматом вопросов испытания.

Определенная сложность состояла в адаптации тестовых заданий к техническим возможностям Moodle. Из возможных типов тестов использовались три: множественный выбор (15 вопросов), на соответствие (12 вопросов), ввод числового ответа (7 вопросов). Формат "Эссе", требующий ручной проверки, для обеспечения полной объективности проверки было решено не применять. Задания, предполагающие развернутый ответ, сформулированы таким образом, чтобы правильность решения можно было оценить по выбору краткого ответа или введения числового значения. Например, в задании на реакции ионного обмена нужно правильно выбрать реагенты из предложенных и составить уравнение реакции, но в форму краткого ответа вписать только полученную сумму коэффициентов в уравнении реакции в сокращенном ионном виде (пример 1).

Задания, решение которых подразумевает выполнение нескольких последовательных шагов, были разбиты на подвопросы, выполнение каждого элемента оценивалось отдельно (пример 2).

Статистический анализ результатов экзаменационного тестирования

В теории педагогических измерений для оценки качества тестовых заданий широко используется анализ статистических показателей [6, 7]. Применяются в основном три подхода - классическая теория, расширенная статистическая теория (GT) и параметрическая модель (Item Response Theory - IRT). Специалисты теории педагогических измерений отдают предпочтение расширенной теории и параметрической модели [3, 6-8]. Статистический анализ средствами IRT, помимо большого количества наблюдений (˃200 [3]), требует дополнительных математических вычислений. Это ограничивает широкое применение данной модели в среде неспециалистов по математической статистике. При этом установлено хорошее соответствие результатов оценки качества тестов с использованием GT- и IRT-подходов [3, 8]. Поэтому представляется достаточным провести первичную оценку качества материалов экзамена с помощью встроенного в среду Moodle автоматизированного модуля статистического анализа. При проведении анализа каждый вариант рассматривался отдельно.

Результаты статистического анализа теста в Moodle представлены в двух блоках - "Информация о тесте" и "Анализ структуры теста". Первый блок, кроме названия теста, курса, времени тестирования и количества попыток, содержит параметры для оценки качества тестов в целом. Здесь мы приводим только краткие характеристики этих параметров без расчетных формул, за которыми можно обратиться к документации Moodle [9].

Средняя оценка по всем попыткам - среднее арифметическое оценок всех испытуемых.

Медиана - срединное значение оценок испытуемых.

Стандартное отклонение - разброс результатов относительно средней оценки, характеризует дифференцирующую способность теста. Нормальными считаются значения стандартного отклонения 12-18% [10], более низкие значения указывают на очень близкие оценки участников тестирования.

Оценка асимметрии и эксцесса распределения - величины, характеризующие отличие формы распределения всех полученных тестовых баллов от нормального распределения.

Коэффициент внутренней согласованности (коэффициент или альфа Кронбаха) отражает надежность теста. Чем меньше разброс результатов отдельной попытки при ответе на вопросы теста по отношению к разбросу суммарных оценок за тест в целом, тем вопросы более согласованные. Надежным считается тест с коэффициентом внутренней согласованности не менее 70% [11]. При этом отмечается, что невозможно составить тест с коэффициентом внутренней согласованности более 90%, величина менее 64% указывает на неудовлетворительную надежность [10].

Соотношение ошибок - процент стандартного отклонения, обусловленного случайными причинами. Величина соотношения ошибок более 50% является неудовлетворительной. Так, в этом случае стандартное отклонение баллов за тест в большей мере обусловлено случайными факторами, а не реальными различиями между сильными и слабыми испытуемыми [10].

Стандартная ошибка - это стандартное отклонение оценок, полученных за тест. Чем меньше стандартная ошибка, тем точнее будет оценка теста. Если этот параметр значительно больше 8%, то вполне вероятно, что большое количество участников тестирования оцениваются неправильно [10].

Статистика блока "Общая информация о тесте" по всем вариантам представлена в табл. 2.

Приведенные в табл. 2 значения можно интерпретировать следующим образом. Надежность структуры теста оценивается по коэффициенту внутренней согласованности. Он высокий (˃80%), то есть тест хорошо оценивает всех абитуриентов. Стандартное отклонение на уровне 16-23% свидетельствует о достаточной дифференциации результатов тестирования, а величина соотношения ошибок - на допустимое влияние случайных причин на конечный результат. Стандартная ошибка не превышает 8%, то есть оценка обладает высокой достоверностью.

Обращает на себя внимание более низкое значение средней оценки для 5-го и 6-го варианта. Эти варианты предлагались абитуриентам в дни дополнительного набора. По нашим наблюдениям, наиболее мотивированные и подготовленные студенты принимают участие в основном отборе, участвующие в дополнительном наборе зачастую обладают более слабой подготовкой. Очевидно, это и отразилось на средних результатах вступительного тестирования.

В блоке "Анализ структуры тестов" находятся статистические характеристики отдельных вопросов теста. Анализ этих параметров позволяет выявить отдельные неудачные вопросы.

Индекс легкости (ИЛ) - процент испытуемых, верно ответивших на данное задание. Интерпретировать показатель можно следующим образом: крайне сложные или некорректно сформулированные вопросы (0-5); очень сложные вопросы (6-10); сложные вопросы (11-20); относительно сложные (20-34); средней сложности (35-64); относительно простые вопросы (66-80); простые вопросы (81-89); очень простые вопросы (90-94); крайне простые вопросы (95-100) [9]. Очевидно, что хорошо составленный тест должен содержать как простые, так и сложные вопросы, но крайне простых и крайне сложных вопросов лучше избегать. ИЛ будет равен 0 в случае ошибки в вопросе, таким образом ИЛ позволяет проводить выбраковку таких заданий.

Стандартное отклонение указывает на дифференцирующую способность задания. Нулевое значение будет в том случае, если все тестируемые дали одинаковый ответ [12]. В соответствии с требованиями теории педагогических измерений для хорошей дифференцирующей способности задания стандартное отклонение должно быть не менее 30% [3].

Намеченный вес указывает назначенный вопросу вес в общей оценке за тест. Эффективный вес указывает на эмпирический вклад вопроса в общую оценку за тест. В идеале намеченный и эффективный вес должны совпадать, но, по нашему мнению, удовлетворительным будет наличие положительной корреляции между этими величинами.

Индекс дискриминации (ИД) и эффективность дискриминации (ЭД) указывают на способность задания дифференцировать тестируемых на сильных и слабых. Высокая дискриминативность - важная характеристика удачного тестового задания, она определяет меру валидности задания, его адекватность целям создания теста [13]. ИД и ЭД различаются способом расчета, при этом ЭД считается более достоверным, так как учитывает результаты всех тестируемых [12], а для вычисления ИД используют результаты только части абитуриентов, отнесенных к 1/3 наиболее сильных и 1/3 наиболее слабых. В Moodle дискриминационные коэффициенты могут приобретать значение от -100 до 100%. Например, 100% означает, что на данный вопрос все сильные студенты дали правильный ответ, а все слабые - неправильный. Нулевое значение указывает на то, что сильные и слабые студенты отвечали на данный вопрос одинаково, а отрицательное - что слабые студенты справились с заданием лучше сильных, и, возможно, в таком задании есть ошибка. Приемлемое значение коэффициентов дискриминации - не менее 30% [10].

При анализе статистического отчета в блоке "Анализ структуры тестов" выявляли вопросы с высоким/низким индексом легкости (˂10 и ˃90), низким значением стандартного отклонения и эффективности дискриминации. Установлено, что для 5 вопросов ИЛ превышает 90%. При этом номера вопросов в структуре теста были разными, то есть причина состояла не в проверяемом компоненте знания, а в содержании вопроса в данном варианте. К сожалению, на стадии разработки не удается предсказать уровень сложности конкретного задания и его дистракторов для группы абитуриентов, так как на это влияет очень много факторов. Был выявлен вопрос с ИЛ 0%, в нем была обнаружена техническая ошибка. Вопросов, которые можно было бы отнести к категории "очень сложные/крайне сложные" (ИЛ ˂10), в тесте не было. Вопросы второй части теста ожидаемо обладали меньшим ИЛ. Самыми сложными оказались задания, где надо было указать сумму коэффициентов в полном и сокращенном ионном уравнении (средняя величина ИЛ - 44 и 31 соответственно), а также задание на установление формулы органического соединения (среднее значение по вариантам ИЛ - 46).

При рассмотрении параметра "Стандартное отклонение" выявлено, что более низкие значения характерны для вопросов первой части, то есть нацеленных на проверку знаний базового уровня. Наименьшей дифференцирующей способностью обладали вопросы об установлении типов связей в химических соединениях, классификации органических соединений и соотнесении класса соединения и его формулы. Для некоторых вопросов стандартное отклонение было менее 30%. Их исключение не представляется целесообразным, но следует уделить внимание выбору дистракторов, обеспечивающих лучшее дифференцирование.

Намеченный и эффективный вес вопросов чаще не совпадал. В то же время величина коэффициента корреляции между этими параметрами составляла 0,7-0,9 (в зависимости от варианта), то есть между ними существует сильная положительная связь. По нашему мнению, это свидетельствует в пользу удовлетворительного распределения баллов за каждый вопрос.

Анализ эффективности дискриминации выявил один вопрос с величиной ЭД меньше 0. Это указывает на то, что вопрос сформулирован таким образом, что слабые студенты отвечали на него лучше, чем сильные. Такой вопрос однозначно подлежит коррекции. Для шести вопросов ЭД было менее 30%. Эти задания относились к разным номерам в общей структуре теста, то есть на величину ЭД повлияли факторы, имеющие отношение к конкретной группе тестируемых.

Предполагается, что изучение химии в медицинском вузе во многом опирается на знания школьного курса. Для примерной оценки прогностической валидности вступительного экзамена усредненный результат теста был сопоставлен с результатами промежуточной аттестации (дифференциального зачета) по химии на I курсе. Средний балл промежуточной аттестации составил 3,4-3,6 (68-72 по 100-балльной шкале) в зависимости от направления подготовки. Этот результат неплохо согласуется со средними оценками за вступительный экзамен, приведенными в табл. 1, и первично свидетельствует о прогностической валидности вступительных тестов.

Заключение

Опыт проведения вступительных испытаний в форме дистанционного тестирования с применением дистанционных образовательных технологий можно охарактеризовать как удовлетворительный с точки зрения личной безопасности участников приемной кампании, объективности оценки знаний поступающих, сокращения задействованных трудовых ресурсов, обеспечения прозрачности процедуры вступительной кампании. Статистический анализ считается необходимым звеном на пути оптимизации тестов вступительного испытания, так как позволяет выявлять как наличие системных ошибок в структуре теста, так и отдельные неудачные вопросы. Использование встроенного статистического аппарата Moodle значительно упрощает процедуру оценки качества тестовых материалов, позволяет выявить слабые места тестового экзамена для его оптимизации. Для оценки качества наиболее информативными являются параметры стандартного отклонения, коэффициент внутренней согласованности, стандартная ошибка блока "Общая информация о тесте", ИЛ и ЭД блока "Анализ структуры теста". По результатам статистической оценки качества тестовых материалов сделано заключение об удовлетворительном общем сценарии вступительного экзамена по химии и намечены пути оптимизации разрабатываемых заданий для последующей вступительной кампании.

Литература

1.Российская Федерация. Законы. Об особенностях правового регулирования отношений в сферах образования и науки в связи с принятием в Российскую Федерацию Донецкой Народной Республики, Луганской Народной Республики, Запорожской области, Херсонской области и образованием в составе Российской Федерации новых субъектов - Донецкой Народной Республики, Луганской Народной Республики, Запорожской области, Херсонской области и о внесении изменений в отдельные законодательные акты Российской Федерации: Федеральный закон № 19-ФЗ : [принят Государственной думой 14 февраля 2023 года : одобрен Советом Федерации 15 февраля 2023 года] // Официальное опубликование правовых актов. 2023. URL: http://publication.pravo.gov.ru/Document/View/0001202302170006?ysclid=ln493jnbei380022764

2.Правила приема на обучение в Федеральное государственное бюджетное образовательное учреждение высшего образования "Донецкий государственный медицинский университет имени М. Горького" Министерства здравоохранения Российской Федерации по образовательным программам высшего образования - программам специалитета в 2023 году // ФГБОУ ВО ДонГМУ: официальный сайт. 2023. URL: http://dnmu.ru/wp-content/uploads/2023/06/ilovepdf_merged.pdf

3.Протасова И.В., Толстобров А.П., Коржик И.А. Методика анализа и повышения качества тестов в системе электронного обучения MOODLE // Вестник ВГУ, серия: Системный анализ и информационные технологии. 2014, № 3. С. 61-72.

4.Примерная рабочая программа среднего общего образования химия базовый уровень. Москва : ФГБНУ Институт развития стратегии образования РАО, 2022. 47 с.

5.Примерная рабочая программа среднего общего образования химия углубленный уровень. Москва : ФГБНУ Институт развития стратегии образования РАО, 2022. 73 с.

6.Ким В.С. Тестирование учебных достижений. Уссурийск : Издательство УГПИ, 2007. 214 с.

7.Челышкова М.Б. Теория и практика конструирования педагогических тестов. Москва : "Логос", 2002. 431 с.

8.Толстобров А.П., Протасова И.В., Коржик И.А. Система анализа статистики тестирования как средство самооценки преподавателем электронного образовательного ресурса // Современные информационные технологии и ИТ-образование. 2013, № 9. С. 133-141.

9.Quiz report statistics // Moodle: Moodle Docs 4.0. 2022. URL: https://docs.moodle.org/dev/Quiz_report_statistics

10. Brief guide to the Moodle iCMA Reports. // https://docs.moodle.org/400/en/images_en/e/e9/Brief_Guide_to_iCMA_reports.pdf

11. Кондаков И.М., Романюк Э.И., Сорокина О.Л., Шишлянникова Л.М. Разработка тестовых заданий для анализа знаний студентов. Методическое пособие. Москва : МГППУ, 2005. 66 c.

12. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5 (181). С. 87-92.

13. Звонников В.И., Челышкова М.Б. Оценка качества результатов обучения при аттестации: компетентностный подход. Москва : Логос, 2012. 279 с.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)