AN ENTRANCE EXAM IN CHEMISTRY BY MEANS OF MOODLE

• Viktoriya V. Ignatyeva
• Viktoriya V. Odariuk
• Lyudmila A. Romanova
• Anna I. Lavrova

Abstract

The paper presents the experience of preparing tests for the internal entrance exam in chemistry at Donetsk State Medical University conducted by means of distance educational technologies on the Moodle environment. The assessment of the test quality using built-in statistical analysis module showed the reliability of the developed scenario of the entrance test. Using the facility index and discriminative efficiency, weak tests were identified and recommendations were made to improve the quality of the tasks being compiled.

Keywords: distance educational technology; entrance exam; test quality; generalizability theory

References

1.The Russian Federation. Laws. On the specifics of the legal regulation of relations in the fields of education and science in connection with the admission of the Donetsk People’s Republic, the Luhansk People’s Republic, the Zaporozhye region, the Kherson region to the Russian Federation and the formation of new subjects within the Russian Federation – Donetsk People’s Republic, Luhansk People’s Republic, Zaporizhia region, Kherson region and on amendments to certain legislative acts of the Russian Federation: Federal Law No. 19-FZ : [adopted by the State Duma on February 14, 2023 : approved by the Federation Council on February 15, 2023]. Official publication of legal acts. 2023. URL: http://publication.pravo.gov.ru/Document/View/0001202302170006?ysclid=ln493jnbei380022764 (in Russian)

2.Rules for admission to the Federal State Budgetary Educational Institution of Higher Education «Donetsk State Medical University named after M. Gorky», Ministry of Health of the Russian Federation for educational programs of higher education – specialty programs in 2023. FGBOU VO DonGMU: official website. 2023. URL: http://dnmu.ru/wp-content/uploads/2023/06/ilovepdf_merged.pdf (in Russian)

3.Protasova I.V., Tolstobrov A.P., Korzhik I.A. Method of test quality analysis and improvement in Moodle e-learning system. Vestnik VGU, serija: Sistemnyj analiz i informacionnye tehnologii [Bulletin of the Voronezh State University. Series: system analysis and information technology]. 2014; (3): 61–72. (in Russian)

4.The approximate work program of secondary general education chemistry basic level. Moscow: Federal State Budgetary Educational Institution Institute for the Development of Education Strategy RAO, 2022. 47 p. (in Russian)

5.The approximate work program of secondary general education chemistry advanced level. Moscow: Federal State Budgetary Educational Institution Institute for the Development of Education Strategy RAO, 2022. 73 p. (in Russian)

6.Kim V.S. Testing of educational achievements. Ussuriysk: UGPI Publishing House, 2007. 214 p. (in Russian)

7.Chelyshkova M.B. Theory and practice of designing pedagogical tests. Moscow: Logos, 2002. 431 p. (in Russian)

8.Tolstobrov A.P., Protasova I.V., Korzhik I.A. The system of analysis of testing statistics as a means of self-assessment by a teacher of an electronic educational resource. Sovremennye informatsionnye tehnologii i IT-obrazovanie [Modern information technologies and IT-education]. 2013; (9): 133–41. (in Russian)

9.Quiz report statistics. Moodle: Moodle Docs 4.0. 2022. URL: https://docs.moodle.org/dev/Quiz_report_statistics

10. Brief guide to the Moodle iCMA Reports. docs.moodle.org. URL: https://docs.moodle.org/400/en/images_en/e/e9/Brief_Guide_to_iCMA_reports.pdf

11. Kondakov I.M., Romanyuk E.I., Sorokina O.L., Shishlyannikova L.M. Development of test tasks for the analysis of students’ knowledge. Methodical manual. Moscow: MGPPU, 2005. 66 p. (in Russian)

12. Nesterov S.A., Smetanina M.V. Quality measurement of the test tasks in the learning management system Moodle. Nauchno-tehnicheskie vedomosti Sankt-Peterburgskogo gosudarstvennogo politehnicheskogo universiteta. Informatika. Telekommunikacii. Upravlenie [Scientific and Technical Bulletin of St. Petersburg State Polytechnic University. Computer science. Telecommunications. Management]. 2013; (5): 87–92. (in Russian)

13. Zvonnikov V.I., Chelyshkova M.B. Assessment of the quality of learning outcomes during certification: a competence-based approach. Moscow : Logos, 2012. 279 p.

Индекс дискриминации (ИД) и эффективность дискриминации (ЭД) указывают на способность задания дифференцировать тестируемых на сильных и слабых. Высокая дискриминативность - важная характеристика удачного тестового задания, она определяет меру валидности задания, его адекватность целям создания теста [13]. ИД и ЭД различаются способом расчета, при этом ЭД считается более достоверным, так как учитывает результаты всех тестируемых [12], а для вычисления ИД используют результаты только части абитуриентов, отнесенных к 1/3 наиболее сильных и 1/3 наиболее слабых. В Moodle дискриминационные коэффициенты могут приобретать значение от -100 до 100%. Например, 100% означает, что на данный вопрос все сильные студенты дали правильный ответ, а все слабые - неправильный. Нулевое значение указывает на то, что сильные и слабые студенты отвечали на данный вопрос одинаково, а отрицательное - что слабые студенты справились с заданием лучше сильных, и, возможно, в таком задании есть ошибка. Приемлемое значение коэффициентов дискриминации - не менее 30% [10].

При анализе статистического отчета в блоке "Анализ структуры тестов" выявляли вопросы с высоким/низким индексом легкости (˂10 и ˃90), низким значением стандартного отклонения и эффективности дискриминации. Установлено, что для 5 вопросов ИЛ превышает 90%. При этом номера вопросов в структуре теста были разными, то есть причина состояла не в проверяемом компоненте знания, а в содержании вопроса в данном варианте. К сожалению, на стадии разработки не удается предсказать уровень сложности конкретного задания и его дистракторов для группы абитуриентов, так как на это влияет очень много факторов. Был выявлен вопрос с ИЛ 0%, в нем была обнаружена техническая ошибка. Вопросов, которые можно было бы отнести к категории "очень сложные/крайне сложные" (ИЛ ˂10), в тесте не было. Вопросы второй части теста ожидаемо обладали меньшим ИЛ. Самыми сложными оказались задания, где надо было указать сумму коэффициентов в полном и сокращенном ионном уравнении (средняя величина ИЛ - 44 и 31 соответственно), а также задание на установление формулы органического соединения (среднее значение по вариантам ИЛ - 46).

При рассмотрении параметра "Стандартное отклонение" выявлено, что более низкие значения характерны для вопросов первой части, то есть нацеленных на проверку знаний базового уровня. Наименьшей дифференцирующей способностью обладали вопросы об установлении типов связей в химических соединениях, классификации органических соединений и соотнесении класса соединения и его формулы. Для некоторых вопросов стандартное отклонение было менее 30%. Их исключение не представляется целесообразным, но следует уделить внимание выбору дистракторов, обеспечивающих лучшее дифференцирование.

Намеченный и эффективный вес вопросов чаще не совпадал. В то же время величина коэффициента корреляции между этими параметрами составляла 0,7-0,9 (в зависимости от варианта), то есть между ними существует сильная положительная связь. По нашему мнению, это свидетельствует в пользу удовлетворительного распределения баллов за каждый вопрос.

Анализ эффективности дискриминации выявил один вопрос с величиной ЭД меньше 0. Это указывает на то, что вопрос сформулирован таким образом, что слабые студенты отвечали на него лучше, чем сильные. Такой вопрос однозначно подлежит коррекции. Для шести вопросов ЭД было менее 30%. Эти задания относились к разным номерам в общей структуре теста, то есть на величину ЭД повлияли факторы, имеющие отношение к конкретной группе тестируемых.

Предполагается, что изучение химии в медицинском вузе во многом опирается на знания школьного курса. Для примерной оценки прогностической валидности вступительного экзамена усредненный результат теста был сопоставлен с результатами промежуточной аттестации (дифференциального зачета) по химии на I курсе. Средний балл промежуточной аттестации составил 3,4-3,6 (68-72 по 100-балльной шкале) в зависимости от направления подготовки. Этот результат неплохо согласуется со средними оценками за вступительный экзамен, приведенными в табл. 1, и первично свидетельствует о прогностической валидности вступительных тестов.

Заключение

Опыт проведения вступительных испытаний в форме дистанционного тестирования с применением дистанционных образовательных технологий можно охарактеризовать как удовлетворительный с точки зрения личной безопасности участников приемной кампании, объективности оценки знаний поступающих, сокращения задействованных трудовых ресурсов, обеспечения прозрачности процедуры вступительной кампании. Статистический анализ считается необходимым звеном на пути оптимизации тестов вступительного испытания, так как позволяет выявлять как наличие системных ошибок в структуре теста, так и отдельные неудачные вопросы. Использование встроенного статистического аппарата Moodle значительно упрощает процедуру оценки качества тестовых материалов, позволяет выявить слабые места тестового экзамена для его оптимизации. Для оценки качества наиболее информативными являются параметры стандартного отклонения, коэффициент внутренней согласованности, стандартная ошибка блока "Общая информация о тесте", ИЛ и ЭД блока "Анализ структуры теста". По результатам статистической оценки качества тестовых материалов сделано заключение об удовлетворительном общем сценарии вступительного экзамена по химии и намечены пути оптимизации разрабатываемых заданий для последующей вступительной кампании.

Литература

1.Российская Федерация. Законы. Об особенностях правового регулирования отношений в сферах образования и науки в связи с принятием в Российскую Федерацию Донецкой Народной Республики, Луганской Народной Республики, Запорожской области, Херсонской области и образованием в составе Российской Федерации новых субъектов - Донецкой Народной Республики, Луганской Народной Республики, Запорожской области, Херсонской области и о внесении изменений в отдельные законодательные акты Российской Федерации: Федеральный закон № 19-ФЗ : [принят Государственной думой 14 февраля 2023 года : одобрен Советом Федерации 15 февраля 2023 года] // Официальное опубликование правовых актов. 2023. URL: http://publication.pravo.gov.ru/Document/View/0001202302170006?ysclid=ln493jnbei380022764

2.Правила приема на обучение в Федеральное государственное бюджетное образовательное учреждение высшего образования "Донецкий государственный медицинский университет имени М. Горького" Министерства здравоохранения Российской Федерации по образовательным программам высшего образования - программам специалитета в 2023 году // ФГБОУ ВО ДонГМУ: официальный сайт. 2023. URL: http://dnmu.ru/wp-content/uploads/2023/06/ilovepdf_merged.pdf

3.Протасова И.В., Толстобров А.П., Коржик И.А. Методика анализа и повышения качества тестов в системе электронного обучения MOODLE // Вестник ВГУ, серия: Системный анализ и информационные технологии. 2014, № 3. С. 61-72.

4.Примерная рабочая программа среднего общего образования химия базовый уровень. Москва : ФГБНУ Институт развития стратегии образования РАО, 2022. 47 с.

5.Примерная рабочая программа среднего общего образования химия углубленный уровень. Москва : ФГБНУ Институт развития стратегии образования РАО, 2022. 73 с.

6.Ким В.С. Тестирование учебных достижений. Уссурийск : Издательство УГПИ, 2007. 214 с.

7.Челышкова М.Б. Теория и практика конструирования педагогических тестов. Москва : "Логос", 2002. 431 с.

8.Толстобров А.П., Протасова И.В., Коржик И.А. Система анализа статистики тестирования как средство самооценки преподавателем электронного образовательного ресурса // Современные информационные технологии и ИТ-образование. 2013, № 9. С. 133-141.

9.Quiz report statistics // Moodle: Moodle Docs 4.0. 2022. URL: https://docs.moodle.org/dev/Quiz_report_statistics

10. Brief guide to the Moodle iCMA Reports. // https://docs.moodle.org/400/en/images_en/e/e9/Brief_Guide_to_iCMA_reports.pdf

11. Кондаков И.М., Романюк Э.И., Сорокина О.Л., Шишлянникова Л.М. Разработка тестовых заданий для анализа знаний студентов. Методическое пособие. Москва : МГППУ, 2005. 66 c.

12. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. 2013. № 5 (181). С. 87-92.

13. Звонников В.И., Челышкова М.Б. Оценка качества результатов обучения при аттестации: компетентностный подход. Москва : Логос, 2012. 279 с.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)