Использование компьютеризированного клинического обследования для оценки знаний и навыков по хирургии у студентов медицинских вузов

• Эль Шаллали Гамал Э.Х.А.
• Мекки Абдельрахман М.

Резюме

Состояние проблемы. С целью улучшения передачи изо­бражения при работе с видеоспроектированным струк­турированным клиническим экзаменом (ViPSCE) мы разработали его компьютерную версию - компьютери­зированное клиническое обследование (computer-based clinical examination, CCE). Оно использовалось для оцен­ки знаний, полученных студентами в медицинском вузе, и способности к решению хирургических проблем. В ста­тье представлено описание данного процесса оценки, а также описательные статистические данные по экзаме­национным баллам и результаты оценки студентами про­граммы CCE.

Методы. Программа CCE в хирургии использовалась для оценки группы из 43 студентов медицинских вузов послед­него года обучения по окончании медицинской практики по хирургии. Как и в случае использования видеопро­граммы ViPSCE, экзамен проводили с использованием презентации PowerPoint. Однако вместо проецирования изображения на экран каждый студент использовал персо­нальный компьютер. Презентация состояла из 20 слайдов, содержащих либо фотоснимки, либо короткие видеокли­пы, представляющие клинические ситуации в хирургии. Студенты записывали свои ответы на экзаменационных листах. По окончании экзамена они заполняли формы оценки. Исправления в экзаменационные листы вносили вручную. Методом описательной статистики были рассчи­таны экзаменационные баллы, которые затем были сопо­ставлены с результатами оценки студентов во время других экзаменов по хирургии.

Результаты. Использование CCE не вызвало затруднений. Наблюдалось нормальное распределение экзаменацион­ных баллов (среднее = медиана = 4,9). Эти значения до­стоверно коррелировали с общими результатами оценки (баллами), полученными студентами по хирургии (r=0,68), а также с результатами использования других форм приема экзамена по хирургии, таких как задание на выбор правильного ответа из нескольких возможных (тест с выбором ответов) и структурированные проверочные тесты. Была отмечена высокая степень приемлемости CCE для сту­дентов - они рекомендовали использовать данную форму на других отделениях факультета.

Обсуждение. CCE представляет вполне осуществимую и популярную среди студентов программу. Она также досто­верна и надежна, как и программа ViPSCE, и имеет допол­нительное преимущество, которое заключается в улучше­нии передачи изображения за счет использования слайдов.

Ключевые слова:• оценка студентов медицинских вузов • оценка с помощью компьютера • компьютерное тестирование • электронное тестирование на экзамене по окончании медицинской практики по хирургии • объективный структурированный клинический экзамен • высшее медицинское образование • видеоспроектированный структурированный клинический экзамен

Государственный университет Alzaiem Alazhari носит имя первого президента Республики Судан. Он был основан в 1994 г., и к настоящему моменту медицинский фа­культет университета окончили 1400 вра­чей. Судан расположен к югу от Сахары, ресурсы в этом африканском государстве ограничены.

Авторы создали видеопрограмму структурированного клинического экза­мена (ViPSCE) в 2001 г. [1, 2]. Программа ViPSCE заменяет устный ("живой") экза­мен как инструмент оценки студентов по предмету клинической хирургии на нашем отделении факультета.

Инструмент полезен для оценки ког­нитивных навыков студентов, в том числе способности решать возникающие хирур­гические проблемы. Он доказал свою достоверность, надежность и практическую осуществимость и позволяет сберечь сред­ства и время как персоналу, так и студен­там [2]. Поэтому неудивительно, что ин­струмент быстро приобрел популярность среди преподавателей и студентов как на других отделениях нашего факультета, так и в других медицинских вузах Судана.

Однако программа ViPSCE имеет ряд ограничений. Экзаменационные материалы включают слайды с фотоснимками или ко­роткими видеоклипами, отображающими пациентов, инструментарий, исследования или процедуры. Одна из проблем, связанная с использованием программы ViPSCE, за­ключалась в возможности передачи четкого изображения, представленного на слайдах, при его проецировании на экран. Частично эта проблема была решена после принятия ряда мер. Мы использовали помещение, которое было достаточно большим, чтобы разместить разное число студентов (120-150 человек), оснащенное широким экраном, чтобы в нем поместился большой экран, ко­торый можно было видеть даже с бокового угла. Свет в помещении около экрана можно было приглушить, чтобы улучшить четкость изображения на слайдах, но в остальном по­мещении свет был достаточно ярким, чтобы студенты могли прочесть и ответить на во­просы, распечатанные на бумаге.

Использовались видеопроекторы с вы­соким разрешением и высокой мощно­стью светового потока. Студентам со сла­бым зрением разрешалось сесть в первом ряду, рядом с экраном.

У нас имеется центр информационных технологий (IT) на 50 компьютеров, постро­енный рядом с медицинским факультетом. Предполагалось, что отображение экзаме­национных слайдов на экранах компью­теров позволит повысить четкость пред­ставленных на слайдах изображений для студентов и уменьшит ряд требований к по­мещению. После этого появилась идея пре­образовать программу ViPSCE в компью­терный формат и создать компьютерную программу для проведения экзамена. Идея использования компьютеров для оценки студентов медицинских вузов не нова. Мы представляем модель проведения экзамена, которую можно использовать в учебных за­ведениях с ограниченными ресурсами при наличии компьютеров. Исследование не требовало изучения участников.

Методы

Подготовка к проведению экзамена

Мы оценивали группу из 43 студентов медицинских вузов последнего года обу­чения по окончании медицинской прак­тики по хирургии. Все студенты были суданцами, более или менее сопоставимыми по возрасту. Экзамен проводили в форме презентации из 20 слайдов, созданных в компьютерной программе PowerPoint (Microsoft, 2007). Слайды сменялись авто­матически каждые 3 мин, что сопровожда­лось звуком аплодисментов, чтобы при­влечь внимание студента к изображению на следующем слайде.

На некоторых слайдах были представ­лены фотоснимки, на других - короткие видеоклипы продолжительностью менее 1 мин. Представленный материал включал фотографии пациентов, результаты иссле­дований (рентгенологическое исследование с контрастом или без, компьютерная томо­графия), хирургических инструментов, ка­тетеров и различных трубок для проведения анестезии и хирургических процедур. Видео­клипы демонстрировали пациентов, у ко­торых выполняли физикальное обследова­ние, например, при таких состояниях, как грыжа, а также проводились хирургические процедуры, например, эндоскопическое исследование и спинальная анестезия. Все фотографии и видеоматериалы были сняты с участием пациентов, проходивших лече­ние в Государственной клинической боль­нице после получения их согласия. Чтобы обеспечить равномерное распределение тем курса по хирургии в экзаменационных вопросах, проводились предэкзаменацион­ные встречи, на которых присутствовал весь персонал отделения хирургии. Темы вклю­чали как неотложные ситуации, так и пла­новые случаи. Равномерное распределение тем по хирургии было обеспечено за счет го­тового материала, который мы уже создали для программы ViPSCE [2]. Распределение по темам выглядело следующим образом: 12 вопросов по общей хирургии, по 2 воп­роса по ортопедии, урологии, детской хи­рургии и анестезиологии.

Экзаменационные листы содержали вопросы, проиллюстрированные слай­дами. Число вопросов соответствовало числу слайдов. Вопросы были составлены в объективной и структурированной фор­ме, преимущественно в форме описания хирургических задач. Мы избегали вопро­сов, требующих развернутого ответа. Воп­росы были направлены на оценку знаний на всех уровнях, от простого определения до решения сложных задач.

Примеры вопросов, на которые отвеча­ли студенты, и схема вопроса представле­ны на рис. 1.

Студенты отвечали на вопросы, запи­сывая ответы в специально отведенные для этого графы на том же экзаменационном листе.

Проведение экзамена

В отделении имеются 2 помещения, в каждом из них установлено по 25 ком­пьютеров. 43 студента были разделены на 2 группы. Каждый студент работал на отдельном компьютере (рис. 2, 3). В каждом помещении присутствовали 2-3 спе­циалиста по IT, чтобы помочь студентам в случае возникновения технических про­блем. Кроме того, в каждом классе при­сутствовал по крайней мере один хирург-консультант. Обе группы проходили один и тот же тест с использованием одинаково­го порядка выполнения.

Перед началом экзамена студентам кратко описывали порядок его проведе­ния. Программа была подготовлена зара­нее, и начать работу можно было одним нажатием кнопки мыши.

Обе группы начали и завершили экза­мен приблизительно в одно и то же вре­мя, что позволило предотвратить общение между группами. Студентам запретили иметь при себе мобильные (сотовые) телефоны и другие средства связи, а специали­сты по IT помогали наблюдать за студента­ми (рис. 2).

Студентам демонстрировали одновре­менно одни и те же слайды как на общем экране с помощью проектора, так и на компьютере (рис. 3). Это было сделано потому, что студентов попросили сравнить два изображения при заполнении специ­альной формы по оценке компьютерной программы, которая им выдавалась в кон­це экзамена. Продолжительность экзамена составила 60 минут (по 3 мин на слайд). Слайды сменялись автоматически. После последнего слайда (по окончании экзаме­на) студентам давали еще 3 мин на провер­ку ответов. Во время этих последних 3 мин студентам разрешалось самостоятельно просматривать слайды по желанию. По­сле экзамена студенты заполняли формы оценки.

Экзаменационные листы проверяли вручную с использованием шаблона с от­ветами. Максимальное количество экза­менационных баллов составляло 100 - по 5 баллов на слайд. Общее количество бал­лов делили на 10 для получения результата оценки максимум 10 баллов. Таким образом, экзамен с использованием програм­мы CCE составлял 10% от общей суммы баллов экзамена по хирургии (100 баллов). Другие инструменты оценки, которые ис­пользовались при проведении экзамена по хирургии, включали OSCE (40 баллов), тест с выбором ответов (MCQ) (20 баллов) и краткий структурированный экзамена­ционный опросник или SSEQ (30 баллов).

Анализ результатов оценки в баллах при использовании CCE и форм оценки

Результаты оценки в баллах при ис­пользовании CCE были описаны стати­стически (с помощью пакета программ об­работки статистических данных SPSS 16.0, SPSSInc, Чикаго, Иллинойс, США) и со­поставлены с результатами, полученными студентами по хирургии при использова­нии других инструментов.

Формы оценки были проанализиро­ваны вручную путем простого подсчета и расчета процентных значений. Были определены общие темы и подсчитаны положительные и отрицательные утверж­дения.

Результаты

Результаты оценки: распределение и корреляции

На рис. 4 представлено распределение результатов оценки при использовании CCE. Гистограмма отображает нормальное распределение с учетом среднего значения (4,9), медианы (4,9), стандартного откло­нения (1,17), с диапазоном 5 (2,5-7,5).

Двусторонние критерии корреляции Пирсона продемонстрировали высокую корреляционную связь (р<0,001) между ре­зультатом оценки каждого студента, полу­ченным с использованием CCE, с общим результатом оценки по хирургии (r=0,683), с объединенными результатами оценки с использованием инструментов SSEQ и MCQ, т.е. общими результатами экза­мена при использовании бумажных форм (г=0,513), а также с результатами оценки с использованием инструментов SSEQ ( r=0,505) и MCQ ( r=0,482) при опреде­лении корреляции с результатом оцен­ки с использованием CCE по отдельности (табл. 1).

Приемлемость компьютерной программы тестирования для студентов и их оценка

В оценке приняло участие 28 человек (65% от проходивших экзамен).

Максимально возможный балл - 10. Наивысший балл - 7,5. Наименьший балл - 2,5.

Большинство студентов расценили ин­струкции по проведению экзамена (85%) и слайды (86%) как четкие или очень чет­кие (табл. 2). Размещение на местах боль­шинство студентов посчитали комфорт­ным (79%). Также большинство (65%) студентов посчитали, что компьютерные изображения и видеоматериалы лучше, чем изображения, проецируемые на экран, и что CCE следует рекомендовать для ис­пользования на других отделениях факуль­тета (64%). Произвольные комментарии свидетельствовали о том, что большинству студентов такая форма проведения экза­мена понравилась, особенно в связи с ис­пользованием IT.

Только 6 (21%) студентов отметили, что у них возникли проблемы, связанные с не­хваткой времени (они посчитали, что его было мало), и/или с вопросами, которые они посчитали слишком сложными.

Обсуждение

На медицинском факультете Универ­ситета Alazhari мы использовали различ­ные инструменты оценки при проведении итогового экзамена в конце медицинской практики по хирургии. В прошлом этот экзамен состоял из теоретической и кли­нической частей, и каждая из них состав­ляла 50% от общего количества баллов на экзамене. Устный экзамен являлся частью традиционного клинического экзамена. Устный экзамен был заменен на ViPSCЕ [1, 2], а традиционный клинический экзамен - на ОСКЭ. В этой статье мы описали трансформацию ViPSCE в CCE и представили свой опыт применения этой программы, статистический анализ результатов оценки, полученных при ее использовании, и оценку студентами при­емлемости этой программы для проведе­ния экзамена.

Компьютеры использовались для про­верки знаний и навыков решения задач в медицине с 1960-х гг. [3]. Опрос, про­веденный в медицинских вузах Великобритании, касающийся использования компьютеров, показал, что CBA может улучшить оценку врачей и других меди­цинских работников за счет более эффек­тивного проведения экзаменов. Програм­ма в целом востребована среди учащихся и эффективна в плане представления мате­риалов и расчета баллов по результатам те­стов [4]. CBA, которая также носит назва­ние компьютерного тестирования (CBT), и CAA все чаще используются в качестве инструмента оценки по многим медицин­ским дисциплинам [5-7]. Мы изучили модель проведения экзамена, которая мо­жет использоваться в учебных заведениях с ограниченными ресурсами при наличии компьютеров.

Как и ViPSCE, CCE позволяет оце­нить знания на всех уровнях, начиная от простого определения до критического анализа и решения сложных задач. В этом случае программа дополняет ОСКЭ, в ходе которого можно оценить хирургические навыки, в том числе сбор анамнеза и физикальное обследование, а также знания студентов. На некоторых медицинских фа­культетах ОСКЭ состоит из стационарных и интерактивных рабочих мест. ViPSCE мы использовали как инструмент для обе­спечения стационарных рабочих мест, и поэтому оставили наш ОСКЭ только для интерактивных рабочих мест при проведе­нии экзамена. В результате практическая часть клинического экзамена может быть выполнена при наличии 27 рабочих мест. В этом случае преимущество заключается в увеличении охвата тем и глубины оценки знаний во время экзамена.

Легкость, с которой был проведен эк­замен, подтвердила целесообразность ис­пользования данной программы. Первона­чальная стоимость проведения экспертизы для организации IT и оборудования по­мещений с кондиционером и установкой достаточного числа компьютеров может быть высокой. Число студентов постоянно растет, и необходимо увеличивать число компьютеров и помещений. Организация центров IT может быть рентабельна в дол­госрочной перспективе, поскольку эти центры могут использоваться не только студентами, но и коммерческими структу­рами, арендующими их для проведения курсов обучения, семинаров, а также для других целей.

Во время использования CCE серьез­ных проблем или сбоев не отмечено. Веро­ятно, отчасти это было связано с тем, что программа уже была установлена на ком­пьютеры и проверена IT-специалистами до начала экзамена. 1 или 2 студента на­чали экзамен до того, как был дан сигнал к началу; эти студенты получили преду­преждение и указание, что необходимо до­ждаться сигнала.

Было отмечено нормальное распреде­ление результатов оценки при использова­нии CCE при среднем значении 4,97, что очень близко к проходному баллу (5). Диа­пазон результатов оценки от 2,5 до 7,5 сви­детельствует о сбалансированной слож­ности экзамена, который оказался и не слишком простым, и не слишком слож­ным для студентов.

Результаты оценки каждого студен­та коррелировали с результатами оценки этого студента по хирургии с использо­ванием других инструментов, что отра­жало степень надежности CCE. Стоит отметить, что CCE не позволяет оценить хирургические навыки, тем не менее между результатами оценки с использо­ванием программы и результатами оцен­ки с использованием ОСКЭ была обна­ружена сильная корреляционная связь. Это подтверждает обоснованность на­звания, которое мы дали этому инстру­менту оценки: компьютерная программа для проведения клинического экзамена. В перспективе у нас разработка специаль­ного программного обеспечения, которое позволит отвечать на экзаменационные вопросы и вносить исправления непо­средственно на компьютере. Это также позволит использовать компьютер в качестве инструмента обучения и самооценки.

Долю ответов на уровне 65% можно расценивать как низкую. Ответившие сту­денты в целом не отличались от студентов, которые не ответили. Некоторые студенты не сдали свои формы оценки. В этом случае было бы полезно, если бы мы попросили студентов сдать свои формы оценки сразу после экзамена, до того, как им разрешили покинуть экзаменационный класс.

Наш опрос показал высокий уровень компьютерной грамотности среди наших студентов, хотя сам по себе экзамен не тре­бовал глубоких знаний по использованию компьютера. Программа CCE подтвердила свою популярность среди учащихся, кото­рые обычно приветствуют идею использо­вания компьютеров в качестве инструмен­та для проведения экзамена. Большинство студентов посчитали слайды четкими, ра­бочее место комфортным, и, в целом, они одобрили использование CCE.

Меньшинство, которое высказало не­одобрение, свое отрицательное мнение связало с отведенным временем и слож­ностью вопросов, но не с методом проведения экзамена, предусматривающим ис­пользование компьютеров [8].

Компьютер вошел в нашу жизнь, и проведение экзаменов с его использо­ванием как инструмента для самооценки студентов продемонстрировало большие возможности [9].

Заключение CCE - полезный метод оценки, до­полняющий ОСКЭ. Программа также вполне осуществима на практике при на­личии достаточного числа компьютеров. CCE заключает в себе положительные характеристики программы ViPSCE как достоверный, надежный и практичный метод проведения экзамена, приемле­мый для студентов, но имеет и дополни­тельное преимущество, которое заключа­ется в улучшении передачи изображения за счет использования слайдов и в буду­щем позволит на компьютере выполнять оценку.

Литература/References

1. El Shallaly G.H., Ali E.A. Use of a Video-Projected Structured Clinical Examination (ViPSCE) instead of oral examination in the assessment of final year medical students. Med Educ 2003; Vol. 37: 1048.

2. El Shallaly G., Ali E. Use of a Video-Projected Structured Clinical Examination (ViPSCE) instead of oral Examination in the assessment of final year medical students. Educ Health (Abingdon)/ 2004; Vol. 17: 17-26.

3. Swets J.D., Feurzeig W. Computer aided instruction. Science. 1965; Vol. 150: 572-6.

4. Cantillon P., Irish B., Sales D. Using computers for assessment in medicine. Br Med J. 2004; Vol. 329: 606-9.

5. Wolfson P.J., Veloski J.J., Robeson M.R., Maxwell K.S. Administration of open-ended test questions by computer in a clerkship final examination. Acad Med. 200; Vol. 76: 835-9.

6. Hulsman R.L., Mollema E.D., Hoos A.M., De Haes J.C., et al. Assessment of medicalcommunication skills by computer: assessment method and student experiences. Med Educ. 2004; Vol. 38: 813-24.

7. Lieberman S.A., Frye A.W., Litwins S.D., Rasmusson K.A., et al. Introduction of patient video clips into computer-based testing: effects on item statistics and reliability estimates. Acad Med. 2003; Vol. 78: 48-51.

8. Hochlehnert A., Brass K., Moeltner A., Juenger J. Does medical students' preference oftest format (computer-based vs. paper-based) have an influence on performance? BMC Med Educ. 2011; Vol. 11: 89.

9. Agrawal S., Norman G.R., Eva K.W. Influences on medical students' self-regulated learning after test completion. Med Educ. 2012; Vol. 46: 326-35.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)