ИССЛЕДОВАНИЕ ВАЛИДНОСТИ СИМУЛЯЦИОННОЙ МОДЕЛИ ГРУДНОЙ КЛЕТКИ ДЛЯ ОТРАБОТКИ НАВЫКА ТОРАКОЦЕНТЕЗА

Резюме

Цель - ​оценить валидность симуляционной модели грудной клетки для отработки навыка торакоцентеза.

Материал и методы. Процедуру выполняли участники с разным уровнем практических навыков (студенты, ординаторы и врачи). Видеозаписи были независимо оценены опытными хирургами, которым не было известно об уровне подготовки участников. В качестве инструмента оценки применяли модифицированный чек-лист, разработанный на основе предложенного Копенгагенской академией медицинского образования и моделирования.

Результаты. Все 24 участника (16 студентов, 6 ординаторов, 2 врача) выполнили по 3 процедуры торакоцентеза на исследуемой модели, было записано и оценено 72 видео. Надежность чек-листа была достаточной (α-Кронбаха 0,72). Уровень межэкспертной надежности существенный (κ 0,68 при p<0,001). Между группами участников наблюдалась статистически значимая разница по количеству баллов в каждой из 3 попыток (значение H-критерия для попытки № 1-3 - ​11,3086, p=0,004; 16,1346, p<0,001; 16,4702, p<0,001 соответственно). На основе метода контрастных групп установлен минимально допустимый порог баллов для подтверждения уровня компетентности (27 и 30 баллов для студентов и ординаторов соответственно). Студенты и ординаторы показали значительно более высокие результаты по завершению 3-й попытки (χ2 Фридмана 25,290, p<0,001; 9,238, p=0,01 соответственно). Студенты значительно увеличили скорость выполнения процедуры по завершению 3-й попытки (χ2 Фридмана 22,875, p<0,001).

Заключение. Совокупность собранных доказательств свидетельствует в пользу валидности симуляционной модели, разработанной инициативной группой школы медицины ДВФУ.

Ключевые слова:торакоцентез; обучение с использованием симуляционных технологий; симуляционная модель; обучение студентов

Финансирование. Исследование не имело спонсорской поддержки.

Конфликт интересов. Авторы заявляют об отсутствии конфликта интересов.

Для цитирования: Стегний К.В., Ожерельев А.В., Ожерельев Е.В., Двойникова Е.Р., Крекотень А.А., Маслянцев Е.В., Гончарук Р.А. Исследование валидности симуляционной модели грудной клетки для отработки навыка торакоцентеза // Медицинское образование и профессиональное развитие. 2022. Т. 13, № 1. С. 31-38. DOI: https://doi.org/10.33029/2220-8453-2022-13-1-31-38

Хирургия - ​одна из основных областей медицины, где обучение с использованием симуляционных технологий позволяет повысить уровень мануальных навыков для конкретной процедуры в контролируемой среде без вреда для пациентов [1].

Торакоцентез является одной из базовых манипуляций для диагностики и лечения травм, а также заболеваний органов плевральной полости [2, 3]. Данная манипуляция входит в перечень профессионального стандарта врачей различных хирургических специальностей и является обязательной для освоения.

На рынке симуляционного оборудования представлено множество различных моделей для отработки торакоцентеза. В то же время ни у одной из них не представлены все основные анатомические структуры и слои грудной клетки, более того, валидность этих симуляторов не изучена [4, 5]. Помимо этого, необходимо изменить подход к процедуре валидизации. Традиционный подход строится вокруг классических рамок валидности: экспертная, содержательная, конструктивная и т. д. [6]. Однако, согласно основным концепциям, валидизацию рассматривают как процесс сбора достаточного количества доказательств различного уровня, которые подтверждают предполагаемую гипотезу и требуют стандартизированного подхода в исследованиях [7].

Цель - ​оценить валидность симуляционной модели грудной клетки для отработки навыка торакоцентеза.

Материал и методы

Дизайн исследования разработан в соответствии с концепцией валидности, предложенной S. Messick, которая включает 5 различных уровней доказательств: содержательная часть, внутренняя согласованность, процесс оценки, корреляция с другими переменными и последствия обучения [7]. Исследование проводили в смоделированных условиях при участии 3 групп с разным уровнем опыта (студенты, ординаторы и врачи). В 1-ю группу включены 16 студентов VI курса, обучающихся по специальности "Лечебное дело". 2-ю группу составили 6 ординаторов хирургических специальностей 2-го года обучения, профессиональный стандарт которых предусматривает владение навыком торакоцентеза. Обе группы не имели практического опыта выполнения данной процедуры и никогда не изучали ее в симулированных условиях. В 3-ю группу включены 2 хирурга с практическим стажем более 10 лет и количеством выполняемых процедур не менее 50 в год. Все участники дали добровольное информированное согласие на участие в исследовании.

Участникам было предложено выполнить торакоцентез на исследуемой симуляционной модели. Модель представляет собой боковой участок грудной клетки, имитирующий плевральную полость с соблюдением основных анатомических слоев и структур (кожа, подкожная жировая клетчатка, мышечная ткань, ребра, межреберный сосудисто-нервный пучок, плевра, диафрагма). Процедура торакоцентеза выполнялась с помощью одноразового набора для плевральной пункции. Все участники прошли базовый инструктаж, включающий лекцию и видео процедуры, выполненной на исследуемой модели.

В качестве моделируемой ситуации выбран гидроторакс. Всем участникам был предоставлен рентгенологический снимок, по которому определялись тип патологии, пораженная сторона и место для выполнения пункции. Все необходимое для процедуры оборудование было размещено на заранее подготовленной станции, имитируя пациента в положении сидя. Всех участников предупредили о необходимости соблюдения правил асептики во время процедуры. Во всех попытках участвовал один и тот же наблюдатель, который выполнял только конкретные указания участника, но не комментировал происходящее и не давал обратной связи ни во время, ни после манипуляции. Процедура фиксировалась на видеокамеру и в последующем оценивалась двумя независимыми экспертами, которые не принимали участие в предыдущих этапах исследования и не знали, к какой группе относится участник.

Статистическая обработка данных проводилась в пакете программ IBM SPSS Statistics 26.0 версии. Данные не прошли проверку на нормальность распределения, поэтому при статистическом анализе мы использовали непараметрические тесты. В качестве инструмента оценки использовался модифицированный чек-лист, разработанный на основе предложенного Копенгагенской академией медицинского образования и моделирования [8]. Модифицированный чек-лист был разделен на 2 модуля (теоретический и практический) и состоял из 20 пунктов, включая 2 глобальные шкалы, по результатам которого можно было получить максимум 38 баллов. Надежность внутренней согласованности чек-листа была исследована с помощью критерия α-Кронбаха. Внутренняя согласованность между экспертами оценивалась с помощью коэффициента κ. Для сравнения результатов между группами использовался критерий Краскела-Уоллиса (Н-критерий). Минимально допустимый порог баллов для определения уровня компетентности ("сдал/не сдал") установлен с помощью модифицированного метода контрастных групп для изучения последствий оценки [9]. Потенциальный эффект от обучения был исследован с помощью критерия χ2 Фридмана путем сравнения количества баллов и времени между тремя попытками в каждой из групп.

Результаты

Все 24 участника выполнили по 3 процедуры торакоцентеза на исследуемой модели, было записано 72 видео. Внутренняя согласованность используемого чек-листа была расценена как достаточная (α-Кронбаха 0,72).

Уровень межэкспертной надежности расценивается как существенный (κ 0,68 при p<0,001).

По результатам оценки процедуры торакоцентеза на исследуемой модели выявлена статистически значимая разница в баллах между тремя группами после 1, 2 и 3-й попытки соответственно (табл. 1).

Таблица 1. Сравнение результатов между группами

Примечание. Результат считался статистически значимым при p<0,05; 95% доверительный интервал; число степеней свободы =2; n=24.

Минимально допустимый порог баллов для отметки "сдал" составил 27 и 30 у 1-й и 2-й группы соответственно (рис. 1 и 2).

Рис. 1. Определение минимального порога отметки "сдал"

Рис. 2. Определение минимального порога отметки "сдал"

Среднее время выполнения процедуры у 1-й группы составило: 558 с (SD=101 c), 413 с (SD=52 c), 377 с (SD=57 c); у 2-й группы: 413 с (SD=136 c), 320 с (SD=80 c), 308 с (SD=49 c); у 3-й группы: 283 с (SD=10 c), 240 с (SD=4 c), 209 с (SD=36 c) для 1, 2 и 3-й попытки соответственно (рис. 3).

Рис. 3. Время выполнения процедуры

Оценка полезного эффекта от обучения при повторении процедуры основывалась на количестве баллов и времени, затраченном на процедуру. Получена статистически значимая разница по количеству баллов между 3 попытками для 1-й и 2-й групп и по количеству затраченного времени для 1-й группы (табл. 2).

Таблица 2. Потенциальный полезный эффект обучения

Примечание. Результат считался статистически значимым при p<0,05; 95% доверительный интервал; число степеней свободы =2.

Обсуждение

Поскольку цель нашего исследования заключается в определении валидности симуляционной модели для конкретного практического навыка, мы отказались от применения общих шкал (таких как OSATS и др.) и для повышения надежности содержательной части модифицировали инструмент оценки, валидность которого была доказана ранее [8]. Достаточный уровень на­дежности чек-листа свидетельствует в пользу достоверности полученных результатов.

Исходя из высокого уровня межэкспертной надежности следует, что инструмент оценки может использоваться в другом учреждении. Мы предполагаем, что на уровень межэкспертной надежности влияет предварительный инструктаж по применению инструмента оценки, который был дополнительно проведен для каждого эксперта. Однако эти заключения требуют дополнительных исследований.

Статистически значимая разница по количеству баллов между группами свидетельствует о том, что разработанная симуляционная модель в совокупности с достоверным инструментом оценки может различать уровень компетентности обучающихся. Мы намеренно повысили количество повторений процедуры и исключили такой обучающий элемент, как обратная связь от инструктора [10]. При отсутствии элемента обратной связи участники могли улучшать свой навык только за счет эффекта повторений [10]. Это одна из основных задач симуляционной модели, выполнение которой, в свою очередь, подтверждает 4-й уровень валидности по S. Messick.

Для получения отметки "сдал" студентам необходимо набрать 27 баллов, а ординаторам 30, что эквивалентно 73 и 81% максимума и соответствует общепринятым стандартам. Применение модифицированного метода контрастных групп позволяет скорректировать результаты при малых выборках [9]. Однако размер выборки требует осторожности при интерпретации данных результатов, несмотря на коррекцию метода, они могут иметь другие значения, если выборка будет иметь нормальное распределение. Более масштабное многоцентровое исследование могло бы решить эту проблему.

Менее опытные участники (1-я и 2-я группы) получили более высокие оценки после 2-й и 3-й попытки, что указывает на полезный эффект от обучения. Участники 1-й группы также намного быстрее выполняли каждую последующую процедуру, что усиливает доказательство полезного эффекта. Отсутствие статистической разницы по времени и баллам у 3-й группы ожидаемо и объясняется изначально высоким уровнем практических навыков, что подтверждает полученные раннее результаты. Отсутствие статистической разницы по затраченному времени у 2-й группы можно объяснить наличием у ординаторов опыта выполнения других манипуляций, который позволил им увеличить скорость выполнения процедуры уже после 1-й попытки.

По результатам 3-й попытки только 1 студент и 2 ординатора успешно выполнили процедуру. Такое небольшое количество успешных участников объясняется отсутствием обратной связи до, во время и после выполнения процедуры. Однако даже при ее отсутствии мы получили статистически значимый полезный эффект от использования симуляционной модели. В будущих исследованиях планируется оценить время и количество попыток, необходимое для достижения уровня компетентности.

Заключение

Совокупность собранных доказательств свидетельствует в пользу валидности симуляционной модели, разработанной инициативной группой школы медицины ФГАОУ ВО ДВФУ. Следует учитывать, что стандартизированный процесс валидизации хорошо работает в моделируемых условиях, так как значительно снижает риск случайных событий, влияющих на результаты. Вопрос о том, можно ли экстраполировать опыт, полученный в смоделированных условиях, на клиническую практику, остается открытым и требует дальнейшего изучения.

Благодарности. Отдельная благодарность выражается Клышко Никите Константиновичу и Демидову Никите Григорьевичу за помощь в организации исследования.

Литература

1. Barsuk J.H., Cohen E.R., Feinglass J., Kozmic S.E., McGaghie W.C., Ganger D., Wayne D.B. Cost savings of performing paracentesis procedures at the bedside after simulation-based education // Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014. Vol. 9, N 5. P. 312-318.

2. Hernandez M.C., Khatib M.E., Prokop L., Zielinski M.D., Aho J.M. Complications in tube thoracostomy: Systematic review and meta-analysis // The Journal of Trauma and Acute Care Surgery. 2018. Vol. 85, N 2. P. 410-416.

3. Салимов Д.Ш., Крайнюков П.Е., Воробьев А.А., Калашников А.В., Травин Н.О. Дренирование плевральной полости при неотложных состояниях в торакальной хирургии: извлеченные уроки. Текст : электронный // Вестник Национального Медико-Хирургического Центра им. Н.И. Пирогова. 2020. Т. 15, № 1. URL: https://elibrary.ru/item.asp?id=43010742 (дата обращения: 05.11.2021).

4. Berkenstadt H., Munz Y., Trodler G., Blumenfeld A., Rubin O., Ziv A. Evaluation of the Trauma-Man® Simulator for Training in Chest Drain Insertion // European Journal of Trauma. 2006. Vol. 32. P. 523-526.

5. Al-Qadhi S.A., Pirie J.R., Constas N., Corrin M.S.C., Ali M. An innovative pediatric chest tube insertion task trainer simulation: a technical report and pilot study // Simulation in Healthcare: Journal of the Society for Simulation in Healthcare. 2014. Vol. 9, N 5. P. 319-324.

6. Газимиева Б.М., Боронова В.В., Гузик А.А., Ким Е.В., Одинокова С.Н., Эдгаев Д.А., Горшков М.Д., Шубина Л.Б., Грибков Д.М., Леонтьев А.В. Валидация курса БЭСТА - базового эндохирургического симуляционного тренинга и аттестации // Виртуальные технологии в медицине. 2016. Т. 1. № 1. С. 40-44.

7. Cook D.A., Hatala R. Validation of educational assessments: a primer for simulation and beyond // Advances in Simulation (London, England). 2016. Vol. 1. P. 31.

8. Rasmussen K.M.B., Hertz P., Laursen C.B., Arshad A., Saghir Z., Clementsen P.F., Konge L. Ensuring Basic Competence in Thoracentesis // Respiration; International Review of Thoracic Diseases. 2019. Vol. 97, N 5. P. 463-471.

9. Jørgensen M., Konge L., Subhi Y. Contrasting groups’ standard setting for consequences analysis in validity studies: reporting considerations // Advances in Simulation (London, England). 2018. Vol. 3. С. 5.

10. Elghoul Y., Bahri F., Trabelsi K., Chtourou H., Frikha M., Clark C.C.T., Glenn J.M., Bragazzi N., Souissi N. Optimizing Motor Learning: Difficulty Manipulation Combined with Feedback-Frequency Enhance Under-Time-Pressure Fine-Motor-Coordination Skill Acquisition and Retention // Journal of Motor Behavior. 2021. P. 1-13.

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Балкизов Залим Замирович
Генеральный секретарь Российского общества специалистов медицинского образования, директор Института подготовки специалистов медицинского образования ФГБОУ ДПО РМАНПО Минздрава России, профессор кафедры профессионального образования и образовательных технологий ФГАОУ ВО РНИМУ им. Н.И. Пирогова Минздрава России, генеральный директор компании ГЭОТАР-Мед, Советник Президента Национальной медицинской палаты, Москва, Российская Федерация

Журналы «ГЭОТАР-Медиа»