Лапароскопия представляет неотъемлемый компонент современной повседневной урологической практики. Это направление быстро развивается в крупных медицинских центрах, однако медленно внедряется в общую практику урологии, поскольку в большинстве случаев предполагает весьма крутую кривую обучения. Сниженное восприятие глубины, двухмерное изображение, ослабленные тактильные ориентиры и ощущение конечного усилия, сообщаемого инструменту при работе в контринтуитивной среде, крайне затрудняют процесс обучения. Но по этим же причинам в отличие от открытой хирургической операции условия лапароскопического вмешательства можно воспроизвести компьютерными средствами виртуального отображения (виртуальной реальности). Необходимость постоянного обновления этих непростых лапароскопических навыков сделали базовую лапароскопию доступной для симуляционного обучения [1]. Таким образом, хирургические симуляторы помогут хирургам-новичкам приобрести навыки управления лапароскопическими инструментами, компенсации угла расположения камеры и фалькрум-эффекта инструментов, а также отработать манипуляции обеими руками [2].
Перед началом работы на хирургическом симуляторе его следует тщательно и объективно проверить на предмет научной надежности и валидности [3]. Из 5 признанных типов валидности [содержательная, внешняя, конструктная, конкурентная и предсказательная (прогностическая)] мы остановились на 3 основных видах валидности: содержательной, внешней, конструктной. Одной из наиболее важных считается конструктная валидность, поскольку она подтверждает способность симулятора по результатам анализа качества работы отличить опытного хирурга от неопытного. Содержательная валидность характеризует применимость симулятора как средства обучения и оценивается по данным официального заключения специалистов, которые хорошо в нем разбираются. Этот параметр позволяет определить реальную способность симулятора выполнять заявленные задачи обучения. Как правило, внешняя валидность произвольно оценивается неспециалистами и используется для оценки, насколько создаваемые симулятором условия близки к реальным, т.е. на каком уровне симулятор воспроизводит то, что он должен воспроизводить [3].
Цель настоящего исследования - представление начальной оценки конструктной, содержательной и внешней валидности хирургического симулятора LAPMentor (Simbionix) при его использовании для формирования базовых навыков лапароскопической работы. Только после определения всех этих видов валидности целесообразно продолжать анализ с оценкой конкурентной (степень соответствия симулятора "золотому стандарту" технической подготовки) и прогностической (подтверждение возможности прогнозировать будущий уровень навыков стажера при переходе к реальной работе в операционной по показателям качества хирургической деятельности на симуляторе) валидности.
Материал и методы
После получения одобрения от Экспертного совета Калифорнийского университета (Ирвин) студенты-медики (MS), ординаторы, стипендиаты в области общей хирургии и акушерства и гинекологии (R/F) и опытные лапароскопические хирурги (ES) были приглашены для участия в исследовании, проведенном с августа 2004 по январь 2005 г. Группу ES составили практикующие урологи, общие хирурги и гинекологи, проводящие лапароскопические вмешательства. Эта группа была разделена на 2 подгруппы: хирурги, проводящие <30 лапароскопических вмешательств в год (ES<30), и хирурги, ежегодно проводящие >30 лапароскопических операций (ES>30). В большинстве случаев врачи группы ES>30 приняли участие в исследовании добровольно, во время 13-го Международного конгресса и Ежегодной конференции "EndoExpo" Общества лапароэндоскопических хирургов в Нью-Йорке (штат Нью-Йорк).
Система LAPMentor представляет компьютерный симулятор со средствами виртуального отображения, предназначенный для формирования основополагающих навыков лапароскопической работы. В его состав входят 2 симуляторных рабочих инструмента и камера. Движения инструмента и камеры передавали в виртуальную рабочую среду, включая тактильный регулятор, и отображали на 17-дюймовом плоском жидкокристаллическом мониторе. Задания по формированию базовых навыков (SK) включали работу с 0° камерой (SK1), работу с 30° камерой (SK2), зрительно-моторную координацию (SK3), клипирование кровоточащих участков (SK4), захват и клипирование источников кровотечения (SK5), работу обеими руками (SK6), рассечение (SK7), коагуляцию (SK8) и перемещение объектов (SK9) (табл. 1).
Каждое базовое SK было разделено на компоненты, которые варьировали соответственно характеру задания. Оценивали общее время выполнения каждого упражнения. Показатель точности в процентном выражении был определен как число "пораженных" красных шариков, общее число снимков (SK1) и (SK2) или оба показателя, число корректных контактов с шариками, общее число "выбранных" шариков (SK3) или оба показателя, число правильно наложенных скобок, общее число наложенных скобок (SK4) или оба показателя, число случаев рассечения без посторонних повреждений, общее число рассечений (SK7) или оба показателя, а также количество коагулированных выделенных структур, их общее число (SK8) или оба показателя. Результаты по каждому базовому SK автоматически регистрировали в соответствии с заложенным в системе алгоритмом и сохраняли в виде электронных таблиц в защищенном паролем каталоге. Общие результаты анализа качества деятельности системы LAPMentor представляли по всем 9 заданиям.
Шкалы SK и их компонентов сравнивали между 3 группами участников. Затем заданные изготовителем показатели качества выполнения заданий, включающие данные о скорости и точности работы, сравнивали между собой с определением коэффициента корреляции каждого компонента с остальными. После персонального практического инструктажа по каждому задания, который включал определение ожидаемых показателей, регистрируемых переменных и штрафов за ошибки и проводился опытным специалистом, участникам предоставлялась возможность выполнить одну попытку, после которой регистрировалось качество их деятельности. Участники выполняли задания на симуляторе LAPMentor, последовательно переходя от задания 1 к заданию 9. Непосредственно по окончании работы на симуляторе проводили опрос каждого участника исследования (демографические данные, опыт хирургической работы и впечатления от работы на симуляторе). В анализ включали данные опроса ES, касающиеся содержательной валидности, и MS, касающиеся внешней валидности.
Анализ данных включал в себя описательную статистику, подсчет коэффициентов корреляции и сравнительный анализ средних показателей качества работы между 3 группами. Статистическую значимость различий определяли с помощью однофакторного дисперсионного анализа (ANOVA) или г-теста для независимых выборок. Значимые результаты ANOVA обрабатывали методом парных сравнений с применением теста Стьюдента-Ньюмана-Кейлса (для гомогенных дисперсий) или теста Геймса-Хоуэлла (для гетерогенных групповых дисперсий). В качестве критерия статистической значимости был установлен номинальный α-уровень <0,05, не сделано никакой поправки для контроля ошибки первого рода в случае множественных сравнений. Все расчеты проводили с помощью пакета статистических программ SPSS, версия 12.0 (SPSS Inc).
Результаты
Всего в исследовании участвовали 103 человека: 23 - MS, 24 - R/F, 26 - ES<30 и 30 - ES>30. Средний возраст участников по группам: MS - 26 лет (21-32), R/F - 31 год (27-39), ES<30-49 лет (31-70) и ES>30-47 лет (34-69). Возраст участников обеих групп ES был примерно одинаковым, но существенно выше, чем у лиц группы R/F, участники которой были, в свою очередь, заметно старше лиц группы MS. В группе MS было 25% женщин, в группе R/F - 21% и в группе ES - 4%. К моменту исследования все участники из группы R/F принимали участие в <30 лапароскопических вмешательств в качестве ассистентов, за исключением 1 старшего ординатора-общего хирурга и 1 стипендиата-уролога, которые принимали участие в >50 вмешательствах. Ни один из участников группы MS на момент начала исследования не имел опыта лапароскопической работы.
Существенных различий показателей качества работы с камерами (SK1 и SK2) между участниками 4 групп не обнаружено (табл. 2, 3). В группах ES>30, ES<30 и R/F результаты при выполнении заданий SK3, SK4, SK5 и SK6 также были примерно одинаковыми, но они были существенно выше, чем у лиц группы MS. Результаты выполнения заданий SK7 (рассечение) и SK9 (перемещение объектов) в группах ES>30 и R/F были схожими, но при этом значительно превышали данные (p<0,01 для SK7, p<0,001 для SK9), выявленные у участников групп ES<30 и MS, которые, в свою очередь, немногим отличались между собой. Примечательно, что качество выполнения задания SK8 (коагуляция) в группах ES<30 и R/F было примерно одинаковым, но в целом существенно менее высоким, чем в группе ES>30 (p<0,01), данные которой, в свою очередь, оказались заметно выше по сравнению с группой MS (p<0,001). При анализе общих и совокупных данных было выявлено, что участники групп ES>30 и R/F получили примерно одинаковые результаты (p=0,95), которые были значительно выше результатов, полученных участниками группы ES<30 (p=0,0001). Аналогично этому совокупные данные группы ES<30 были существенно лучше, чем в группе MS (p=0,0001).
Данные, касающиеся выполнения задания SK8 (коагуляция), были проанализированы повторно. Среднее и медиана качества выполнения для группы ES>30 составили 86 и 93 соответственно (рис. 1). В группе R/F было несколько случаев превышения средних показателей SK8 группы ES>30, а в группе ES<30 их не было совсем. Аналогично этому в группе MS было мало случаев превышения показателей SK8 групп R/F и ES<30, а в сравнении с группой ES>30 их не было совсем. Все средние показатели в группах MS, R/F и ES<30 были ниже самого низкого показателя группы ES>30.
Было отмечено, что одна из стипендиатов группы R/F прежде имела значительный опыт лапароскопической работы в области общей хирургии в Южной Америке до начала специализации в данной области. В связи с этим ее результаты были перенесены из группы R/F в более подходящую для нее группу ES<30, а данные выполнения задания SK8 подвергнуты повторному анализу. Таким образом средний показатель качества выполнения SK8 в группе ES>30 (86±14) оказался выше, чем в группе ES<30 (79±15), правда, это различие было статистически незначимым. В этих группах индексы выполнения задания SK8 были значимо выше (p<0,0005) по сравнению с группой R/F после проведенных изменений (52±17) и в группе MS (43±16). Хотя в пересмотренной группе R/F показатели SK8 были выше, чем в группе MS, различия были незначимы. Представляет интерес и тот факт, что 2 наивысших показателя выполнения SK8 в группе R/F при сравнении с группой ES>30 существенно не различались (91±2,5 и 86±14 соответственно). У одного участника из группы R/F был внушительный опыт лапароскопической работы, а 2 других целенаправленно специализировались в данной области. Показатель качества выполнения SK8 этих участников группы R/F (91±2,5) был значительно выше, чем у всей группы R/F при анализе без 4 самых высоких результатов (52±17; p<0,0005). Показатели качества деятельности также анализировали в виде процентных квартилей: 76% - 100%, 51% - 75%, 26% - 50% и 0% - 25% (рис. 2).
Показатели SK8 85% участников группы ES>30 находились в квартиле 76-100, а 15% - в квартиле 51-75%. Ни у одного участника группы ES>30 показатель SK8 не превышал 50%. В группе ES<30 25% участников были классифицированы в квартиль 76-100, 70% - в квартиль 51-75 и 26% - в квартиль 50 (по 35% в каждую квартильную группу), а 5% - в квартиль 0-25%. В группе R/F 27,5% участников были отнесены в квартиль 76-100, 27,5% - в квартиль 51-75, 45% - в квартиль 26-50 и ни одного в квартиль 0-25%. В группе MS 77% участников были отнесены в квартиль 26-50, 14% - в квартиль 51-75 и по 4,5% - в квартили 76-100 и 0-25%.
Показатели качества выполнения заданий по каждой группе представлены в табл. 2. Участники группы MS были наименее точны при выполнении заданий SK3, SK5, SK6 и SK9. Важно отметить, что лица из группы MS не превзошли участников группы R/F ни по одному заданию.
Участники групп MS и R/F оценивали внешнюю валидность (реалистичность воспроизведения ситуации) системы LAPMentor. Из них 94% оценили симулятор как среднюю систему по простоте использования и выполнения различных практических заданий. 89% участников сочли, что симулятор LAPMentor в практическом плане реалистично воспроизводит рабочую ситуацию (табл. 4).
Участников группы ES>30 попросили оценить содержательную валидность симулятора LAPMentor (табл. 5). Большинство из них (91%) сочло систему LAPMentor полезным учебным средством, а 87% ответили, что симулятор так же хорош или даже лучше обычного тазового тренажера для обучения навыкам лапароскопической работы. 91% участников группы ES>30 намерены рекомендовать систему LAPMentor для применения в рамках программы лапароскопической подготовки (см. табл. 5), а 74% считают, что она предоставляет хорошие условия для подготовки ординаторов перед началом реальной лапароскопической работы в операционной. 35% опрошенных из группы ES>30 назвали симулятор LAPMentor адекватным средством сертификации, однако 39% не были уверены, что его можно использовать в этом качестве (см. табл. 5).
Обсуждение
Результаты заданий по работе с камерами (SK1 и SK2) хирургического симулятора LAPMentor не различаются в группах стажеров, как это ожидалось для заданий представляющих основные (фундаментальные) способности. По результатам заданий более высокого уровня, но одновременно менее сложных, таких как зрительно-моторная координация (SK3), клипирование источников кровотечения (SK4), захват и клипирование кровоточащих участков (SK5), а также манипуляции обеими руками (SK6) предоставляли информацию, с помощью которой можно было различить хирургов, не имеющих и имеющих опыт лапароскопической работы. Однако эти задания не позволяли дифференцировать хирургов в зависимости от их прежнего опыта лапароскопических вмешательств.
Задания более высокого уровня и умеренной сложности, включая рассечение (SK7) и перемещение объектов (SK9), также предоставляли информацию, с помощью которой можно было различить хирургов, не имеющих и имеющих опыт лапароскопической работы. Интересно, что при выполнении этих заданий показатели качества работы в группах ES>30 и R/F были примерно одинаковыми, равно как в группах ES<30 и MS, но данные групп ES>30 и R/F были заметно выше, чем в группах ES<30 и MS.
Задание, связанное с коагуляцией (SK8), требует квалификации очень высокого уровня. Оно предполагает одновременную работу с инструментами обеими руками, сходную с диссекцией, и пользование ножным приводом коагулирующего инструмента. Кроме того, правая педаль используется в сочетании с инструментом правой руки, а левая - с инструментом, управляемым левой рукой. С учетом этих особенностей данная задача, будучи более сложной, может быть и более ценной при выявлении хирургического опыта работы.
Действительно, показатели выполнения этого задания в группе ES>30 были значительно лучше по сравнению с другими группами. Примечательно, что результаты выполнения SK8 участниками групп ES<30 и R/F были примерно одинаковыми, но значительно превосходили данные группы MS. Максимальный показатель выполнения SK8 в группе R/F у нескольких лиц был выше среднего показателя в группе ES>30, но самый низкий результат SK8 в группе ES>30 не был ниже среднего показателя группы R/F. Следует отметить, что максимальный результат в группе ES<30 не превышал среднего показателя группы ES>30, а показатели группы ES<30 были сопоставимы с показателями группы R/F. Аналогично максимальный результат SK8 в группе MS не превышал среднего по группе ES>30. Таким образом, несколько участников групп MS и R/F очень хорошо справились с этим заданием высокого уровня, но ни один из их результатов не был лучше среднего показателя в группе ES>30. Эти данные подтверждают вывод о конструктной валидности SK8 системы LAPMentor.
Любопытно, что хирурги, обладающие некоторым опытом лапароскопической работы (R/F, ES<30 и ES>30) демонстрировали схожие результаты при работе с камерой по сравнению с испытуемыми группы MS. Это может быть следствием того, что ES редко используют камеры, а R/F пользуются ими чаще. Навыки работы с камерами по сути отражают основополагающие способности, поэтому трудно ожидать ярких различий по этому показателю между новичками и ES. Таким образом, опыт в области выполнения этих манипуляций отражался на результатах деятельности, подтверждая гипотезу о том, что навыки работы с камерой имеют низкую конструктную валидность, если тестируются на симуляторе LAPMentor. R/F устойчиво работали лучше, чем MS, и их результаты были аналогичны результатам ES. Лицам группы MS требовалось больше времени на выполнение большинства базовых SK по сравнению с другими группами.
Ограничение настоящего исследования, которое может стать причиной для критики достоверности результатов, состоит в том, что участникам предоставлялась только одна практическая попытка для выполнения заданий. По данным Gallagher и соавт. [4] в небольших группах (6 опытных хирургов и 6 хирургов, не имеющих опыта в области лапароскопии) показатели качества деятельности отдельных лиц и группы в целом существенно улучшаются при проведении нескольких (до 3) зачетных попыток. Другие исследователи утверждают, что люди с более богатым опытом виртуальных игр лучше действуют (работают) в условиях виртуальной реальности и при использовании модельных лапароскопических симуляторов по сравнению с теми, кто регулярно не играет в подобные игры [5]. Это также может приводить к систематической ошибке, поскольку в исследовании участвовали опытные хирурги старшего возраста (медиана возраста - 45 лет по сравнению с 26 годами в группе MS и 32 - R/F). У участников этих 2 групп, естественно, опыт видеоигр больше, так как они моложе, что теоретически может способствовать их успехам при работе на симуляторе.
Система LAPMentor обеспечивала реалистичный формат воспроизведения и была названа участниками относительно простой в работе, т.е. данный симулятор обладает внешней валидностью. Наличие содержательной валидности симулятора LAPMentor также получило подтверждение. В большинстве случаев участники группы ES>30 сочли симулятор ценным средством обучения и подготовки и рекомендовали включить его в программу подготовки по лапароскопии. Наиболее интересным следует признать тот факт, что на данный момент отсутствуют данные, подтверждающие наличие прогностической и конкурентной валидности у симулятора LAPMentor, однако треть ES назвали его адекватным инструментом сертификации. Правда, это может отражать недостаточное понимание важности оценки научной валидности хирургических симуляторов. При другом подходе, по аналогии с подготовкой пилотов, оценка симуляторов может быть настолько интуитивной, что некоторые хирурги признают ее необходимость в направлении привилегий и сертификации.
Компьютерные средства воспроизведения быстро развиваются и могут стать полезными инструментами хирургической подготовки и аттестации хирургов. Достоверных подтверждений их превосходства над тазовыми тренажерами пока нет, но компьютерные лапароскопические симуляторы способствуют объективной оценке хирургических навыков, относительно свободны от преднамеренных или систематических ошибок, позволяют снизить внутри- и межличностные различия между испытуемыми, к тому же они более надежны [2, 6, 7]. Показатели индивидуальной деятельности регистрируются автоматически, исключая затратное по времени и средствам участие человека, а также противоречивые оценки, связанные с его необъективностью или невнимательностью. Эти средства могут стать ценными инструментами контроля процесса обучения с оценкой результатов по ходу работы. Несомненно, объективный анализ точности и эффективности формирования навыков является уникальной характеристикой компьютерных систем. Однако хирургические симуляторы в том виде, в котором они существуют, менее гибкие по сравнению с тазовыми тренажерами в отношении введения новых задач и дороги при эксплуатации в рамках учебных программ [7].
При должном внимании к развитию данного направления медицинской промышленности гибкость симуляторных систем, несомненно, будет повышаться, а дополнительные программные средства и модули со временем сделают их применение междисциплинарным. Следует признать, что поначалу вопросы стоимости будут препятствовать этому развитию, однако сильным аргументом в пользу применения симуляторов в специализированных учебных центрах станет перспектива повышения качества хирургической подготовки.
Согласно данным, приводимым Seymour с соавт. [1], ординаторы, отобранные для мини-инвазивной хирургической подготовки с использованием средств виртуального отображения (MIST-VR), выполняют диссекцию желчного пузыря на 29% быстрее и в 6 раз реже допускают ошибки по сравнению с не проходившими подготовку на симуляторах. Кроме того, симуляторы устраняют внутри- и межиндивидуальные различия между испытуемыми, что может оправдывать высокую стоимость компьютерных симуляторов. Среди их других достоинств можно назвать снижение затрат рабочего времени преподавателей. По завершении базовой подготовки по встроенной в систему программе стажер может получать инструкции и работать на симуляторе один.
Ряд других компьютерных лапароскопических симуляторов с набором заданий, анатомическим воспроизведением и наличием (или отсутствием) тактильного регулятора обладают высокой конструктной валидностью. Среди них можно назвать MIST-VR (Mentice AB) [8-10], LapSim (Immersion Medical) [11], MISTELS (SAGES FLS program) [12] и Xitact LS500 (Xitact SA) [13]. Следует признать, что современные валидные хирургические симуляторы работают только в области формирования базовых лапароскопических навыков. Симуляторы, предназначенные для приобретения навыков более высокого уровня и отдельных лапароскопических вмешательств, пока не имеют полной валидации. Важно также сравнить симуляторы между собой, используя один и тот же процесс валидации. Такие исследования в настоящее время проводятся при содействии Комитета хирургической подготовки Общества лапароэндоскопических хирургов.
Несмотря на то что конструктная валидность является важной характеристикой и ее следует оценить до того, как симулятор будет использоваться в качестве инструмента анализа, пока что исследование данного средства обучения только начинается. Планируется провести более продолжительные исследования 2 других очень важных типов валидности: прогностической и конкурентной. Только после определения этих характеристик может быть одобрено применение симулятора в качестве инструмента обучения и анализа. В настоящее время идут испытания, направленные на оценку прогностической валидности системы LAPMentor. Обучение и оценка уровня технических навыков в хирургии представляют наименее систематизированные и стандартизованные компоненты классического хирургического обучения. Недавние ограничения продолжительности рабочего дня ординаторов, рост стоимости операционного времени, внимание общества к медицинским ошибкам и вопросы этики обучения хирургическим навыкам в операционной стимулируют разработку учебных программ приобретения основополагающих лапароскопических навыков при отсутствии риска. Внедрение хирургических стимуляторов в учебные программы, по-видимому, будет предоставлять возможность обучения при отсутствии риска для максимального увеличения опыта и снижения продолжительности обучения сложным хирургическим методикам, а также способствовать снижению частоты осложнений. Имеются данные, свидетельствующие о том, что приобретенные навыки лапароскопической работы на симуляторе способствуют повышению безопасности пациента и минимизации продолжительности вмешательства [1].
Обучение на неодушевленных объектах способствует формированию реальных навыков лапароскопической работы, однако их объективная количественная оценка затруднена и требует контроля и анализа со стороны человека [2]. Компьютерные симуляторы позволяют объективно оценивать уровень формируемого навыка на основе качества деятельности, эффективности движения инструментов, учета ошибок, а не только по времени, затраченному на выполнение задания. Этот компьютерный формат функционирования позволяет также контролировать и сравнивать качество индивидуальной работы в динамике, что отражает кривую обучения, свойственную определенному навыку или вмешательству, а также обеспечивает возможность сравнения результатов работы отдельных лиц с данными квалифицированных коллег и специалистов. При подтверждении прогностической валидности можно сформулировать критерии уровня квалификации по отдельным навыкам и вмешательствам, а при соответствующих условиях это позволит хирургам переходить к реальной работе в операционной по достижению установленного уровня подготовки. Пребывание в операционной для ординаторов будет скорее привилегией, заслуженной в процессе обучения. К тому же симуляторы, подобные LAPMentor, регистрируют не только то, что делается, они обладают встроенными программными средствами, которые извещают хирурга о совершенной ошибке, позволяя ему быстро исправить ее и продолжить корректную и безопасную работу по выполнению задания, процедуры или того и другого.
В заключение следует отметить, что хирургический симулятор LAPMentor обладает приемлемой содержательной и внешней, а также подтвержденной конструктной валидностью. А точнее, SK8 - электрохирургическая коагуляция, выполняемая обеими руками с применением ножного переключателя - была единственной манипуляцией, по результатам выполнения которой можно было четко различить лиц групп MS, R/F, ES<30 и ES>30. Чтобы определить, обладает ли данный лапароскопический симулятор прогностической и конкурентной валидностью, требуются дополнительные испытания, прежде чем прибор можно будет рекомендовать для включения в состав курса обучения как валидное и надежное средство подготовки и оценки качества деятельности.
Вклад авторов
Идея и дизайн: McDougall, Boker, Clayman.
Сбор данных: McDougall, Corica, Sala, Stoliar, Borin, Chu.
Анализ и трактовка результатов: McDougall, Corica, Boker, Clayman.
Подготовка рукописи: McDougall, Corica, Boker, Clayman.
Критический анализ: Boker, Clayman.
Статистическая экспертиза: Boker.
Источники финансирования: McDougall, Clayman.
Общий контроль: McDougall, Clayman.
Литература/References
1. Seymour N.E., Gallagher A.G., Roman SA., et al. Virtual reality training improves operating room performance. Results of a randomized, double-blind study. Ann Surg. 2002; Vol. 236: 458-64.
2. Madan A.K., Frantzides C.T., Shervin N., Tebbit C.L. Assessment of individual hand performance in box trainers compared to virtual reality trainers. Ann Surg. 2003; Vol. 69: 1112-4.
3. McDougall E.M. Surgical simulation. AUA Updates (Accepted for publication).
4. Gallagher A.G., Lederman A.B., McGlade K., et al. Discriminative validity of the Minimally Invasive Surgical Trainer in Virtual Reality (MIST-VR) using criteria levels based on experience. Surg Endosc. 2004; Vol. 18: 660-5.
5. Enochsson L., Isaksson B., Tour R., et al. Visuospatial skills and computer game experience influence the performance of virtual endoscopy. J Gastrointest Surg. 2004; Vol. 8: 876-82.
6. Munz Y., Kumar B.D., Moorthy K., et al. Laparoscopic virtual reality and box trainers: is one superior to the other? Surg Endosc. 2004; Vol. 18: 485-94.
7. Kothari S.N., Kaplan B.J., DeMaria E.J., et al. Training in laparoscopic suturing skills using a new computer-based virtual reality simulator (MIST-VR) provides results comparable to those with an established pelvic trainer system. J Laparoendosc Adv Surg. Tech A. 2002; Vol. 12: 167-73.
8. Taffinder N., Sutton C., Fishwick R.J., et al. Validation of virtual reality to teach and assess psychomotor skills in laparoscopic surgery: results from randomized controlled studies using the MIST-VR laparoscopic simulator. Stud Health Technol Inform. 1998; Vol. 50: 124-30.
9. Gallagher A.G., Richie K., McClure N., McGuigan J. Objective psychomotor skills assessment of experienced, junior, and novice laparoscopists with virtual reality. World J Surg. 2001; Vol. 25: 1478-83.
10. McNatt S.S., Smith C.D. A computer-based laparoscopic skill assessment device differentiates experienced from novice laparoscopic surgeons. Surg Endosc. 2001; Vol. 15: 1085-9.
11. Duffy A.J., Hogle N.J., McCarthy H., et al. Construct validity for the LapSim laparoscopic surgical simulator. Surg Endosc. 2005; Vol. 19: 401-5.
12. Fried G.M., Feldman L.S., Vassiliou M.C., et al. Proving the values of simulation in laparoscopic surgery. Ann Surg. 2004; Vol. 240: 518-28.
13. Schijven M., Jakimowicz J. Construct validity. Expert and novices performing on the Xitact LS500 laparoscopy simulator. Surg Endosc. 2003; Vol. 17: 803-10.