Привлеченные эксперты наблюдали за коммуникативными действиями экзаменующихся и одновременно и независимо друг от друга их оценивали, занося результаты в google-формы.
Статистический анализ проводили с помощью электронных таблиц Microsoft Excel с надстройкой Analysis ToolPak и встроенной программой анализа данных "AtteStat" (версия 13.2, автор И.П. Гайдышев) [11].
Для анализа и интерпретации полученных данных был выбран вариант анализа 4-клеточных таблиц, так как на базе таких таблиц возможно вычисление показателя отношения шансов (ОШ). В нашем случае этот показатель позволил сравнить шансы выставления высших отметок разными субъектами оценок.
Формирование 4-клеточных таблиц - результат дихотомизации спектра оценок, когда все они были разделены на две группы: 1) высшие ("4" и "5") и 2) прочие ("1", "2" и "3"). Далее оценки в таблицах были соотнесены с их источниками: респондентами (самооценка) и экспертами-преподавателями (психологом и стоматологом).
Проведена оценка информативности признаков [12]. В расчетах мы принимали во внимание число значимых связей. Для итогового вычисления необходимых рейтингов вместо величин ОШ использовались ранги их сумм, при этом наибольшее значение показателя получало ранг 1.
Результаты и обсуждение
Коэффициент внутренней согласованности (альфа Кронбаха) всех вопросов формы оценки (анкеты для экспертов и самооценки) оказался равным 0,97 (превосходный), что свидетельствует о высокой надежности используемого оценочного инструмента.
Анализ показателей отношения шансов отражен в табл. 1.
)
)
Таким образом, уровни показателей ОШ при разных сочетаниях источников оценок в целом достоверно различаются. Максимальная разница распространенности высших оценок отмечена при таких источниках оценок, как респонденты - эксперт-стоматолог, а минимальная при таких источниках оценок, как респонденты - эксперт-психолог.
Статистически незначимые показатели указывают на то, что, по сути, соответствующие источники оценок одинаково часто выставляют высшие отметки.
Анализ данных показал, что: 1) респонденты и эксперт-психолог одинаково часто выставляли высшие оценки по следующим подпунктам: А1, А2, А3, B1, С1, С3, D2, D3, Е1, Е2, Е3. По остальным подпунктам оценки респондентов были завышены по сравнению с оценками эксперта-психолога; 2) респонденты и эксперт-стоматолог одинаково часто выставляли высшие оценки по подпункту G4. По остальным подпунктам оценки респондентов были завышены по сравнению с оценками эксперта-стоматолога; 3) эксперт-психолог и эксперт-стоматолог одинаково часто выставляли высшие оценки по следующим подпунктам: С1, D3, G1, G2, G3, G4. По остальным подпунктам оценки эксперта-психолога были завышены по сравнению с оценками эксперта-стоматолога.
Очевидно, что большинство респондентов отличала неадекватно завышенная самооценка коммуникативных навыков в ситуации разъяснения информации пациенту. Эксперт-стоматолог почти по всем вопросам анкеты более строго оценивал коммуникативные навыки респондентов по сравнению с оценкой эксперта-психолога и оценками респондентов.
Наряду с показателем ОШ нами был использован скорректированный (нормированный) коэффициент сопряженности Пирсона. Результаты (дисперсионный анализ, оценка информативности признаков) совпали с приведенными выше, что позволяет нам рекомендовать использование указанного коэффициента в случаях, когда это окажется более удобным.
В случае расхождения мнения экспертов требуется устное согласование для объективизации оценки. Однако в условиях экзамена или процедур аккредитации это вряд ли возможно, так как занимает много времени.
Предложенная форма оценки коммуникативной компетентности предназначена для клинических ситуаций на разных этапах медицинской консультации и не включает критерии для оценки клинической компетенции. Отсюда в роли эксперта при соответствующем обучении могут быть задействованы как эксперты-психологи, знакомые со спецификой медицинской деятельности, так и эксперты - преподаватели-врачи. Предпочтение мы отдаем преподавателям-врачам.
Оценки стандартизированного пациента (СП) мы не сравнивали с экспертными оценками и самооценкой респондентов, так как СП работал с другой анкетой, переведенной и адаптированной нами ранее [9]. Данная анкета предназначена для пациента и включала 9 пунктов, где 1-5 вопросы направлены на оценку навыков межличностного взаимодействия, а вопросы 6-9 - на оценку коммуникативных навыков врача.
Как видно из табл. 2, количество высших отметок по вопросам 1-5 анкеты составило 156 (89,1±2,36%), по вопросам 6-9 - 71 (50,7±4,23%). Шансы на то, что СП выставит респондентам высшие отметки относительно вопросов 1-5 анкеты в 8,0±2,36 раза выше, чем шансы на то, что высшие отметки будут выставлены по вопросам 6-9. Таким образом, СП сравнительно высоко оценил навыки межличностного общения аккредитуемых и значительно ниже коммуникативные навыки, необходимые для разъяснения и обсуждения информации с пациентом.
)
Оценка коммуникативных навыков экзаменующихся/обучающихся СП является важной составляющей в многосторонней оценке. Именно пациент, а не эксперт, может определить, удалось ли врачу в ходе медицинской консультации создать основу для конструктивных отношений, которые характеризуются появлением общих мыслей и чувств врача и пациента относительно характера имеющейся проблемы, целей лечения и самих отношений.
Организованная конструктивная обратная связь с СП после выполнения оценочного задания может существенно повлиять на самооценку экзаменующихся и улучшить качество подготовки к общению с пациентом.
Заключение
На основании анализа научной литературы и результатов исследования можно сделать следующие выводы относительно условий организации и содержания многосторонней оценки коммуникативных навыков в процессе обучения будущих врачей и процедурах текущего и промежуточного контроля, а также итоговой государственной аттестации и аккредитации специалистов.
1. Использование в контрольных процедурах многосторонней оценки должно быть обеспечено стандартизированным оценочным инструментарием, отвечающим таким требованиям, как надежность и валидность.
2. Организация многосторонней оценки коммуникативных навыков, несомненно, повышает ее объективность, но это затратный по времени и человеческим ресурсам процесс. Отсюда ее применение нерационально при итоговой государственной аттестации и аккредитации специалистов, где задействованы большие потоки экзаменующихся. Тем не менее этот метод будет эффективным в процессе обучения коммуникативным навыкам будущих врачей в малых группах, где возможно организовать обсуждение и согласование оценок, а также обратную связь.
3. Внедрению многосторонней оценки должно предшествовать обучение коммуникативным навыкам, как важной составляющей медицинского профессионализма, преподавателей-клиницистов, студентов и ординаторов.
4. Участники многосторонней оценки (эксперты, преподаватели, экзаменующиеся, пациенты/стандартизированные пациенты) для повышения ее объективности должны быть обучены методике оценивания. Функции экспертов могут выполнять как эксперты-психологи, так и врачи-преподаватели при условии, что они хорошо знают закономерности, принципы и специфику профессионального общения в медицинской практике, умеют различать профессиональное и непрофессиональное поведение врача.
5. Содержание многосторонней оценки коммуникативных навыков должно быть сопряжено с оценкой мануальных навыков обучающихся и навыков клинического мышления, что потребует разработки соответствующего контента для клинических ситуаций и стандартизированного инструментария для комплексной оценки медицинского профессионализма.
Литература
1.Приказ Министерства науки и высшего образования РФ от 12 августа 2020 г. № 988 "Об утверждении федерального государственного образовательного стандарта высшего образования - специалитет по специальности 31.05.01 Лечебное дело" (с изменениями и дополнениями). Редакция с изменениями № 1456 от 26.11.2020. URL: https://fgosvo.ru/fgosvo/index/26/76
2.Приказ Минздрава России от 22.11.2021 г. № 1081н "Об утверждении Положения об аккредитации специалистов" (зарегистрировано в Минюсте России 30.11.2021 № 66115). URL: http://fmza.ru/docs/polozhenie-ob-akkreditatsii-spetsialistov/
3.Rider E.A. A model for communication skills assessment across the undergraduate curriculum // Med. Teach. 2006. Vol. 28, N 5. P. 127-134. DOI: https://doi.org/10.1080/01421590600726540
4.Сalhoun A.W., Rider E.A., Meyer E.C., Lamiani G., Truog R.D. Assessment of communication skills and self-appraisal in the simulated environment: feasibility of multirater feedback with gap analysis // Simul. Healthc. 2009. Vol. 4, N 1. P. 22-29.
5.Calhoun A.W., Rider E.A., Peterson E., Meyer E.C. Multi-rater feedback with gap analysis: an innovative means to assess communication skill and self-insight // Patient Educ. Couns. 2010. Vol. 80, N 3. P. 321-326. DOI: https://doi.org/10.1016/j.pec.2010.06.027
6.Rider E.A. Interpersonal and communication skills // A Practical Guide to Teaching and Assessing the ACGME Core Competencies. 2nd ed. / E.A. Rider, R.H. Nawotniak. Marblehead, MA : HCPro, Inc., 2010. P. 1-137.
7.Beaton D.E., Bombardier C., Guillemin F., Ferraz M.B. Guidelines for the process of cross-cultural adaptation of self-report measures // Spine (Phila Pa 1976). 2000. Vol. 25, N 24. P. 3186-3191. DOI: https://doi.org/10.1097/00007632-200012150-00014
8.Как рассчитать альфу Кронбаха в Excel. Редакция Кодкампа. URL: https://www.codecamp.ru/blog/cronbachs-alpha-excel/
9.Васильева Е.Ю. Коммуникативные навыки (для медицинских вузов) : учебное пособие. Москва : КНОРУС, 2021. 218 с. (Специалитет и ординатура).
10. Васильева Е.Ю. К вопросу оценки коммуникативной компетентности в российском медицинском образовании // Вестник высшей школы. 2022. № 7. С. 100-104. DOI: https://doi.org/10.20339/AM.07-22.100
11. Гайдышев И.П. Моделирование стохастических и детерминированных систем : руководство пользователя программы AtteStat. Курган, 2013. 490 с.
12. Глинский В.В., Ионин В.Г. Статистический анализ : учебное пособие для экономических вузов. 3-е изд., перераб. и доп. Москва : ИНФРА-М; Новосибирск : Сибирское соглашение, 2002. 241 с. (Высшее образование).