Development and initial psychometric evaluation of a questionnaire for self-assessment of professional competencies of medical workers

• Ivan A. Sozykin
• Andrei V. Grechko
• Artem N. Kuzovlev
• Marina V. Petrova
• Vladimir G. Deriushkin

Abstract

The aim of the study was to develop and conduct a primary psychometric assessment of a questionnaire aimed at measuring the level of self-assessment of professional competence among medical professionals from private medical organizations working in the compulsory health insurance system. At the testing stage, a 16-point questionnaire assessing confidence in the implementation of specific practical competencies was offered to 64 respondents (doctors and department heads). A comprehensive psychometric analysis was performed, which included an assessment of reliability (α-Kronbach=0.876, ω-McDonald=0.892), discriminative ability of points, and criterion and constructive validity. The results demonstrate satisfactory psychometric characteristics of the instrument. The questionnaire is able to differentiate groups with different professional experience, which confirms its criterion validity. The revealed four-factor structure reflects the key aspects of professional activity. The tool is recommended for further validation on an expanded sample in order to be used for conducting internal audits, identifying areas of competence development and optimizing management decisions in medical organizations.

Keywords:professional competencies; self-assessment; healthcare workers; private medicine; compulsory medical insurance; psychometric analysis; reliability; validity

В условиях вовлечения частных медицинских организаций (МО) в систему обязательного медицинского страхования (ОМС) и усиления контроля над качеством актуальной задачей становится внутренний мониторинг и развитие кадрового потенциала [1, 2]. Одним из инструментов такого мониторинга может выступать оценка субъективной уверенности специалистов в реализации ключевых практических компетенций - самооценка уровня владения профессиональными компетенциями. В свою очередь, уровень владения профессиональными компетенциями медицинских работников, который напрямую зависит от уровня их квалификации, является критически важным фактором, влияющим на качество оказываемой медицинской помощи [3]. Критерии качества медицинской помощи и порядок проведения экспертизы качества медицинской помощи закреплены в приказах Минздрава России № 203н и 204н [4, 5]. Выявленные дефекты оказания медицинской помощи облагаются санкциями со стороны страховых медицинских организаций в виде неоплаты или неполной оплаты затрат на оказание медицинской помощи, а также уплаты МО штрафов [6, 7].

Ключевым фактором оказания качественной медицинской помощи является соблюдение прав пациентов, которые закреплены в Конституции РФ (ст. 41), федеральных законах (№ 323‑ФЗ, 326‑ФЗ), приказах Минздрава России (№ 956н, 833н, 425н), а также в Уголовном, Гражданском кодексах и Кодексе РФ об административных правонарушениях. Таким образом, знание этих прав и умение применять их на практике является неотъемлемой компетенцией медицинских работников, оказывающих медицинскую помощь как в государственных, так и в частных медицинских организациях по программе государственных гарантий оказания бесплатной медицинской помощи населению [8].

Самооценка уровня владения компетенциями базируется на когнитивной оценке собственной способности выполнять конкретные профессиональные задачи, регламентированные нормативными актами (федеральные законы № 323‑ФЗ, 326‑ФЗ, профильные приказы Минздрава России) [9]. Согласно теории самоэффективности А. Бандуры, субъективная уверенность в собственной способности выполнить действие является важным предиктором реального поведения, особенно в сложных, неоднозначных ситуациях [10]. В контексте медицинской практики низкая самооценка по критически важным компетенциям может служить ранним индикатором рисков, предшествуя дефектам оказания помощи и финансовым потерям МО из-за санкций страховых организаций. При этом важно подчеркнуть, что самооценка не тождественна объективному уровню компетенций, однако ее измерение позволяет выявить зоны субъективной неуверенности персонала, требующие управленческого внимания [11]. Низкая самооценка по критически важным компетенциям может служить ранним индикатором рисков для таких показателей, как качество медицинской помощи, и привести к финансовым потерям МО из-за санкций со стороны страховых организаций. Одним из инструментов такого мониторинга может являться оценка субъективного уровня уверенности медицинских работников в реализации ключевых практических компетенций, что авторы определяют как самооценку уровня владения профессиональными компетенциями [12, 13].

В настоящее время отсутствуют специализированные психометрические обоснованные инструменты для такой оценки, адаптированные к контексту работы в частных МО в рамках ОМС. Целью данного исследования стала разработка и первичная психометрическая проверка опросника, измеряющего уровень самооценки владения профессиональными компетенциями медицинскими работниками.

Материал и методы

Разработка опросника. Для оценки уровня самооценки профессиональных компетенций был разработан специализированный опросник. Исходный пул пунктов был сформирован на основе анализа нормативно-правовых актов, регулирующих медицинскую деятельность в системе ОМС (федеральные законы № 323‑ФЗ, 26‑ФЗ, приказы Минздрава России), а также типичных проблемных ситуаций, выявляемых при экспертизе качества. Итоговая версия включает 16 пунктов, каждый из которых описывает конкретную практическую ситуацию или действие (например, оформление документации, назначение лечения, взаимодействие с пациентом в рамках правового поля). Ответы фиксируются по 10-балльной шкале, где 1 - "совершенно не уверен в своей способности правильно выполнить данное действие", 10 - "полностью уверен в своей способности правильно выполнить данное действие". Дополнительно собирали социально-демографические данные: пол, возраст, специальность, должность, стаж, место работы.

Содержательную валидность опросника оценивали с привлечением трех экспертов - главных врачей частных МО, в которых в дальнейшем и было проведено пилотное исследование. Экспертам было предложено оценить каждый из 16 пунктов по 5-балльной шкале, где 1 - "данный пункт полностью не подходит для самооценки профессиональных компетенций", 5 - "данный пункт полностью подходит для самооценки профессиональных компетенций". Для каждого пункта рассчитывали индекс содержательной валидности и продемонстрировали 100% согласие экспертов. Средние оценки ясности формулировок составили 4,3±0,48 балла. На основе замечаний одного из экспертов была уточнена формулировка пункта В2: исходный вариант "Выписывая пациента раньше регламентированных сроков его лечения по его просьбе" был изменен на "При выписке пациента ранее установленных сроков по его просьбе" для устранения двусмысленности в понимании слова "регламентированных". Дополнений к перечню компетенций от экспертов не поступило. Эксперты не участвовали в дальнейшем опросе респондентов.

Выборка и процедура проведения пилотного исследования. В пилотном исследовании приняли участие 64 медицинских работника частных МО, оказывающих помощь по ОМС. От каждого респондента получено информированное добровольное согласие на участие в исследовании и на обработку персональных данных согласно Федеральному закону от 27.07.2006 № 152‑ФЗ "О персональных данных". Выборка включила 41 (64,1%) мужчину и 23 (35,9%) женщины. Средний возраст 39,8±10,2 года. Стаж работы: от 0 до 37 лет (в среднем 14,3±10,1 года). По должности: 11 (17,2%) заведующих отделениями и 53 (82,8%) врача различных специальностей. Респонденты, оказывающие медицинскую помощь в амбулаторных и стационарных условиях, - 33 (51,6%), только в стационарных условиях - 19 (29,7%), только в амбулаторных условиях - 12 (18,7%). Опрос проводили анонимно. Все респонденты осуществляли трудовую деятельность в частных МО, которые оказывали медицинскую помощь в том числе и по программе государственных гарантий оказания бесплатной медицинской помощи населению.

Методы анализа. Элементы описательной статистики в работе представлены в виде средних арифметических (M) со стандартным отклонением (SD), а также медианы (Мe), для более детального исследования рассчитывали коэффициент корреляции (r). Психометрические методы, с помощью которых осуществляли анализ разработанного опросника, представлены в табл. 1.

Статистическая обработка проводилась с использованием Python 3.8 с библиотеками pandas, scipy, scikit-learn и factor-analyzer.

Результаты

Описательная статистика. Перед психометрической оценкой были проанализированы данные дескриптивной статистики по каждому пункту опросника. Анализ средних значений по пунктам показал, что наиболее высокую уверенность респонденты испытывают в реализации компетенций, связанных с постановкой диагноза по стандартам (В4, М=8,92), информированием пациента (В6, М=8,61) и оформлением информированного согласия (В8, М=8,83), более 30% респондентов выбрали максимальный балл (потолочный эффект, celling effect). Потолочный эффект может свидетельствовать о недостаточной дифференцирующей способности данных пунктов в выборке с высоким уровнем самооценки либо о том, что данные компетенции являются базовыми и не вызывают затруднений у большинства специалистов [16]. При интерпретации результатов по этим пунктам следует учитывать данное ограничение. Наиболее низкая самооценка зафиксирована по пунктам, касающимся работы в условиях нормативных ограничений или этических дилемм: использование незарегистрированных препаратов (В9, М=5,05), искусственное изменение документации для госпитализации (В12, М=4,94), предложение платных альтернатив (В13, М=5,22).

Максимальный разброс (SD>3,0) мнений был выявлен по В2, В3, В9, В11, В12, В13, В15. Распределение баллов по пунктам опросника представлено в табл. 2.

Для оценки соответствия распределений нормальному закону использовался критерий Шапиро-Уилка. Для суммарного балла опросника значение W=0,961 (p=0,043), что указывает на статистически значимое отклонение от нормальности. Анализ распределений отдельных пунктов также выявил значимые отклонения для большинства из них (p<0,05). Наблюдаемые эффекты, такие как потолочные эффекты для пунктов В4 и В8 (доля максимальных ответов 64,1 и 59,4% соответственно), объясняют негауссов характер данных.

Анализ надежности. Коэффициент α-Кронбаха для всего опросника составил 0,876, что свидетельствует о высокой внутренней согласованности пунктов, все пункты измеряют общий конструкт. Для оценки надежности шкалы, а именно внутренней согласованности пунктов, был рассчитан коэффициент ω-Макдональда. Общая надежность шкалы составила ωt=0,892 [95% доверительный интервал (ДИ) 0,854; 0,924], что существенно превышает рекомендуемый порог (0,70) и свидетельствует о хорошей внутренней согласованности. Методом бутстрепа (1000 повторных выборок) рассчитаны 95% ДИ: для α-Кронбаха - [0,831; 0,912], для ω-Макдональда - [0,855; 0,923]. Полученные интервалы не включают пороговое значение 0,70, что подтверждает стабильность высокой внутренней согласованности опросника.

Дополнительно был проведен анализ коэффициента α-Кронбаха при удалении какого-либо пункта из опросника. Полученные данные представлены в табл. 2. Анализ показал, что при удалении одного вопроса надежность опросника не снижается. Максимальное снижение α отмечается при удалении нескольких вопросов: В10, В12, В13, что делает данные пункты наиболее важными, использование опросника без перечисленных вопросов ненадежно.

Авторы оценили качество каждого из пунктов опросника, используя индекс дискриминации (Item Discrimination Index), - стандартизированная разность между средними в верхней и нижней группе (27% лучших и 27% худших по общему баллу). Данные представлены в табл. 3.

Индекс дискриминации (ID)>0,3 был получен для 14 из 16 пунктов, что свидетельствует о хорошей способности опросника дифференцировать респондентов с разным уровнем самооценки компетенций. Исключение составили пункты В4 (ID=0,265) и В8 (ID=0,247), что может говорить об их низкой дифференцирующей способности или о том, что эти базовые компетенции оцениваются большинством респондентов одинаково высоко.

Надежность половинного деления с коррекцией Спирмена-Брауна составила 0,79, что также указывает на удовлетворительную надежность методики.

Факторная структура. Принимая во внимание небольшой размер выборки и то, что данное исследование является пилотным, проведенный анализ носит предварительный характер. Для проверки конструктной валидности был проведен факторный анализ. Предварительно был оценен критерий Кайзера-Мейера-Олкина, который составил 0,812, и тест сферичности Бартлетта, полученный χ²=1245,7; p<0,001, что подтвердило адекватность данных для факторного анализа.

Применение метода главных осей (EFA) с вращением Varimax, который ориентирован на выявлении латентной структуры, позволил выявить четырехфакторную структуру опросника, которая объясняет 71,3% совокупной дисперсии, что представлено в табл. 3.

Первый и наиболее значимый фактор (36.4%) "Уверенность в решении комплексных и нестандартных задач" объединяет пункты (В9-В13), связанные с действиями в условиях правовых ограничений, этических дилемм и сложных административных процедур. Второй фактор (18,2%), включающий В2, В3, В15, "Уверенность в преодолении организационных препятствий", отражает ситуации сбоя стандартных процессов (отсутствие документов, нарушение сроков). Третий фактор (10,5%) "Уверенность в выполнении стандартных клинико-коммуникативных процедур" включает базовые компетенции, такие как оформление документации (В1), диагностика по стандартам (В4), информирование пациента (В5-В6), работа в комиссиях и с согласием пациента (В7-В8). В конечном счете четвертый фактор (6.2%) "Уверенность в обеспечении качества медицинской помощи" состоит из пунктов В14 (описывающий обеспечение безопасности) и В16 (включающий учет пожеланий пациента как элемента качества медицинской помощи, связанный с ожиданиями пациента к уровню эмпатии медицинского работника). Каждый пункт опросника имеет четкую нагрузку на один из этих факторов, что подтверждает внутреннюю валидность модели (табл. 4).

Конвергентная валидность. Средняя интеркорреляция между пунктами составила 0,38±0,21 (диапазон 0,12-0,67). Все корреляции были статистически значимы (p<0,05), что подтверждает конвергентную валидность опросника.

Критериальная валидность. Дополнительно выборка была разделена на группы по критериям "стаж работы", "место работы". Для проверки критериальной валидности проведено сравнение групп (табл. 6). Обнаружены статистически значимые различия в общем балле самооценки между группами с разным стажем работы (F=4,32; p=0,018). С увеличением стажа растет и средняя уверенность в своих компетенциях (0-5 лет: 7,1±1,2; 6-15 лет: 7,8±1,1; >15 лет: 8,3±1,0). Различия между группами по месту работы (стационар/амбулатория) были незначимыми (p=0,125). Дополнительно был рассчитан размер эффекта (η²=0,12), соответствующий среднему влиянию стажа на самооценку компетенций согласно критериям Козна [17].

Обсуждение

Разработанный опросник демонстрирует удовлетворительные психометрические свойства и может быть рассмотрен как валидный инструмент для оценки профессиональных компетенций в рамках изучения профессиональных компетенций медицинских работников, оказывающих медицинскую помощь в частных медицинских организация.

Полученные коэффициенты надежности α-Кронбаха (0,876) и надежности половинного деления с коррекцией Спирмена-Брауна (0,79) являются основой для обсуждения точности измерения. Соответствие психометрическим критериям (коэффициент α-Кронбаха = 0,876) является весьма удовлетворительным для исследовательских целей [14]. Дополнительно был рассчитан коэффициент ω-Макдональда, составивший 0,892, что существенно превышает рекомендуемый порог (0,70) и свидетельствует о хорошей внутренней согласованности. Полученные значения коэффициентов α-Кронбаха и ω-Макдональда позволяют сделать вывод, что пункты опросника измеряют единый латентный конструкт с высокой степенью внутренней согласованности, а суммарный балл по шкале может уверенно использоваться в дальнейшем анализе в качестве интегрального показателя.

В ходе первичного анализа данных были выявлены статистически значимые отклонения распределений количественных переменных от нормального закона (критерий Шапиро-Уилка, p<0,05). Данный характер распределения, вероятно, обусловлен содержательными особенностями выборки и измеряемых конструктов. Во-первых, имеет место потолочный эффект: значительная часть респондентов продемонстрировала высокий уровень сформированности компетенций и удовлетворенности, что привело к накоплению частот в верхней части шкалы [16]. Во-вторых, социально-желательные ответы могли способствовать смещению распределения в сторону положительных значений, создавая умеренную асимметрию [12].

Несмотря на выявленные отклонения от нормальности, для дальнейшего анализа были выбраны параметрические критерии (дисперсионный анализ ANOVA, факторный анализ). Устойчивость ANOVA обеспечивается действием центральной предельной теоремы, согласно которой распределение выборочных средних приближается к нормальному при увеличении объема выборки [18]. Надежность полученных параметрических оценок подтверждается узкими 95% ДИ для средних значений, что свидетельствует о высокой точности измерений [14, 15].

Проведенный анализ α-Кронбаха при удалении показал, что удаление любого из 16 пунктов не приводит к снижению общего коэффициента α-Кронбаха. Это подтверждает конструктивную валидность опросника: все вопросы вносят положительный вклад в измерение целевого конструкта, и ни один из них не является слабым звеном, снижающим общую надежность. Наибольшее снижение надежности (максимальное падение значения α-Кронбаха) наблюдалось при гипотетическом удалении нескольких пунктов: В10, В12 и В13. Это указывает на то, что данные пункты являются наиболее информативными с точки зрения измеряемого конструкта: их наличие в опроснике критически важно для обеспечения его высокой надежности. Удаление пунктов 4 и 8 оказывает наименьшее влияние на общий показатель α, однако их корреляции с общим баллом также превышают допустимый порог (>0,3). На основании этого можно сделать вывод, что их вклад в общую надежность шкалы менее выражен по сравнению с другими пунктами.

Несколько более низкий, но удовлетворительный коэффициент Спирмена-Брауна (0,79) подтверждает стабильность получаемых результатов, в том числе при разделении опросника на части, что указывает на минимальные риски, связанные с ошибкой измерения [15].

Анализ дискриминативной способности пунктов (индекс дискриминации) показал, что 14 из 16 пунктов демонстрируют хорошие и отличные показатели (D>0,30). Это свидетельствует о высокой дифференцирующей способности опросника в целом [16, 19]. Использование разработанного опросника позволяет успешно разделять респондентов на группы с разным уровнем оценки собственной компетенции, что позволит качественно выявлять дефекты. Особого внимания заслуживают пункты 4 и 8, так как их индекс дискриминации ниже рекомендуемого порога (D=0,265 и D=0,247 соответственно). В связи с чем авторами было принято решение изменить формулировку 4‑го вопроса на "Формулируя диагноз пациенту в соответствии с кодами МКБ, указанными в клинических рекомендациях и стандартах медицинской помощи". Что касается 8‑го пункта, низкий индекс ассоциирован, вероятно, со сложностью восприятия формулировки в нормативно-правовых актах, однако данная трактовка была выбрана на основании Федерального закона № 323‑ФЗ, в связи с чем было решено не редактировать данный пункт.

Высокая внутренняя согласованность свидетельствует о том, что пункты опросника измеряют единый латентный конструкт. В теоретических моделях самоэффективность рассматривается как один из факторов, потенциально связанных с профессиональной успешностью и устойчивостью к выгоранию [17]. Однако в рамках данного исследования мы не проверяли эмпирические корреляции между самооценкой компетенций и указанными организационными исходами, что может являться задачей для дальнейших исследований.

Для исследования внутренней структуры опросника был проведен факторный анализ (метод главных осей с вращением Varimax). Критерий Кайзера-Мейера-Олкина (собственные значения >1) и анализ графика "каменистой осыпи" указали на целесообразность выделения четырех факторов. Четырехфакторное решение объясняет 71,3% общей дисперсии, что свидетельствует о его высокой репрезентативности [20].

Выявленная факторная структура в целом соответствует теоретической модели и подтверждает многомерность измеряемого конструкта. Выделение отдельного фактора, связанного с решением комплексных и нестандартных задач (фактор 1), является ключевым результатом. Он отражает именно те компетенции, которые находятся на стыке клинической практики, права и этики, и где чаще всего возникают риски для организации [21]. Низкие и средние баллы по этому фактору сигнализируют о потенциальной "зоне развития" для персонала и области повышенного управленческого внимания.

Выделенные факторы частично пересекаются с доменами, измеряемыми в зарубежных опросниках профессиональных компетенций. Например, в исследовании R. Lepnurm и соавт. (2015) пункты опросника удовлетворенности врачей были сгруппированы в соответствии с ролями CanMEDS (Communicator, Collaborator, Manager, Advocate, Scholar, Medical Expert). В нашем опроснике фактор 3 ("Уверенность в выполнении стандартных клинико-коммуникативных процедур") соотносится с ролями Communicator и Medical Expert, а фактор 1 ("Уверенность в решении комплексных и нестандартных задач") - с ролями Advocate и Manager. Однако прямое сопоставление затруднено в силу специфики российского нормативно-правового контекста, особенно в части компетенций, связанных с ОМС. Это подчеркивает необходимость разработки именно локальных контекстуально-специфичных инструментов [22].

Выявление статистически значимых различий между группами с разным профессиональным стажем служит убедительным доказательством критериальной валидности опросника [23]. Более высокие показатели у сотрудников с большим стажем являются закономерным процессом, который связан с профессиональным становлением медицинского работника и приобретением опыта. Отсутствие различий по месту работы может свидетельствовать об универсальности измеряемых компетенций для разных условий оказания помощи.

Несмотря на удовлетворительные психометрические характеристики, следует отметить ряд ограничений. Основные ограничения связаны с дизайном исследования (перекрестный срез) и объемом выборки (n=64) - это пилотное исследование. Данные результаты являются предварительными, особенно в части факторного анализа. Однородность выборки (только частные МО) ограничивает ее репрезентативность в отношении медицинских работников государственных учреждений здравоохранения. В рамках данного исследования не оценивалась стабильность результатов при повторном тестировании (тест-ретестовая надежность). Это связано с рядом организационных и методических ограничений, характерных для пилотных исследований в условиях действующих медицинских организаций: анонимность опроса, высокая занятость медицинского персонала, отсутствие административного ресурса, а также риск эффекта тренировки и изменения самооценки за короткий промежуток времени.

Поскольку опросник измеряет самооценку, а не объективные компетенции, нельзя исключать влияние фактора социальной желательности на ответы респондентов. Медицинские работники, особенно в частных МО, где может существовать более жесткий контроль качества медицинской помощи, могли быть склонны завышать свою уверенность, чтобы представить себя в более выгодном свете. Отсутствие в дизайне исследования шкалы лжи или методов контроля социальной желательности является ограничением.

Вывод и практическая значимость

В результате исследования был разработан и прошел первичную психометрическую апробацию оригинальный опросник для самооценки уровня владения профессиональными компетенциями медицинских работников частных МО, работающих в системе ОМС. Полученные данные свидетельствуют о предварительно удовлетворительных психометрических характеристиках инструмента: высокая внутренняя согласованность (α=0,876; ω=0,892), хорошая дискриминативная способность большинства пунктов, подтвержденная критериальная валидность (различия по стажу) и содержательно интерпретируемая факторная структура.

В силу ограничений исследования (малый объем выборки, отсутствие тест-ретестовой надежности, однородность выборки) инструмент требует дальнейшей валидации на расширенной репрезентативной выборке с применением confirmatory factor analysis (CFA) и оценкой внешней валидности.

Предварительная практическая значимость заключается в потенциальной возможности использования опросника для внутреннего аудита в частных МО с целью выявления зон субъективной неуверенности персонала и планирования адресных обучающих мероприятий. Однако любые управленческие решения на основе данного инструмента должны приниматься с учетом его предварительного статуса и в сочетании с другими методами оценки компетенций.

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)