AMEE GUIDE # 87. DEVELOPING QUESTIONNAIRES FOR EDUCATIONAL RESEARCH

• Anthony R. Artino Jr.
• Jeffrey S. La Rochelle
• Kent J. Dezee
• Hunter Gehlbach

Abstract

In this AMEE Guide, we consider the design and development of self-administered surveys, commonly called questionnaires. Questionnaires are widely employed in medical education research. Unfortunately, the processes used to develop such questionnaires vary in quality and lack consistent, rigorous standards. Consequently, the quality of the questionnaires used in medical education research is highly variable. To address this problem, this AMEE Guide presents a systematic, seven-step process for designing high-quality questionnaires, with particular emphasis on developing survey scales. These seven steps do not address all aspects of survey design, nor do they represent the only way to develop a high-quality questionnaire. Instead, these steps synthesize multiple survey design techniques and organize them into a cohesive process for questionnaire developers of all levels. Addressing each of these steps systematically will improve the probabilities that survey designers will accurately measure what they intend to measure.

ВВЕДЕНИЕ

Использование анкет при проведении научных исследований в области медицинского образования

В области медицинского образования опросы используются повсеместно. Примерами могут служить широко распространенная оценка медицинских курсов и медицинской практики студентами, а также опросы удовлетворенности пациентов и исследования самооценки студентов. Кроме того, инструменты опроса широко используются при проведении научных исследований в области медицинского образования. В нашем недавнем обзоре оригинальных исследовательских статей, опубликованных в журнале "Medical Teacher" в 2011 и 2012 гг., мы обнаружили, что 37 (24%) статей включали в себя опросы как часть исследования. Точно так же опросы обычно используются при проведении исследований в области высшего медицинского образования. По данным за тот же двухлетний период (2011-2012 гг.), опросы были включены в 75% исследовательских статей, опубликованных в журнале "Journal of Graduate Medical Education" ("Журнал высшего медицинского образования").

Практические аспекты

■ Анкетирование широко применяется при проведении научных исследований в области медицинского образования, но методики разработки таких анкет различаются по качеству, в этой области отсутствуют согласованные строгие стандарты.

■ В этом руководстве AMEE представлен систематический 7-этапный процесс создания высококачественных опросных шкал, пригодных для исследовательских целей и оценки программ.

■ Процесс объединяет в единое целое несколько методик, используемых разработчиками опросов.

■ Процесс разработки опроса, описанный в настоящем руководстве, включает следующие 7 этапов: 1) проведение обзора литературы; 2) проведение интервью и/или фокус-групп; 3) синтез данных, полученных при проведении обзора литературы и интервью/фокус-групп; 4) разработка вопросов; 5) сбор обратной связи по вопросам с помощью экспертной проверки; 6) проведение когнитивных интервью, чтобы убедиться в правильном понимании вопросов респондентами; 7) проведение пробного анкетирования ("пилотирование").

■ Этот 7-этапный процесс разработки опросов отличается от ранее описанных процессов тем, что он сочетает в себе данные, полученные от других экспертов в данной области, а также от потенциальных участников. Кроме того, в этом процессе основное внимание уделяется задаче обеспечения точности собираемых данных путем тщательной разработки вопросов.

Несмотря на широкое распространение опросов в области медицинского образования, в медицинской учебной литературе содержится ограниченное количество рекомендаций относительно наилучшего способа разработки опроса (Gehlbach et al., 2010). Поэтому зачастую опросы разрабатываются без соблюдения строгих методологий или "надлежащей практики" в этой области. В итоге надежность оценок, полученных в результате опросов, часто оказывается недостаточной, равно как и обоснованность предлагаемой интерпретации и использования этих оценок. Другими словами, когда опросы плохо разработаны, из-за различных типов ошибок измерения они могут не уловить суть того, что разработчик опроса пытается измерить. Например, плохая формулировка вопросов, их запутанная структура и неадекватные варианты ответов - все это может повлиять на надежность и достоверность собранных данных, что крайне затрудняет получение полезных выводов (Sullivan, 2011). Имея в виду указанные проблемы, в этом руководстве AMEE мы поставили цель описать систематический процесс разработки, который будет способствовать созданию надежных и валидных инструментов опроса, используемых в медицинском образовании и исследованиях. Таким образом, мы надеемся предоставить медицинским педагогам практическое руководство по повышению качества опросов, которые они разрабатывают для оценки и исследовательских целей.

СИСТЕМАТИЧЕСКИЙ 7-ЭТАПНЫЙ ПРОЦЕСС РАЗРАБОТКИ ШКАЛЫ ОПРОСА

Термин "опрос" достаточно широкий и может включать в себя вопросы, используемые в телефонном интервью, набор вопросов, используемых в фокус-группе, а также вопросы для самостоятельного ответа пациента (Dillman et al., 2009). Хотя методики, описанные в этом руководстве AMEE, могут быть использованы для повышения качества всего вышеперечисленного, мы сосредоточиваемся главным образом на опросных листах для самостоятельного заполнения, которые часто называют анкетами. Для большинства анкет главная цель состоит в том, чтобы разработать набор вопросов, которые каждый респондент будет интерпретировать одинаково, на которые каждый респондент будет отвечать точно, при которых респондент будет иметь желание и мотивацию отвечать. 7 этапов, представленных в табл. 1 и описанных ниже, не охватывают всех аспектов разработки опроса и не являются единственным способом разработки высококачественной анкеты. Скорее, эти этапы объединяют и сочетают в себе множество методов разработки опросов, существующих в социальных науках, и они могут направлять разработчиков на пути их создания. Систематическое выполнение каждого этапа позволит оптимизировать качество анкет в области медицинского образования и повысить шансы на сбор высококачественных данных.

Таблица 1. 7-этапный процесс разработки измерительных шкал опроса для исследователей вопросов медицинского образования

Адаптировано с разрешения Липпинкотта Уильямса (Lippincott Williams) и Уилкинса/Уолтерса (Wilkins/Wolters). Kluwer Health: Gehlbach H, Artino A.R. Jr., Durning S. AM last page: survey development guidance for medical education researchers. Acad Med. 2010; 85 (5): 925.

Анкеты хорошо подходят для сбора данных об абстрактных идеях или концепциях, которые иначе трудно поддаются количественной оценке, таких как мнения, установки и убеждения. Кроме того, анкеты могут быть полезны для сбора информации о поведении, которое не может наблюдаться непосредственно (например, учеба дома), при условии, что респонденты готовы и способны сообщать об этом поведении. Однако прежде чем создавать анкету, необходимо сначала понять, является ли опрос лучшим методом для решения поставленной в исследовании задачи или изучаемого конструкта. Конструкт - это модель, идея или теория, которую исследователь пытается оценить. В медицинском образовании многие конструкты, представляющие интерес, нельзя наблюдать непосредственно: удовлетворенность студентов новым учебным планом, оценка пациентами своего физического дискомфорта и т.д. Поскольку документирование этих явлений требует измерения восприятия людей, анкеты часто являются наиболее прагматичным подходом к оценке конструктов.

В медицинском образовании многие конструкты хорошо подходят для оценки с помощью анкет. Однако, поскольку психологические, не поддающиеся наблюдению конструкты, такие как мотивация преподавателя, уверенность врача и удовлетворенность обучающихся, не имеют общепринятой системы показателей, их трудно измерить с помощью одного вопроса анкеты. Другими словами, существует практически всеобщее согласие в отношении единиц и метода измерения некоторых конструктов, таких как вес или расстояние, и поэтому одного измерения может быть достаточно. Однако для более точного измерения не поддающихся наблюдению психологических конструктов часто требуются шкалы. Измерительные шкалы представляют собой группы сходных вопросов в анкете, предназначенной для оценки одного и того же базового конструкта (DeVeUis, 2003). Хотя шкалы сложнее разрабатывать и для этого требуется больше времени, они дают исследователям много преимуществ. В частности, шкалы позволяют более полно, точно и последовательно оценить лежащий в их основе конструкт (McIver, Carmines, 1981). Таким образом, шкалы широко используются во многих областях, включая медицинское образование, психологию и политологию. В качестве примера рассмотрим исследователя вопросов медицинского образования, интересующегося оценкой удовлетворенности студентов-медиков. Один из методов состоит в том, чтобы просто задать один вопрос об удовлетворенности (например, насколько вы были удовлетворены учебой на медицинском факультете?). Однако более эффективный метод состоит в том, чтобы задать ряд вопросов, призванных охватить различные аспекты конструкта удовлетворенности (например, насколько вы были удовлетворены средствами обучения, насколько эффективны были ваши преподаватели и насколько простым был процесс планирования?). Используя этот подход, можно рассчитать средний балл по всем вопросам определенной шкалы и использовать его в исследовании.

Из-за преимуществ оценки этих типов психологических конструктов с помощью шкал процесс разработки опроса, к которому мы сейчас обратимся, будет сосредоточен, в частности, на разработке шкал.

ЭТАП I. ПРОВЕДЕНИЕ ОБЗОРА ЛИТЕРАТУРЫ

I этапом разработки анкеты является обзор литературы. Обзор литературы имеет две основные цели: (1) четко определить конструкт и (2) определить, существуют ли уже методы измерения конструкта (или связанных с ним конструктов). Обзор литературы помогает согласовать определение конструкта с соответствующей теорией и исследованиями в этой области и в то же время помогает исследователю определить, какие измерительные шкалы или вопросы можно использовать или адаптировать для текущей цели (Gehlbach et aL, 2010).

Формулировка четкого определения конструкта является необходимым первым шагом в любом исследовании валидности (Cook, Beckman, 2006). Хорошее определение позволит прояснить, как конструкт позиционируется в существующей литературе, как он соотносится с другими конструктами и чем отличается от связанных конструктов (Gehlbach, Brinkworth, 2011).

Хорошо сформулированное определение также помогает определить уровень абстракции, на котором измеряется данный конструкт (так называемый размер зерна, как это определено в работе Gehlbach, Brinkworth, 2011). Например, для изучения степени уверенности обучающихся медиков в том, что они овладели необходимыми клиническими навыками, можно было бы разработать шкалы для оценки их уверенности в овладении навыками аускультации сердца (на мелкозернистом конце спектра), проведения физикального обследования (на среднезернистом конце спектра) или овладении клиническими навыками, необходимыми для преподаваемой медицинской дисциплины (на крупнозернистом конце спектра).

Хотя многие исследователи вопросов медицинского образования предпочитают разрабатывать опросы самостоятельно, возможно, более эффективный способ состоит в том, чтобы адаптировать существующий опросник (особенно если авторы существующего опросника собрали доказательства валидности в предыдущей работе), чем начинать с нуля. В этом случае обычно достаточно обратиться к авторам с просьбой адаптировать их анкету. Однако важно отметить, что термин "ранее валидированный опросник" является неправильным. Валидность оценок, полученных на основе определенного опросника или шкалы опроса, зависит, помимо прочего, от целевой группы населения, местной специфики и предполагаемого использования оценок шкалы. Таким образом, разработчики опросов собирают доказательства надежности и валидности своих измерительных шкал в определенном контексте, с определенной выборкой и для определенной цели.

Как описано в Стандартах образовательного и психологического тестирования (Standards for Educational and Psychological Testing), под валидностью подразумевается степень, с которой предполагаемое использование оценки поддерживается фактическими данными и теорией (AERA, APA & NCME, 1999). Процесс валидации является наиболее фундаментальным фактором при разработке и оценке инструмента измерения, и этот процесс включает в себя накопление доказательств во времени, в разных условиях и выборках для построения научно обоснованной аргументации валидности. Таким образом, установление валидности - это непрерывный процесс сбора доказательств (Kane, 2006). Кроме того, важно признать, что надежность и валидность - это свойства не опроса как инструмента, а оценки опроса и их интерпретации (AERA, APA & NCME, 1999). Например, опрос об удовлетворенности обучающихся может быть уместен для оценки аспектов благополучия студентов, но такой опрос не будет подходить для отбора лучших студентов-медиков. В этом примере опросный лист не претерпел изменений, изменилась только интерпретация оценок (Cook, Beckman, 2006).

Существует много веских причин для использования или небольшой адаптации существующего опросника. В этом случае можно провести сравнение с врачом, который должен решить, какое лечение наиболее эффективно. Преобладающее большинство практикующих врачей не проводят собственных сравнительных исследований, чтобы определить лучшие методы лечения для своих пациентов. Они, скорее, полагаются на опубликованные исследования, так как очевидно, что было бы нецелесообразно проводить такие исследования в отношении каждого случая заболевания. Точно так же медицинские преподаватели не могут разрабатывать собственные анкеты для каждого поставленного в исследовании вопроса или образовательного вмешательства. Как и клинические испытания, разработка качественного опросника требует времени, знаний, навыков и достаточного количества ресурсов. Таким образом, существующий хорошо разработанный опросник часто может позволить медицинским преподавателям направить свои ограниченные ресурсы на решение других проблем.

Если продолжать аналогию с клиническими исследованиями, можно привести следующий пример: когда практикующие врачи рассматривают отчет об исследовании, который имеет отношение к их клиническому вопросу, они должны решить, можно ли его применить к их пациенту. Как правило, при этом необходимо определить, являются ли выявленные в исследовании взаимосвязи причинно-следственными (внутренняя валидность) и применимы ли результаты к популяции пациентов данного врача (внешняя валидность). Аналогичным образом, анкеты, обнаруженные в ходе поиска литературы, должны быть критически проанализированы на предмет валидности, а затем на предмет возможности применения к целевой аудитории преподавателя. Если разработчики опросов найдут шкалы, которые точно соответствуют их конструкту, специфике и предполагаемому использованию, они могут использовать такие шкалы, внеся в них лишь незначительные изменения. В некоторых случаях сами вопросы могут быть плохо сформулированы, но их содержание может быть полезным для составления новых вопросов (Gehlbach, Brinkworth, 2011). Делать такие выводы будет тем легче, чем больше разработчик опроса знает о конструкте (посредством обзора литературы) и передовой практике составления вопросов (как описано в IV этапе).

ЭТАП II. ПРОВЕДЕНИЕ ИНТЕРВЬЮ И/ИЛИ ФОКУС-ГРУППЫ

После того как обзор литературы показал, что необходимо разработать новый опросник, и помог определить конструкт, следующим шагом является выяснение того, соответствует ли концептуализация конструкта тому, как потенциальные респонденты его представляют (Gehlbach, Brinkworth, 2011). Другими словами, включают ли и исключают ли респонденты те же признаки конструкта, которые описаны в литературе? Какой язык используют респонденты при описании конструкта? Чтобы ответить на эти вопросы и убедиться, что конструкт определен с разных точек зрения, исследователи обычно собирают данные непосредственно от людей, которые очень схожи с изучаемой популяцией.

Для иллюстрации этого этапа на помощь приходит другая аналогия из клинической практики. Многие практикующие врачи сталкивались с тем, что много времени тратится на разработку подходящей с медицинской точки зрения схемы лечения, но она оказывается неприемлемой для пациентов (например, слишком дорогая). В этом случае врач и пациент должны разработать новый план, приемлемый для обоих. Если бы точка зрения пациента была рассмотрена раньше, первоначальный план, вероятно, был бы более эффективным. Многие врачи также испытывали трудности при лечении пациента, и только после того, как коллега переосмыслил проблему, был выработан более эффективный метод лечения. Конструкт не исключение. Исследователь, разрабатывающий опросник, как и врач, лечащий пациента, много думал над определением конструкта. Однако исследователь неизбежно привносит в это определение свои взгляды и предубеждения, а язык, используемый в литературе, может быть техническим и трудным для понимания. Таким образом, необходимо учитывать другие точки зрения. Самое главное, как целевая популяция (пациент из предыдущего примера) концептуализирует и понимает конструкт? Как и в случае с пациентом, другие точки зрения иногда имеют решающее значение для успеха проекта. Например, изучая литературу об удовлетворенности студентов медицинскими учебными заведениями, исследователь может не найти упоминаний об учебной практике предоставления студентам видео- или аудиозаписей лекций (так как эта практика является довольно новой). Однако в беседе со студентами исследователь может обнаружить, что современные студенты привыкли к подобной практике и учитывают ее при формировании своего мнения о преподавании в медицинском учебном заведении.

Чтобы выполнить II этап, разработчику опроса потребуется информация от потенциальных респондентов. Интервью и/или фокус-группы дают возможность получить эту информацию. Независимо от выбранного подхода, этот этап должен быть направлен на достижение двух основных целей. Во-первых, исследователям нужно услышать, как участники говорят о конструкте своими словами, без подсказок или с незначительными подсказками со стороны исследователя. После сбора произвольной информации от участников разработчики опроса могут затем задать более целенаправленные вопросы, чтобы оценить, согласны ли респонденты с тем, как конструкт был охарактеризован в литературе. Эту процедуру следует повторять до тех пор, пока не будет достигнут порог насыщения, когда исследователь больше не получает новой информации о том, как потенциальные респонденты концептуализируют конструкт. Конечный результат интервью и/или фокусгруппы должен состоять в подробном описании того, как потенциальные респонденты концептуализируют и понимают конструкт. Затем эти данные будут использоваться на III и IV этапах.

ЭТАП III. СИНТЕЗ ДАННЫХ, ПОЛУЧЕННЫХ ПРИ ПРОВЕДЕНИИ ОБЗОРА ЛИТЕРАТУРЫ И ИНТЕРВЬЮ/ФОКУС-ГРУПП

На этом этапе определение конструкта уже сформулировано медицинским преподавателем, разрабатывающим анкету, проводящим обзор литературы и составляющим портрет целевой аудитории. На III этапе осуществляется согласование этих определений. Поскольку определение конструкта задает направление всех последующих этапов (например, разработку вопросов), разработчик проекта должен приложить все усилия, чтобы выполнить этот этап должным образом.

Одним из эффективных способов выполнения III этапа является разработка всеобъемлющего списка показателей для конструкта путем объединения результатов обзора литературы и интервью/фокус-групп (Gehlbach, Brinkworth, 2011). Когда в этих источниках данных фигурируют аналогичные списки, процесс не представляет сложности. Когда эти данные концептуально схожи, но литература и потенциальные респонденты описывают конструкт с использованием разной терминологии, имеет смысл использовать лексику потенциальных респондентов. Например, при оценке уверенности преподавателя (иногда называемой самоэффективностью преподавателя), вероятно, более уместно спрашивать преподавателей об их "уверенности в апробации новых методов обучения", чем об их "эффективности в экспериментировании с новыми педагогическими методами" (Gehlbach et al, 2010). Наконец, если какой-либо показатель присутствует в одном источнике и отсутствует в другом, большинство разработчиков анкет захотят включить такой вопрос, по крайней мере на начальном этапе. На последующих этапах разработчики будут иметь возможность определить с помощью экспертных оценок (этап IV) и когнитивных интервью (этап VI), по-прежнему ли предложенные вопросы подходят для исследования конструкта. Каким бы ни был метод, используемый для консолидации данных на I и II этапах, окончательное определение и перечень показателей должны быть всеобъемлющими, отражающими как литературу, так и мнения целевой аудитории.

Стоит отметить, что ученые могут иметь веские основания остановиться на определении конструкта, отличном от того, что встречается в литературе. Однако, когда это происходит, следует понимать, как именно и почему определение конструкта отличается от имеющихся. Например, отличается ли восприятие целевой аудитории от восприятия, описанного в предыдущих работах? Применяется ли новая теория образования? Какова бы ни была причина, это обоснование будет необходимо для публикации опросника. Наличие четкого определения конструкта с объяснением того, чем он отличается от других версий конструкта, поможет коллегам и исследователям решить, как лучше использовать опросник как в сравнении с предыдущими исследованиями, так и с развитием новых областей научных исследований.

ЭТАП IV. РАЗРАБОТКА ВОПРОСОВ

Цель этого этапа состоит в том, чтобы составить анкетные вопросы, верно отражающие изучаемый конструкт на языке, который респонденты могут легко понять. Одним из важных аспектов разработки анкеты является количество вопросов, необходимых для адекватной оценки конструкта. Простого ответа здесь нет. Идеальное количество вопросов зависит от нескольких факторов, включая сложность конструкта и уровень, на котором предполагается его оценить (т.е. размер зерна). В целом хорошей практикой является разработка большего количества вопросов, чем в конечном итоге потребуется в окончательной шкале (например, разработка 15 потенциальных вопросов с надеждой в конечном итоге создать шкалу из восьми вопросов), так как некоторые вопросы, скорее всего, будут удалены или пересмотрены позже в процессе разработки анкеты (Gehlbach, Brinkworth, 2011). В конечном счете решение о количестве вопросов - это дело профессионального суждения, но для большинства узко определенных конструктов шкалы, содержащие от 6 до 10 вопросов, обычно достаточны, чтобы верно уловить суть рассматриваемого явления.

References/Литература

· American Educational Research Association (AERA), American Psychological Association (APA) & National Council on Measurement in Education (NCME). Standards for education and psychological testing. Washington, DC: American Educational Research Association, 1999.

· Artino A.R., Gehlbach H., Durning S.J. AM last page: Avoiding five common pitfalls of survey design. Acad Med. 2011; 86: 1327.

· Artino A.R., Gehlbach H. AM last page: avoiding four visual design pitfalls in survey development. Acad Med. 2012; 87: 1452.

· Beck C.T., Gable R.K. Ensuring content validity: An illustration of the process. J Nurs Meas. 2001; 9: 201-15.

· Christian L.M., Parsons N.L., Dillman D.A. Designing scalar questions for web surveys. Sociol Method Res. 2009; 37: 393-425.

· Colliver J.A., Conlee M.J., Verhulst S.J., Dorsey J.K. Reports of the decline of empathy during medical education are greatly exaggerated: a reexamination of the research. Acad Med. 2010; 85: 588-93.

· Cook D.A., Beckman T.J. Current concepts in validity and reliability for psychometric instruments: theory and application. Am J Med. 2006; 119: 166.e7-16.

· DeVellis R.F. Scale development: theory and applications. 2nd ed. Newbury Park, CA: Sage, 2003.

· Dillman D., Smyth J., Christian L. Internet, mail, and mixed-mode surveys: the tailored design method. 3rd ed. Hoboken, NJ: Wiley, 2009.

· Drennan J. Cognitive interviewing: verbal data in the design and pretesting of questionnaires. J Adv Nurs. 2003; 42 (1): 57-63.

· Fabrigar L.R., Wegener D.T. Exploratory factor analysis. New York: Oxford University Press, 2012.

· Fowler FJ. Survey research methods. 4th ed. Thousand Oaks, CA: Sage, 2009.

· Gehlbach H., Artino A.R., Durning S. AM last page: survey development guidance for medical education researchers. Acad Med. 2010; 85: 925.

· Gehlbach H., Brinkworth M.E. Measure twice, cut down error: a process for enhancing the validity of survey scales. Rev Gen Psychol. 2011; 15: 380-7.

· Kane M.T. Validation in educational measurement. 4th ed. Westport, CT: American Council on Education/Praeger, 2006.

· Karabenick S.A., Woolley M.E., Friedel J.M., Ammon B.V., Blazevski J., Bonney C.R., et al. Cognitive processing of self-report items in educational research: do they think what we mean? Educ Psychol. 2007; 42 (3): 139-51.

· Krosnick J.A. Survey research. Annu Rev Psychol. 1999; 50: 537-67.

· Magee C., Byars L., Rickards G., Artino A.R. Tracing the steps of survey design: a graduate medical education research example. J Grad Med Educ. 2013; 5 (1): 1-5.

· McCoach D.B., Gable R.K., Madura J.P. Instrument development in the affective domain: school and corporate applications. 3rd ed. New York: Springer, 2013.

·

• McIver J.P., Carmines E.G. Unidimensional scaling. Beverly Hills, CA: Sage, 1981.

· McKenzie J.F., Wood M.L., Kotecki J.E., Clark J.K., Brey R.A. Establishing content validity: Using qualitative and quantitative steps. Am J Health Behav. 1999; 23 (4): 311-8.

· Napoles-Springer A.M., Olsson-Santoyo J., O’Brien H., Stewart A.L. Using cognitive interviews to develop surveys in diverse populations. Med Care. 2006; 44 (11): s21-30.

· Pett M.A., Lackey N.R., Sullivan J.J. Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks, CA: Sage, 2003.

· Polit D.F., Beck C.T. Nursing research: principles and methods. 7th ed. Philadelphia: Lippincott Williams and Wilkins, 2004.

· Polit D.F., Beck C.T. The content validity index: are you sure you know what’s being reported? Critique and recommendations. Res Nurs Health. 2006; 29: 489-97.

· Rickards G., Magee C., Artino A.R. You can’t fix by analysis what you’ve spoiled by design: developing survey instruments and collecting validity evidence. J Grad Med Educ. 2012; 4 (4): 407-10.

· Rubio D.M., Berg-Weger M., Tebb S.S., Lee E.S., Rauch S. Objectifying content validity: Conducting a content validity study in social work research. Soc Work Res. 2003; 27 (2): 94-104.

· Schmitt N. Uses and abuses of coefficient alpha. Psychol Assess. 1996; 8: 350-3.

· Schwarz N. Self-reports: How the questions shape the answers. Am Psychol. 1999; 54: 93-105.

· Sullivan G. A primer on the validity of assessment instruments. J Grad Med Educ. 2011; 3 (2): 119-20.

· Sullivan G.M., Artino A.R. Analyzing and interpreting data from Likerttype scales. J Grad Med Educ. 2013; 5 (4): 541-2.

· Tourangeau R., Rips L.J., Rasinski K.A. The psychology of survey response. New York: Cambridge University Press, 2000.

· Waltz C.F., Strickland O.L., Lenz E.R. Measurement in nursing and health research. 3rd ed. New York: Springer, 2005.

· Watt T., Rasmussen A.K., Groenvold M., Bjorner J.B., Watt S.H., Bonnema S.J., et al. Improving a newly developed patient-reported outcome for thyroid patients, using cognitive interviewing. Qual Life Res. 2008; 17: 1009-17.

· Weng L.J. Impact of the number of response categories and anchor labels on coefficient alpha and test-retest reliability. Educ Psychol Meas. 2004; 64: 956-72.

· Willis G.B., Artino A.R. What do our respondents think we’re asking? Using cognitive interviewing to improve medical education surveys. J Grad Med Educ. 2013; 5 (3): 353-6.

• Willis G.B. Cognitive interviewing: a tool for improving questionnaire design. Thousand Oaks, CA: Sage, 2005.

·

All articles in our journal are distributed under the CC BY-NC-ND 4.0 (Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International)