search for




 

Development of a Questionnaire on the Use of Outcome Measures by Korean Physical Therapists Using Focus Group Interview-Based Cognitive Interviewing
J Kor Phys Ther 2023;35(5):139-144
Published online October 31, 2023;  https://doi.org/10.18857/jkpt.2023.35.5.139
© 2023 The Korea Society of Physical Therapy.

Jae Hyun Lim1,2, Se Ju Park3, Sung Hwan Park1, Ho Jin Jeong4

1Department of Physical Therapy, Nambu University, Gwangju, Republic of Korea, 2Wise Rehabilitation Hospital, Gwangiu, Republic of Korea, 3Department of Rehabilitation, Songwon University, Gwangju, Republic of Korea, 4Goodbody Sling Exercise Center, Gwangju, Republic of Korea
Ho Jin Jeong E-mail hojin8367@naver.comr
Received September 15, 2023; Revised October 4, 2023; Accepted October 10, 2023.
This is an Open Access article distribute under the terms of the Creative Commons Attribution Non-commercial License (http://creativecommons.org/license/by-nc/4.0.) which permits unrestricted non-commercial use, distribution,and reproduction in any medium, provided the original work is properly cited.
Abstract
Purpose: This study developed a Korean sentiment questionnaire by adapting an existing English survey using focus group interview (FGI)-based cognitive interview (CI) techniques to investigate the utilization of outcome measures (OMs) among Korean physical therapists.
Methods: The existing OMs survey questionnaire was adapted by dividing eight physical therapists into two groups: mid-experienced (n=4) and high-experienced (n=4). Each group participated in a 120-minute FGI-based CI session. All interviews were recorded, and the researcher transcribed the data immediately after each interview. The data were then organized and categorized into themes using Excel 2021 and verified with the participants.
Results: FGI-based CI sessions were conducted with Korean physical therapists to revise the English version of the questionnaire, tailoring it to the local context. Four main themes emerged from the interviews: inappropriate items or translations, questionnaire length and organization, questionnaire improvements, and additional items. The questionnaire was revised based on the feedback obtained during these interviews.
Conclusion: The questionnaire was modified according to the themes derived from the interviews. The questionnaire was developed to represent the clinical environment of Korean physical therapy accurately by removing elements of the questionnaire unsuitable for the Korean sentiment and incorporating the perspectives of Korean physical therapists.
Keywords : Physical therapists, Outcome measures, Focus group interview, Cognitive interview
서 론

인지 인터뷰(Cognitive interview, CI)는 설문지 설계에 사용되는 질적 연구 방법이며, 설문 개발 방법 중의 하나이다. 인지 인터뷰의 목적은 응답자가 설문 개발자의 의도대로 설문 질문을 이해하는 것에 대한 분별력을 확인하는 것이며,1 연구자 또는 임상의가 응답자의 질문 해석 능력, 정보 기억 방법, 답변의 구성 방법과 정리 능력을 관찰할 수 있다.2,3 설문조사 문항에 응답하는 것은 장기기억과 단기기억의 활용을 통한 여러 인지적 과정을 포함하기 때문에 경험을 바탕으로 한 인지 인터뷰와 문항의 해석 평가는 설문조사 개발에 효과적인 사전 검사 방법이다.4 대부분의 설문지는 영문으로 되어있고 언어, 생활방식 등이 국가마다 다양하기 때문에 연구자들은 설문지를 새로운 환경에서 이해할 수 있고 관련성이 있도록 조정하는 문화 간 적응이 필요하며,5 문화가 다른 곳에서의 연구 진행은 인지 인터뷰를 진행해 그 곳의 문화에 맞는 설문지를 개발할 수 있다.6

포커스 그룹 인터뷰(Focus Group Interview, FGI)는 참가자 간의 상호작용이 가능해서 쉽고 편안한 분위기에서 토론이 진행되며, 상호작용의 효과를 통해 관련된 주제를 떠올리는 데 도움이 된다.7 인지 인터뷰를 포커스 그룹으로 진행할 경우 참가자가 대화를 개방적으로 하도록 도움을 주고 토론을 참가자가 주도해 연구자의 편향을 줄여주며 설문조사의 장단점을 다양한 관점에서 공유할 수 있다.4,8

결과 측정(Outcome measures, OMs)은 “건강 상태 측정”, “삶의 질 측정”과 같은 용어들과 함께 사용되고 있는데, 도수근력검사(Muscle manual Test, MMT), 관절가동범위(Range of Motion, ROM), 기능적 독립성 측정 도구(Functional Independence Measure) 같은 도구들로 다양한 질환을 가진 환자를 물리치료사가 관리할 수 있다.9 근거중심치료(Evidence-Based Practice, EBP)의 중요한 요소 중 하나인 결과 측정은 중재를 적용하기 전과 후에 환자의 변화를 확인하는 방법으로 환자를 치료하고 난 후에 환자의 상태를 평가하고 그 효과를 입증할 수 있다.10,11 결과 측정은 수십 년 동안 많은 선진국에서 사용하고 더 나아가서 이제는 전 세계적으로 임상 진료의 일상적인 과정으로 점차 통합되어가고 있으며, 결과 측정에 대한 중요성은 물리치료사를 포함한 의료계의 모든 종사자들이 인식하고 있다.12 하지만 물리치료사들은 이러한 결과 측정의 중요성을 인식하고 있음에도 불구하고 임상에서 사용하지 못하고 있다.13

Jette와 Haley9는 많은 결과 측정 도구들은 바쁜 임상 환경에서 사용하기 어려우며 임상에서 사용하기 간편한 도구들이 개발되어야 한다고 보고했다. 2010년도부터 최근까지 여러 나라에서 물리치료사를 대상으로 결과 측정의 실태를 조사하고 그에 따른 문제점을 파악하는 조사 연구들이 진행되고 있다.14-18 Meehan 등19은 결과 측정의 심리측정학적 특성(Psychometric properties)을 조사하는 연구는 많지만, 임상의 관점에서 도구 사용 편의성을 조사하는 연구는 부족하다고 보고했다.

이처럼 다양한 나라에서 물리치료사의 결과 측정에 대한 실태 조사들이 진행되고 있다. 하지만, 한국 물리치료사를 대상으로 결과 측정 실태를 조사하는 연구와 조사를 하기 위한 설문조사 도구 역시 부족한 실정이다. 따라서, 본 연구의 목적은 포커스 그룹 기반 인지 인터뷰를 통해 물리치료사가 사용하는 결과 측정에 대해 조사하는 기존의 영문 설문지를 수정하여 한국 임상 환경에 맞게 개발하는 것이다.

연구 방법

1. 연구설계

본 연구를 진행하기 전, 남부대학교 기관생명윤리위원회의 승인을 받아 진행되었다(1041478-2023-HR-004). 본 연구는 한국 물리치료사를 대상으로 포커스 그룹을 기반으로 한 인지 인터뷰를 진행해 기존에 있던 영문으로 된 결과 측정 실태조사 설문지의 내용을 한국의 임상 환경에 어울리게 수정하고 검증하는 질적연구를 진행했다.

2. 연구대상

인터뷰를 진행하기 위해 임상경력 3년 이상 물리치료사 8명을 눈덩이 표집법(Snowball sampling)으로 모집했다. Morgan 등은 참여자의 모집이 어렵거나 경험이 부족한 연구자는 2개의 그룹으로 진행하는 것을 권장했으며, 대상자들의 참여도가 높고 깊이 있는 경험과 생각을 얻는 것이 목적이라면 4-6명의 인원으로 구성된 소규모 그룹으로 진행하는 것이 적절하다고 보고했다.20 따라서, 본 연구의 대상자들을 두 그룹으로 4명씩 나누었으며, 임상경력이 10년 이상인 물리치료사는 고경력 그룹, 임상경력이 3-9년인 물리치료사는 중경력 그룹으로 분류했다.

3. 인터뷰에 사용된 설문지

인터뷰에 사용된 설문지는 Jette와 Haley9의 설문지를 사용했다. 설문지는 환자를 중재할 때 사용하는 결과 측정에 대한 5개의 요인(환자 관리의 이점, 물리치료사의 문제점과 한계점, 환자의 문제점 또는 한계점, 외부 의사소통에 대한 이점, 문화 또는 언어에 따른 한계)으로 구성되어 있다. 설문지의 구성으로는 대상자의 일반적 특성, 결과 측정의 이점, 결과 측정의 문제점, 결과 측정의 용도, 근무 환경에 따른 결과 측정 방법, 사용하는 결과 측정 유형, 결과 측정을 작성하는 방법, 설문지를 작성하는 환자에게 도움을 주는 방법, 결과 측정을 사용하지 않는 이유가 있었다. 설문 과정은 일반적 특성에 응답한 후 결과 측정 유무를 확인하고 결과 측정을 하는 대상자들은 결과 측정에 관한 설문을 진행했으며, 결과 측정을 하지 않는 대상자들은 그 이유에 관한 설문을 진행했다.

4. 자료수집

인터뷰는 두 개의 그룹을 각각 다른 날에 광주 N대학교의 강의실에서 진행되었다. 인터뷰를 시작하기 전에 대상자들에게 음성 녹취와 연구 목적을 설명한 후 참여 동의서를 받았다. 연구자는 영문으로 된 설문지를 임의로 번역하고 원문과 함께 번역한 한글을 같이 설문지에 기입했다. 그 후 질문마다 수정 필요 여부를 표시할 수 있게 했으며, 대상자들에게 설문지를 읽은 후 수정이 필요한 부분을 표시하도록 했다. 설문이 끝난 후 10분의 휴식 시간을 보낸 후 설문지 질문의 수정이 필요한 부분에 대해서 인터뷰를 진행했다. 질문은 다섯 단계로 나누어 진행했으며, 구체적인 질문의 구성은 다음과 같다(Table 1).

Interview questions structure

Category Question content
Opening questions Please tell us your name and where you work.
Introductory questions What is your area of expertise and experience, and why did you choose that field?
Conversion questions Do you think it's important to use OMs (Outcome Measures) for patients?
Key questions Were there any questions in the survey that were difficult to understand due to poor translation?
Follow-up question: Which questions were considered problematic, and how can they be rectified?
Was there anything in the survey that didn’t make sense?
Follow-up question: Which part was not considered appropriate? How would you like it to be improved?
What was the length or organization of the questionnaire like?
Follow-up question: If it could be improved, in what ways?
If there is anything else in the questionnaire that needs to be revised, how should it be improved?
Is there anything specific you would like to see added to the survey regarding your clinical experience?
Follow-up question: If yes, which specific part?
Closing questions Is there anything missing or anything else you’d like to add?
Finally, do you have any advice for researchers?


인터뷰는 120분 동안 진행되었으며, 연구자는 보조자 한 명과 함께 인터뷰 내용을 녹음했다. 인터뷰를 진행하면서 사용되는 단어들의 뜻은 질문을 통해 명확하게 확인하고 인터뷰를 끝내기 전, 요약한 내용을 대상자들에게 확인시키고 추가 또는 수정할 내용이 있는지 확인하는 과정을 거친 후 종료했다. 연구자는 자료를 최대한 또렷하게 기록하기 위해 인터뷰 종료 즉시 자료 전사를 작성했으며, 의미가 불명확한 부분은 대상자들에게 연락을 통해 다시한번 확인했다. 완성된 전사본은 대상자들에게 메일 또는 SNS를 통해 다시 한번 확인시키고 수정 또는 삭제를 원하는 부분은 의견을 반영하여 수정했다.

5. 자료분석

자료 분석은 질적 연구 진행 경험이 있는 연구자와 함께 진행했다. 인터뷰 내용을 명확히 분류할 수 있도록 녹음된 인터뷰 내용을 반복적으로 듣고 요약한 내용을 다시 읽어 보는 과정을 거쳐 자료의 신뢰도를 높이기 위해 노력했으며, Excel 2021로 수집한 정보를 주제별로 정리하고 체계적으로 자료를 분류한 후 연구참여자 확인법을 통해 대상자의 인터뷰의 내용과 연구자의 해석이 일치하는지 점검했다. 자료의 수집과 분석과정에서 연구자가 가진 이론적 가설을 최대한 배제하고 귀납적 결과에 개방적인 태도를 가져 과잉 해석이나 오류를 방지했다.

결 과

1. 대상자의 일반적 특성

본 연구에 참여한 대상자의 일반적 특성은 다음과 같다(Table 2). 고경력 그룹에 속한 대상자의 성별은 남자 3명, 여자 1명이었으며, 경력은 14년에서 25년 사이였다. 학력은 박사 2명, 박사 과정 1명, 석사 과정 1명이었으며, 전문 분야로는 근육뼈대계 3명, 신경계 1명이었다. 중경력 그룹에 속한 대상자의 연령은 30대 3명, 20대 1명이었다. 성별은 남자 2명, 여자 2명이었고 경력은 5년에서 9년 사이였다. 학력은 박사 2명, 박사 과정 1명, 석사 과정 1명이었으며, 전문 분야는 근육뼈대계 2명, 신경계 2명이었다.

General characteristics

Groups Participants Age Gender Experience Education Areas of expertise
High-experienced group Participants A 40s Male 16yr PhD Musculoskele-tal
Participants B 50s Male 20yr PhD Musculoskele-tal
Participants C 50s Male 25yr BS Musculoskele-tal
Participants D 30s Female 14yr MS Nervous
Medium-experienced group Participants E 30s Male 9yr PhD Musculoskele-tal
Participants F 30s Male 5yr PhD Musculoskele-tal
Participants G 30s Female 7yr BS Nervous
Participants H 20s Female 5yr MS Nervous


2. 설문지 개발

한국 임상 환경에 어울리는 설문지 개발을 위해 한국 물리치료사들을 대상으로 포커스 그룹 기반 인지 인터뷰를 진행해 기존에 있는 영문으로 된 설문지를 수정했다. 인터뷰를 통해 적절하지 않은 질문 또는 번역, 설문의 길이와 구성, 설문지의 개선점, 추가 내용 총 4가지의 주요 주제가 도출됐다. 설문지 개발에 관한 구체적인 인터뷰의 내용과 과정은 다음과 같다(Table 3).

Interview content and process

Topic Interview content and process
Inappropriate questions or translations Participants suggested modifying or excluding the patient’s requirement for a high level of reading ability as one of the challenges in OMs. Additionally, one participant recommended excluding language and cultural issues from the questions since they vary in Korean clinical settings.
“I think the question about requiring patients to have a high level of reading ability should be modified or removed. In foreign countries, reading skills may be necessary because English is used, but of course, there may be people who don’t. However, most of them can read Hangul, right?” (Participant A)
“As for the question regarding difficulty with language and cultural issues among patients, I believe this is less likely to occur in Korea. There are various races in foreign countries, but not as many in Korea compared to foreign countries. It’s acceptable to omit the question.” (Participant C)
When the discussion about excluding questions arose, another participant proposed removing questions pertaining to how to fill out OMs or assist patients in completing the questionnaire, as they were deemed irrelevant to the study’s objectives.
“I believe questions such as “how to write OMs” or “how to help patients” should be removed from the study as they are not relevant to its purpose.” (Participant E)
Length and structure of the questionnaire Participants commented that the overall questionnaire was lengthy and needed streamlining. They also suggested changing the order of the questions regarding the use of OMs in the workplace and the types of OMs used.
“I think the questions and items are too long. I would like to see them simplified in order to make the survey less time-consuming and more readable.” (Participant F)
“It would be helpful to have questions up front, such as the use of OMs in different work environments and the types of OMs use. I believe that by familiarizing them with the terminology beforehand, this will help with the responses when answering about the benefits and barriers to OMs.” (Participant H)
Improvements to the questionnaire Participants proposed modifications to the overall word and item of the questionnaire and suggested that the questionnaire separately contain additional explanations or examples of technical terms and explain specific situations of clinical situations.
“In the questionnaire, the questions regarding benefits and barriers are on a 3-point scale, and I believe it would be good to modify this to a 5-point scale, because most people use a 5-point scale and it would be easier to summarize the findings later.” (Participant E)
“I think it would be good to put some explanations and examples of OMs in the questionnaire, or change the words to make it easier for participants to understand. For example, simply replace OMs with assessments in the survey.” (Participant D)
“I believe it would be helpful to provide a specific situation as an example in the question about OMs, because in our hospital, the first patient is mandatorily evaluated and then it’s voluntary.” (Participant G)
Participants also suggested adding an additional question about the presence of OMs.
“Why don’t we make it a 5-point scale asking if you do OMs? Because sometimes you do OMs and other times you don’t.” (Participant F)
A participant added to that and suggested an opinion.
“I think if the OMs question was a 5-point scale, it would be hard to categorize people who answered moderate. I believe if we were to change it, it would be better to remove moderate.” (Participant E)
Additional items Interviews were conducted to include questions that were not in the original questionnaire. One participant said that therapists don’t do OMs in clinical practice because they don’t see any benefits to the therapist from doing them.
“I believe the reason therapists don’t do OMs in clinical practice is because there’s no incentive to do it, because there’s no benefits to doing it, so why would anyone want to do it, and it’s not mandatory.” (Participant B)
Another participant found it difficult to conduct OMs due to a lack of rapport with patients.
“ I had a hard time with the lack of rapport formation during the assessment. Especially with neurological patients, who are often cognitively impaired.” (Participant H)
Then another participant said that he had also had difficulties with patients’ uncooperative attitudes.
“I’ve had people who are cognitively impaired, which is difficult to assessment, and I’ve had people who just want treatment without assessment.” (Participant G)


인터뷰를 통해 수집한 참여자들의 의견을 반영해 설문지를 수정했다. 수정한 설문지에서는 결과 측정을 환자평가로 표기했으며, 결과 측정의 설명과 예시를 적어 설문 참여자들이 결과 측정에 대한 이해를 돕도록 했다. 그리고 설문지의 질문과 항목을 간단하고 명확하게 수정하고 3점 척도를 5점 척도로 수정했으며, 결과 측정 여부를 묻는 질문을 4점 척도로 만들었다.

주로 수정된 질문은 결과 측정의 문제점과 결과 측정을 하지 않는 이유였다. 환자에게 높은 수준의 읽기 능력 요구 항목과 문화적, 언어적 차이로 인한 어려움의 항목이 한국의 정서와 맞지 않다는 의견을 반영해 제외했다. 인터뷰를 통해 추가한 항목은 평가를 했을 때의 이득이 없음, 부족한 치료시간, 환자와 관계 형성이 어려움, 환자의 비협조적인 태도를 추가했다.

고 찰

본 연구는 한국 물리치료사들을 대상으로 진행할 결과 측정 실태조사 설문지를 개발했다. 이를 위해 기존에 있는 영문으로 된 실태조사 설문지를 포커스 그룹 기반 인지 인터뷰를 통해 수정했으며, 부적절한 질문 또는 번역, 설문지의 길이와 구성, 설문지의 개선점, 항목 추가 총 4가지의 주제가 도출되어 수정이 이루어졌다. Wallen 등8의 연구에서도 포커스 그룹 기반 인지 인터뷰를 통해 항목 개선, 설문지 형식 수정, 항목 수정, 정의 명확화와 추가 질문들에 대한 주제가 도출되었으며, 이러한 결과는 본 연구와 유사한 결과가 나타났다. Wallen 등8은 심혈관 건강 중재를 위한 설문조사 도구를 개발하기 위해 포커스 그룹 기반 인지 인터뷰를 통해 질문 개선과 추가 개발, 다양한 주제 파악, 오타 수정이 이루어졌으며 설문조사 도구 개발에 효과적이고 효율적인 방법이라고 보고했다. 본 연구도 그룹 인터뷰를 통해 설문지에서 이해하기 어려운 내용, 길이와 구성, 단어와 항목 그리고 부가적인 설명과 한국 물리치료사의 임상 경험을 반영한 내용을 설문지에 추가했다.

물리치료사의 결과 측정 여부를 묻는 질문의 항목을 5점 또는 4점 척도로 수정하자는 의견이 제안되었다. Eser 등21은 5점 척도 설문지를 4점 척도로 수정하였으며, 타당하고 믿을 수 있는 도구를 개발했다고 보고하였다. 이러한 결과는 본 연구의 결과를 뒷받침하였는데, 5점 척도를 사용할 경우 응답자는 중립적인 의견이 아닌데도 중간 값을 선택할 수 있는데, 설문조사의 질문이 생소하거나 사회적으로 바람직하지 않은 질문에 응답할 경우 중간 값을 선택해 넘어가는 경우가 발생할 수 있다.22 이처럼 결과 측정을 하지 않는 물리치료사들이 바람직하지 않은 행동인 것으로 생각해 보통을 선택하고 넘어갈 수 있기 때문에 본 연구는 설문에 참여하는 대상자들이 결과 측정 여부를 확실하게 선택하도록 중간 값이 없는 4점 척도로 항목을 수정했다.

설문지의 내용 중 수정이 필요하다고 의견을 받은 주된 부분으로는 결과 측정의 문제점과 결과 측정을 하지 않는 이유였다. 이 중에서 환자에게 글을 읽기 위한 높은 수준의 읽기 능력 요구, 내용이 영어로 되어있어 생기는 언어적 문제, 그리고 인종에 따른 문화적 차이의 어려움 같은 한국의 임상 환경과 적합하지 않은 부분이었다. Wills 등23은 연구에서도 영어로 된 담배 관련 설문지를 스페인어와 아시아 국가의 언어로 번역했는데, 번역하면서 생기는 문화적인 차이를 인지 인터뷰를 통해 수정했다. Willis24는 설문 개발을 위한 그룹 기반 인지 인터뷰는 참여자가 설문에서 다루는 주제에 대해 많은 경험을 가지고 있는 경우 문화적으로 관련된 피드백에 효과적인 방법이라고 보고했다. 본 연구에서도 임상 경험이 많은 물리치료사들을 대상으로 그룹 인터뷰를 진행했기 때문에 한국 임상 환경에 적절한 설문지 개발에 효과적이었을 것으로 사료된다.

결과 측정의 문제점과 결과 측정을 하지 않는 이유에 관한 질문에서 결과 측정을 했을 때 생기는 이득이 없다는 항목이 추가되었다. 인도 물리치료사를 대상으로 설문을 진행한 Mehta와 Grafton1은 결과 측정을 하지 않는 4가지 이유 중에서 인도에는 결과 측정을 사용하도록 장려하는 보상이 없기 때문이라고 보고했다. 또한, Park 등25은 물리치료사가 평가 도구를 사용해 평가를 하더라도 그에 대한 의료 보험료를 청구할 수 없는 보험수가체계가 문제점이라고 보고했다. 이처럼, 인도와 마찬가지로 한국에서도 물리치료사가 결과 측정을 하도록 장려하는 정책 또는 보상이 없으므로 추가된 항목은 적절한 것으로 사료된다.

본 연구는 한 개의 그룹으로만 인터뷰를 진행한 선행연구들과는 다르게 두 개의 그룹으로 인터뷰를 진행했다.4,8 Seo와 Rhie26의 연구는 소아물리치료사를 경력 3-9년의 중경력 그룹과 경력 10년 이상의 고경력 그룹으로 나누어 포커스 그룹 인터뷰를 진행했다. Kim과 Kim27은 인터뷰의 내용이 그룹의 고유한 특성에 기인한 것인지 알 수 없기 때문에 위험부담을 줄이기 위해서는 최소 2개 이상의 그룹으로 진행해야 하고 대상자의 동질성과 분할성을 고려해야 한다고 보고했다. 본 연구도 동질성과 분할성을 고려해 물리치료사를 3-9년의 경력을 가진 중경력 그룹과 10년 이상의 경력을 가진 고경력 그룹 두 개의 그룹으로 나누어 인터뷰를 진행했다.

결론적으로, 본 연구는 한국 물리치료사를 대상으로 포커스 그룹 기반 인지 인터뷰를 진행해 부적절한 질문 또는 번역, 설문지의 길이와 구성, 설문지의 개선점, 항목 추가 총 4가지의 주제가 도출되었다. 이를 반영하여 설문지를 수정했으며, 한국 정서와 맞지 않는 부분을 삭제하고 한국 물리치료사의 임상 환경을 반영한 설문지를 개발했다. 본 연구의 제한점은 대상자를 8명으로 진행해 일반화하기 어렵다는 점이다. 또한, 연구 대상이 근육뼈대계와 신경계에서 근무하는 물리치료사였기 때문에 다른 분야에서 근무하는 물리치료사의 의견을 반영하지 못했다. 향후 연구에서는 다양한 분야에서 근무하는 물리치료사들을 대상으로 질적연구를 진행하여 광범위한 임상의 상황을 반영할 필요가 있을 것으로 사료된다.

References
  1. Mehta S, Grafton K. A survey on the use of outcome measures by musculoskeletal physiotherapist's in India. Physiother Theory Pract. 2014;30(2):110-22.
    Pubmed CrossRef
  2. Willis G, Royston P, Bercini D. The use of verbal report methods in the development and testing of survey questionnaires. Appl Cogn Psychol. 1991;5:251-67.
    CrossRef
  3. Knafl K, Deatrick J, Gallo A et al. The analysis and interpretation of cognitive interviews for instrument development. Res Nurs Health. 2007;30:224-34.
    Pubmed CrossRef
  4. Farmer N, Powell-Wiley TM, Middleton KR et al. Use of a focus group-based cognitive interview methodology to validate a cooking behavior survey among African-American adults. Front Nutr. 2002;9:1000258.
    Pubmed KoreaMed CrossRef
  5. Maher CG, Latimer J, Costa LO. The relevance of cross-cultural adaptation and clinimetrics for physical therapy instruments. Braz J Phys Ther. 2007;11(4):245-52.
    CrossRef
  6. Wallen GR, Feldman RH, Anliker J. Cognitive interviews conducted in Spanish: a method for enhancing a hispanic infant feeding questionnaire. Hispanic Health Care Int. 2002;1(2):91-6.
  7. Ward H, Atkins J. From their lives: a manual on how to conduct focus groups of low-income parents. Sacramento, CA, University of Southern Maine. 2002.
    CrossRef
  8. Wallen GR, Saygbe JN, Brooks AT et al. Engaging community leaders in the development of a cardiovascular health behavior survey using focus group-based cognitive interviewing. Health Serv Insights. 2017;10:1178632917701123.
    Pubmed KoreaMed CrossRef
  9. Jette AM, Haley SM. Contemporary measurement techniques for rehabilitation outcomes assessment. J Rehabil Med. 2005;37:339-45.
    Pubmed CrossRef
  10. Antunes B, Harding R, Higginson IJ; Euroimpact. Implementing patient-reported outcome measures in palliative care clinical practice: a systematic review of facilitators and barriers. Palliat Med. 2014;28(2):158-75.
    Pubmed CrossRef
  11. Stevens JA, Beurskens AJ. Implementation of measurement instruments in physical therapist practice: development of a tailored strategy. Phys Ther. 2010;90(6):953-61.
    Pubmed CrossRef
  12. Meadows K. Cognitive interviewing methodologies. Clin Nurs Res. 2021;30(4):375-9.
    Pubmed CrossRef
  13. Wedge FM, Braswell-Christy J, Brown CJ et al. Factors influencing the use of outcome measures in physical therapy practice. Physiother Theory Pract. 2012;28(2):119-33.
    Pubmed CrossRef
  14. Al-Muqiren TN, Al-Eisa ES, Alghadir AH et al. Implementation and use of standardized outcome measures by physical therapists in saudi arabia: barriers, facilitators and perceptions. BMC Health Serv Res. 2017;17(1):748.
    Pubmed KoreaMed CrossRef
  15. MacDermid JC, Walton DM, Côté P et al. Use of outcome measures in managing neck pain: an international multidisciplinary survey. Open Orthop J. 2013;7:506-20.
    Pubmed KoreaMed CrossRef
  16. Swinkels RA, van Peppen RP, Wittink H et al. Current use and barriers and facilitators for implementation of standardised measures in physical therapy in the netherlands. BMC Musculoskelet Disord. 2011;12:106.
    Pubmed KoreaMed CrossRef
  17. Alreni ASE, McRobert C, McLean SM. Utilisation of outcome measures in the management of non-specific neck pain: a national survey of current physiotherapy practice in the UK. Musculoskelet Sci Pract. 2021;52:102347.
    Pubmed CrossRef
  18. Renteria C, Berg K. Colombian Physiotherapists' use of functional outcome measures in their practice. Physiother Can. 2019;71(3):239-49.
    Pubmed KoreaMed CrossRef
  19. Meehan T, McCombes S, Hatzipetrou L et al. Introduction of routine outcome measures: staff reactions and issues for consideration. J Psychiatr Ment Health Nurs. 2006;13:531-87.
    Pubmed CrossRef
  20. Morgan DL, Krueger RA, King JA. Focus group Kit. Vols 1-6. London, Sage. 1997.
  21. Eser HY, Inan MY, Kucuker MU et al. Development, validity and reliability of the 4-point likert turkish version of cognitive failures questionnaire. Ann Med Res. 2020;27(6):1650-6.
    CrossRef
  22. Chyung SY, Roberts K, Swanson I et al. Evidence-based survey design: the use of a midpoint on the Likert scale. Performance Improvement. 2017;56(10):15-23.
    CrossRef
  23. Willis G, Lawrence D, Hartman A et al. Translation of a tobacco survey into spanish and asian languages: the tobacco use supplement to the current population survey. Nicotine Tob Res. 2008;10(6):1075-84.
    Pubmed KoreaMed CrossRef
  24. Willis GB. Cognitive interviewing and questionnaire design: a training manual. Hyattsville, Maryland, US Department of Health and Human Services, Centers for Disease Control and Prevention, National Center for Health Statistics. 1994.
    CrossRef
  25. Park HJ, YI CH, Cho SH et al. Physical therapistʼs understanding and the usage of assessment tools for childeren with delayed development and cerebral palsy. Phys Ther Korea. 2000;7(1):1-21.
    CrossRef
  26. Seo YL, Rhie SJ. Clinical experience and perception of professionalism - a focus group study with pediatric physiotherapist. Journal of Special Education & Rehabilitation Science. 2018;57(2):293-320.
    CrossRef
  27. Kim HJ, Kim CN. Review of literatures on focus group method in qualitative Study. Keimyung Journal of Nursing Science. 2001;5(1):1-21.


October 2023, 35 (5)