의과대학을 포함한 모든 고등교육기관에서 교육과정과 교수진 평가는 매우 중요합니다. 학생들의 강의 평가(SET)는 일반적으로 익명 설문 조사 형태로 이루어지며, 원래는 강의와 프로그램을 평가하기 위해 개발되었지만, 시간이 지남에 따라 교수 효과를 측정하고 이를 바탕으로 교수법 관련 중요한 의사결정을 내리는 데에도 활용되고 있습니다. 그러나 특정 요인과 편견이 SET 점수에 영향을 미칠 수 있으며, 교수 효과를 객관적으로 측정하는 것은 불가능합니다. 일반 고등교육에서의 강의 및 교수 평가에 대한 연구는 잘 이루어져 있지만, 동일한 도구를 의과대학의 강의 및 교수 평가에 적용하는 것에 대한 우려가 제기되고 있습니다. 특히, 일반 고등교육에서의 SET는 의과대학의 교육과정 설계 및 실행에 직접 적용하기 어렵습니다. 본 논문은 SET를 도구, 관리, 해석 측면에서 개선할 수 있는 방안을 개괄적으로 제시합니다. 또한, 동료 평가, 포커스 그룹 토론, 자기 평가 등 다양한 방법을 활용하여 학생, 동료 교수, 프로그램 관리자, 그리고 자기 인식 등 다양한 출처에서 데이터를 수집하고 종합함으로써 포괄적인 평가 시스템을 구축할 수 있음을 강조합니다. 의학 교육의 효과를 효과적으로 측정하고, 의학 교육자의 전문성 개발을 지원하며, 의학 교육의 질을 향상시킵니다.
교과 과정 및 프로그램 평가는 의과대학을 포함한 모든 고등 교육 기관에서 시행되는 내부 품질 관리 과정입니다. 학생 강의 평가(SET)는 일반적으로 익명의 서면 또는 온라인 설문 조사 형태로 진행되며, 응답자가 특정 진술에 대한 동의 정도를 표시할 수 있도록 리커트 척도(보통 5점, 7점 이상)와 같은 평점 척도를 사용합니다. [1,2,3] SET는 원래 교과 과정 및 프로그램을 평가하기 위해 개발되었지만, 시간이 지남에 따라 교육 효과를 측정하는 데에도 사용되고 있습니다. [4, 5, 6] 교육 효과는 학생 학습과 긍정적인 관계가 있다고 여겨지기 때문에 중요하게 간주됩니다. [7] 문헌에서는 교육 효과를 명확하게 정의하지는 않지만, 일반적으로 "그룹 상호작용", "준비 및 구성", "학생 피드백"과 같은 교육의 특정 특징을 통해 설명됩니다. [8]
SET에서 얻은 정보는 특정 강좌에서 사용되는 교육 자료나 교수법을 조정할 필요가 있는지 여부와 같은 유용한 정보를 제공할 수 있습니다. SET는 또한 교사 전문성 개발과 관련된 중요한 결정을 내리는 데에도 사용됩니다[4,5,6]. 그러나 고등 교육 기관에서 교수 승진(종종 경력 및 급여 인상과 관련됨) 및 기관 내 주요 행정직과 같은 교수진 관련 결정을 내릴 때 이러한 접근 방식의 적절성은 의문스럽습니다[4, 9]. 또한 기관에서는 신임 교수진에게 이전 기관의 SET를 신규 채용 지원서에 포함하도록 요구하는 경우가 많아 기관 내 교수진 승진뿐만 아니라 잠재적인 신규 고용주에게도 영향을 미칩니다[10].
일반 고등교육 분야에서는 교육과정 및 교사 평가에 관한 문헌이 잘 정립되어 있지만, 의학 및 보건 분야에서는 그렇지 않습니다[11]. 의학 교육자의 교육과정과 요구 사항은 일반 고등교육과 다릅니다. 예를 들어, 통합 의학 교육 과정에서는 팀 학습이 자주 활용됩니다. 이는 의과대학 교육과정이 다양한 의학 분야에서 훈련과 경험을 갖춘 여러 교수진이 가르치는 일련의 강좌로 구성된다는 것을 의미합니다. 이러한 구조 하에서 학생들은 해당 분야 전문가의 심도 있는 지식으로부터 이점을 얻지만, 각 교수의 서로 다른 교수 스타일에 적응해야 하는 어려움에 직면하기도 합니다[1, 12, 13, 14].
일반 고등교육과 의학교육에는 차이점이 있지만, 일반 고등교육에서 사용되는 SET(학생 평가) 방식이 의학 및 보건의료 과정에서도 종종 사용됩니다. 그러나 일반 고등교육에서 SET를 도입하는 것은 보건의료 전문 프로그램의 교육과정 및 교수 평가 측면에서 많은 어려움을 야기합니다[11]. 특히, 교수법과 강사의 자격 차이로 인해 수업 평가 결과에 모든 강사 또는 수업에 대한 학생들의 의견이 반영되지 않을 수 있습니다. Uytenhaage와 O'Neill(2015)의 연구[5]에 따르면, 학생들이 수업 종료 후 모든 강사를 개별적으로 평가하도록 하는 것은 학생들이 여러 강사에 대한 평가 항목을 기억하고 의견을 제시하는 것이 거의 불가능하기 때문에 부적절할 수 있습니다. 또한, 많은 의학교육 강사들은 의사이기도 하며, 이들에게 교육은 업무의 작은 부분에 불과합니다[15, 16]. 이들은 주로 환자 진료와 연구에 참여하기 때문에 교육 역량을 개발할 시간이 부족한 경우가 많습니다. 그러나 의사 강사들도 소속 기관으로부터 시간, 지원, 그리고 건설적인 피드백을 받아야 합니다[16].
의대생들은 국제적으로 경쟁이 치열하고 까다로운 입학 과정을 거쳐 의대에 진학하는 매우 의욕적이고 근면한 사람들인 경향이 있습니다. 또한, 의대 재학 중에는 단기간에 방대한 지식을 습득하고 다양한 기술을 개발해야 할 뿐만 아니라, 복잡한 교내 및 국가 종합 평가에서도 좋은 성적을 거두어야 합니다[17,18,19,20]. 따라서 의대생들에게 요구되는 높은 기준 때문에 다른 학과 학생들보다 교육에 대한 비판적 시각이 높고 질 높은 교육을 기대하는 경향이 있습니다. 이러한 이유로 의대생들은 다른 학과 학생들에 비해 교수로부터 낮은 평가를 받는 경우가 있습니다. 흥미롭게도, 이전 연구에서는 학생의 동기와 개별 교수 평가 사이에 긍정적인 상관관계가 있음을 보여주었습니다[21]. 더욱이, 지난 20년 동안 전 세계 대부분의 의대 교육과정은 수직적으로 통합되어[22], 학생들이 학년 초부터 임상 실습을 접하게 되었습니다. 따라서 지난 몇 년 동안 의사들은 의대생 교육에 점점 더 많이 참여하게 되었고, 프로그램 초기부터 특정 교수진 집단에 맞춘 SET 개발의 중요성을 지지해 왔습니다[22].
위에서 언급한 의학교육의 특수성으로 인해, 단일 교수진이 가르치는 일반 고등교육 과정을 평가하는 데 사용되는 SET는 의학 프로그램의 통합 교육과정 및 임상 교수진을 평가하는 데 맞게 조정되어야 합니다[14]. 따라서 의학교육에 더욱 효과적으로 적용하기 위해 보다 효과적인 SET 모델과 포괄적인 평가 시스템을 개발할 필요가 있습니다.
본 논문은 일반 고등 교육에서 SET(학생 주도 교육) 활용의 최근 발전과 한계를 살펴보고, 의학 교육 과정 및 교수진에게 필요한 SET의 다양한 요구 사항을 제시합니다. 또한, SET를 도구적, 행정적, 해석적 측면에서 개선할 수 있는 방안을 업데이트하고, 효과적인 SET 모델 및 포괄적인 평가 시스템 개발이라는 목표에 초점을 맞춰 교육 효과를 측정하고, 전문 보건 교육자 양성을 지원하며, 의학 교육의 질을 향상시키는 데 기여하고자 합니다.
본 연구는 Green et al.(2006)[23]의 연구와 Baumeister(2013)[24]의 연구를 참고하여 서술적 리뷰를 작성하기로 결정했습니다. 서술적 리뷰는 주제에 대한 폭넓은 관점을 제시하는 데 도움이 되기 때문입니다. 또한, 서술적 리뷰는 방법론적으로 다양한 연구들을 활용하기 때문에 더 광범위한 질문에 답하는 데 도움이 됩니다. 더 나아가, 서술적 논평은 주제에 대한 사고와 토론을 촉진할 수 있습니다.
의학 교육에서 SET는 어떻게 활용되며, 일반 고등 교육에서 SET를 사용할 때와 비교했을 때 어떤 어려움이 있습니까?
PubMed와 ERIC 데이터베이스에서 “학생 강의 평가”, “강의 효과”, “의학 교육”, “고등 교육”, “교육과정 및 교수 평가” 등의 검색어와 Peer Review 2000의 경우 논리 연산자를 조합하여 2021년에서 2021년 사이에 발표된 논문을 검색했습니다. 포함 기준: 원문 연구 또는 리뷰 논문이며, 세 가지 주요 연구 질문과 관련된 연구여야 합니다. 제외 기준: 영어가 아닌 논문, 전문을 찾을 수 없는 논문, 또는 세 가지 주요 연구 질문과 관련이 없는 논문은 본 검토에서 제외했습니다. 선정된 논문들은 다음과 같은 주제 및 하위 주제로 분류했습니다. (a) 일반 고등 교육에서의 학생 강의 평가(SET) 활용 및 한계, (b) 의학 교육에서의 SET 활용 및 SET 비교 관련 문제 해결과의 연관성, (c) 효과적인 SET 모델 개발을 위한 도구적, 관리적, 해석적 수준에서의 SET 개선.
그림 1은 본 검토의 현재 부분에 포함되고 논의된 선정된 논문들의 흐름도를 보여줍니다.
SET는 전통적으로 고등 교육에서 사용되어 왔으며 이 주제는 문헌에서 잘 연구되었습니다[10, 21]. 그러나 많은 연구에서 SET의 여러 한계와 이러한 한계를 해결하기 위한 노력을 살펴보았습니다.
연구 결과에 따르면 SET 점수에 영향을 미치는 변수는 매우 다양합니다[10, 21, 25, 26]. 따라서 관리자와 교사는 데이터를 해석하고 활용할 때 이러한 변수들을 이해하는 것이 중요합니다. 다음 절에서는 이러한 변수들에 대한 간략한 개요를 제공합니다. 그림 2는 SET 점수에 영향을 미치는 몇 가지 요인을 보여주며, 이는 다음 절에서 자세히 설명합니다.
최근 몇 년 동안 종이 키트에 비해 온라인 키트 사용이 증가했습니다. 그러나 문헌 연구에 따르면 온라인 SET는 학생들이 완료 과정에 필요한 주의를 기울이지 않고도 완료될 수 있다는 증거가 있습니다. Uitdehaage와 O'Neill의 흥미로운 연구[5]에서는 존재하지 않는 교사를 SET에 추가하고 많은 학생들이 피드백을 제공했습니다[5]. 또한 문헌 연구에 따르면 학생들은 SET 완료가 학업 성취도 향상으로 이어지지 않는다고 생각하는 경우가 많으며, 이는 의대생들의 바쁜 일정과 맞물려 응답률 저하로 이어질 수 있습니다[27]. 시험에 응시한 학생들의 의견이 전체 집단의 의견과 다르지 않다는 연구 결과가 있지만, 낮은 응답률은 교사들이 결과를 덜 중요하게 여기게 만들 수 있습니다[28].
대부분의 온라인 교수평가(SET)는 익명으로 진행됩니다. 이는 학생들이 자신의 의견이 향후 교수와의 관계에 영향을 미칠 것이라는 부담 없이 자유롭게 의견을 표현할 수 있도록 하기 위함입니다. Alfonso 등의 연구[29]에서는 전공의와 의대생을 대상으로 익명 평가와 실명 공개 평가(공개 평가)를 통해 의대 교수의 교수 효과를 평가했습니다. 그 결과, 교수들은 익명 평가에서 일반적으로 낮은 점수를 받았습니다. 연구진은 공개 평가에서 교수와의 관계 악화와 같은 제약 때문에 학생들이 익명 평가에서 더 솔직하게 의견을 제시한다고 주장합니다[29]. 그러나 온라인 교수평가의 익명성은 일부 학생들이 평가 점수가 기대에 미치지 못할 경우 교수에게 무례하거나 보복적인 태도를 보이게 할 수 있다는 점도 유의해야 합니다[30]. 하지만 연구에 따르면 학생들이 무례한 피드백을 제공하는 경우는 드물며, 건설적인 피드백을 제공하는 방법을 교육함으로써 이러한 무례한 피드백을 줄일 수 있습니다[30].
여러 연구에서 학생들의 SET 점수, 시험 성적 기대치, 그리고 시험 만족도 사이에 상관관계가 있다는 사실이 밝혀졌습니다[10, 21]. 예를 들어, Strobe(2020)[9]는 학생들이 쉬운 과목에 높은 점수를 주고 교사는 낮은 점수를 주는 것에 높은 점수를 주는 경향이 있어, 부실한 교육을 조장하고 성적 인플레이션을 초래할 수 있다고 보고했습니다[9]. 최근 Looi 등(2020)[31]의 연구에서는 긍정적인 SET 점수가 평가하기 쉽고 관련성이 높다고 보고했습니다. 더욱이, SET 점수가 후속 과목에서의 학생 성적과 반비례 관계를 보인다는 우려스러운 증거도 있습니다. 즉, SET 점수가 높을수록 후속 과목에서 학생들의 성적이 더 나빠지는 것입니다. Cornell 등(2016)[32]은 대학생들이 SET 점수를 높게 준 교사로부터 상대적으로 더 많이 배우는지 여부를 조사하는 연구를 수행했습니다. 연구 결과에 따르면, 학기말에 학습을 평가할 때는 가장 높은 점수를 받은 교사가 가장 많은 학생들의 학습에 기여하는 것으로 나타났습니다. 그러나 후속 관련 과목에서의 성적을 기준으로 학습을 측정할 때는 상대적으로 낮은 점수를 받은 교사가 가장 효과적인 것으로 나타났습니다. 연구진은 생산적인 방식으로 수업 난이도를 높이면 평가 점수는 낮아지지만 학습 효과는 향상될 수 있다는 가설을 세웠습니다. 따라서 학생 평가는 교수법 평가의 유일한 기준이 되어서는 안 되지만, 중요한 요소로 인정되어야 합니다.
여러 연구에 따르면 SET 성적은 과목 자체와 그 구성 방식에 영향을 받는 것으로 나타났습니다. Ming과 Baozhi[33]는 연구에서 과목별로 학생들의 SET 점수에 유의미한 차이가 있음을 발견했습니다. 예를 들어, 임상과학 과목의 SET 점수가 기초과학 과목보다 높았습니다. 저자들은 의대생들이 의사가 되는 데 관심이 많기 때문에 기초과학 과목보다 임상과학 과목에 더 적극적으로 참여하려는 동기가 높다고 설명했습니다[33]. 선택과목의 경우처럼, 학생들의 과목에 대한 동기 또한 점수에 긍정적인 영향을 미칩니다[21]. 다른 여러 연구에서도 과목 유형이 SET 점수에 영향을 미칠 수 있다는 점을 뒷받침하고 있습니다[10, 21].
또한, 다른 연구에서는 학급 규모가 작을수록 교사가 달성하는 SET 수준이 더 높다는 것을 보여주었습니다[10, 33]. 가능한 설명 중 하나는 학급 규모가 작을수록 교사와 학생 간의 상호 작용 기회가 증가한다는 것입니다. 또한 평가가 수행되는 조건도 결과에 영향을 미칠 수 있습니다. 예를 들어, SET 점수는 수업이 진행되는 시간과 요일뿐만 아니라 SET가 완료되는 요일(예: 주말에 완료된 평가는 주 초반에 완료된 평가보다 더 긍정적인 점수를 받는 경향이 있음)의 영향을 받는 것으로 나타났습니다[10].
Hessler 등의 흥미로운 연구에서도 SET의 효과성에 의문을 제기했습니다.[34] 이 연구에서는 응급의학 과정에서 무작위 대조 시험을 실시했습니다. 의대 3학년 학생들을 무작위로 대조군과 무료 초콜릿 칩 쿠키를 제공받은 그룹(쿠키 그룹)으로 배정했습니다. 모든 그룹은 동일한 교사에게 교육을 받았으며, 교육 내용과 교재는 두 그룹 모두에게 동일했습니다. 교육 후 모든 학생에게 설문지를 작성하도록 했습니다. 결과는 쿠키 그룹이 대조군보다 교사를 훨씬 더 높게 평가하여 SET의 효과성에 의문을 제기했습니다.[34]
문헌 연구 결과에서도 성별이 SET 점수에 영향을 미칠 수 있다는 점이 뒷받침됩니다[35,36,37,38,39,40,41,42,43,44,45,46]. 예를 들어, 일부 연구에서는 학생의 성별과 평가 결과 사이에 상관관계가 있음을 보여주었는데, 여학생이 남학생보다 높은 점수를 받았습니다[27]. 대부분의 연구에서는 학생들이 남교사보다 여교사를 낮게 평가하는 경향이 있음을 확인했습니다[37, 38, 39, 40]. 예를 들어, Boring 등[38]은 남녀 학생 모두 남성이 여성보다 지식이 풍부하고 리더십 능력이 뛰어나다고 생각한다는 것을 보여주었습니다. 성별과 고정관념이 SET에 영향을 미친다는 사실은 MacNell 등[41]의 연구에서도 확인할 수 있는데, 이 연구에서 학생들은 다양한 교육 측면에서 여교사를 남교사보다 낮게 평가했습니다[41]. 또한 Morgan et al[42]은 여성 의사가 남성 의사에 비해 4가지 주요 임상 순환(외과, 소아과, 산부인과, 내과)에서 더 낮은 교육 평가를 받았다는 증거를 제시했습니다.
Murray et al.(2020)의 연구[43]에서는 교수의 매력도와 학생들의 수업 관심도가 SET 점수 상승과 관련이 있다고 보고했습니다. 반대로 수업 난이도는 SET 점수 하락과 관련이 있습니다. 또한 학생들은 젊은 백인 남성 인문학 교사와 정교수 직위를 가진 교수에게 더 높은 SET 점수를 주었습니다. SET 수업 평가와 교사 설문 조사 결과 사이에는 상관관계가 없었습니다. 다른 연구에서도 교사의 외모가 평가 결과에 긍정적인 영향을 미친다는 사실을 확인했습니다[44].
Clayson et al. (2017) [45]은 SET가 신뢰할 수 있는 결과를 도출하고 학급 및 교사 평균이 일관성이 있다는 데 일반적으로 동의하지만 개별 학생 응답에는 여전히 불일치가 존재한다고 보고했습니다. 요약하자면, 이 평가 보고서의 결과는 학생들이 평가하도록 요청받은 내용에 동의하지 않았음을 나타냅니다. 학생들의 수업 평가에서 도출된 신뢰도 측정은 타당성을 확립하기 위한 근거를 제공하기에 불충분합니다. 따라서 SET는 때때로 교사보다는 학생에 대한 정보를 제공할 수 있습니다.
보건 교육 SET는 전통적인 SET와 차이가 있지만, 교육자들은 문헌에 보고된 보건 전문 프로그램 특화 SET보다는 일반 고등 교육에서 이용 가능한 SET를 활용하는 경우가 많습니다. 그러나 수년간 진행된 연구들은 이러한 차이점을 보여주는 몇 가지 문제점을 지적해 왔습니다.
Jones et al(1994)[46]은 교수진과 관리자의 관점에서 의과대학 교수진을 평가하는 방법에 대한 질문을 파악하기 위한 연구를 수행했습니다. 전반적으로 가장 자주 언급된 문제는 교육 평가와 관련된 것이었습니다. 가장 흔한 불만은 현재의 성과 평가 방법이 부적절하다는 일반적인 불만이었으며, 응답자들은 SET(교수 평가 시스템)와 학술 보상 시스템에서 교육에 대한 인정이 부족하다는 구체적인 불만도 제기했습니다. 그 외 보고된 문제로는 부서 간 일관성 없는 평가 절차 및 승진 기준, 정기적인 평가 부족, 평가 결과와 급여 연계의 실패 등이 있었습니다.
Royal et al. (2018) [11]은 일반 고등 교육 기관의 보건 전문 프로그램에서 교육 과정 및 교수진을 평가하기 위해 SET를 사용하는 데 있어 몇 가지 한계를 제시했습니다. 연구자들은 고등 교육에서 SET가 의과대학의 교육 과정 설계 및 강의에 직접 적용할 수 없기 때문에 다양한 어려움에 직면한다고 보고했습니다. 강사와 강의에 대한 질문을 포함한 자주 묻는 질문들이 하나의 설문지에 통합되는 경우가 많아 학생들이 이를 구분하는 데 어려움을 겪는 경우가 있습니다. 또한, 의학 프로그램의 강의는 여러 교수진이 담당하는 경우가 많습니다. Royal et al. (2018) [11]이 평가한 학생과 교수 간의 상호 작용 횟수가 제한적일 수 있다는 점을 고려할 때, 이는 타당성에 대한 의문을 제기합니다. Hwang et al. (2017) [14]의 연구에서는 회고적 강의 평가가 다양한 강사의 강의에 대한 학생들의 인식을 얼마나 포괄적으로 반영하는지 살펴보았습니다. 연구 결과는 통합된 의과대학 교육 과정 내에서 여러 학과가 참여하는 강의를 관리하기 위해서는 개별적인 강의 평가가 필요하다는 것을 시사합니다.
Uitdehaage와 O'Neill(2015)[5]은 의대생들이 여러 교수가 참여하는 강의실 수업에서 SET(학생 평가)에 얼마나 의도적으로 참여하는지 조사했습니다. 두 개의 기초 의학 강좌에는 각각 가상의 강사가 등장했습니다. 학생들은 강좌 수료 후 2주 이내에 모든 강사(가상의 강사 포함)에게 익명으로 평가를 제출해야 하지만, 강사 평가를 거부할 수도 있었습니다. 다음 해에도 동일한 과정이 반복되었지만, 이번에는 가상의 강사 사진이 포함되었습니다. 학생들의 66%는 유사성이 없는 가상 강사를 평가했지만, 유사성이 있는 가상 강사를 평가한 학생은 49%로 더 적었습니다. 이러한 결과는 많은 의대생들이 사진이 제공되더라도 평가 대상, 특히 강사의 강의 수행 능력에 대해 신중하게 고려하지 않고 맹목적으로 SET를 수행한다는 것을 시사합니다. 이는 프로그램의 질 향상을 저해하고 강사의 학문적 발전에 해로울 수 있습니다. 연구자들은 학생들의 적극적인 참여를 유도하는 근본적으로 다른 SET 접근 방식을 제시하는 프레임워크를 제안합니다.
다른 일반 고등 교육 프로그램과 비교했을 때 의학 프로그램의 교육 과정에는 여러 가지 차이점이 있습니다[11]. 전문 보건 교육과 마찬가지로 의학 교육은 명확하게 정의된 전문적 역할(임상 실습) 개발에 중점을 둡니다. 결과적으로 의학 및 보건 프로그램 교육 과정은 과목 및 교수진 선택의 폭이 제한되어 더욱 정적인 형태를 띠게 됩니다. 흥미롭게도 의학 교육 과정은 종종 코호트 형식으로 제공되는데, 모든 학생이 매 학기 같은 과목을 동시에 수강합니다. 따라서 많은 수의 학생(보통 n=100 이상)을 등록시키면 교육 방식뿐만 아니라 교수-학생 관계에도 영향을 미칠 수 있습니다. 더욱이 많은 의과대학에서는 대부분의 도구에 대한 심리측정적 특성을 처음 사용할 때 평가하지 않으며, 대부분의 도구의 특성이 알려지지 않은 채로 남아 있는 경우가 많습니다[11].
지난 몇 년간 수행된 여러 연구는 SET의 효과성에 영향을 미칠 수 있는 몇 가지 중요한 요소를 도구적, 관리적, 해석적 측면에서 개선함으로써 SET를 향상시킬 수 있다는 증거를 제시했습니다. 그림 3은 효과적인 SET 모델을 구축하는 데 사용할 수 있는 몇 가지 단계를 보여줍니다. 다음 절에서는 이러한 단계를 보다 자세히 설명합니다.
효과적인 SET 모델을 개발하기 위해 도구적, 관리적, 해석적 수준에서 SET를 개선합니다.
앞서 언급했듯이, 문헌에서는 성별 편견이 교사 평가에 영향을 미칠 수 있음을 확인시켜 줍니다[35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019)[40]은 학생의 성별이 편견 완화 노력에 대한 학생들의 반응에 영향을 미치는지 조사하는 연구를 수행했습니다. 이 연구에서는 SET(학생 평가 도구)를 네 개의 수업(남성 교사가 가르치는 두 수업과 여성 교사가 가르치는 두 수업)에 적용했습니다. 각 수업에서 학생들은 표준 평가 도구 또는 성별 편견을 줄이기 위해 고안된 언어를 사용한 동일한 도구를 사용하도록 무작위로 배정되었습니다. 연구 결과, 반편견 평가 도구를 사용한 학생들은 표준 평가 도구를 사용한 학생들보다 여성 교사에게 유의미하게 더 높은 SET 점수를 주었습니다. 또한, 남성 교사에 대한 평가에서는 두 그룹 간에 차이가 없었습니다. 이 연구 결과는 비교적 간단한 언어적 개입이 학생들의 수업 평가에서 성별 편견을 줄일 수 있음을 보여주는 중요한 사례입니다. 따라서 모든 SET를 신중하게 고려하고 개발 과정에서 성별 편향을 줄이기 위해 언어를 사용하는 것이 좋은 관행입니다[40].
SET에서 유용한 결과를 얻으려면 평가 목적과 질문 문구를 사전에 신중하게 고려하는 것이 중요합니다. 대부분의 SET 설문조사는 수업의 조직적 측면, 즉 "수업 평가"와 교수진, 즉 "교수 평가" 섹션을 명확하게 구분하고 있지만, 일부 설문조사에서는 두 영역의 구분이 명확하지 않거나 학생들이 각 영역을 개별적으로 평가하는 방법에 대해 혼란스러워할 수 있습니다. 따라서 설문지 설계는 적절해야 하며, 설문지의 두 부분을 명확히 구분하고 학생들이 각 영역에서 무엇을 평가해야 하는지 알 수 있도록 해야 합니다. 또한 학생들이 질문을 의도한 대로 해석하는지 확인하기 위해 예비 조사를 실시하는 것이 좋습니다[24]. Oermann 등(2018)의 연구[26]에서는 학부 및 대학원 교육의 다양한 분야에서 SET를 활용한 사례를 조사하고 종합하여 간호학 및 기타 보건 전문 프로그램에서 SET를 활용하는 방법에 대한 지침을 교육자에게 제공했습니다. 이번 연구 결과는 SET 도구를 사용하기 전에 평가를 실시해야 하며, 특히 강사가 의도한 대로 SET 도구의 항목이나 질문을 해석하지 못할 가능성이 있는 학생들을 대상으로 시범 테스트를 진행해야 함을 시사합니다.
여러 연구에서 SET 거버넌스 모델이 학생 참여에 영향을 미치는지 여부를 조사했습니다.
Daumier et al. (2004) [47]은 응답 수와 평가 수를 비교하여 수업에서 완료된 강사 교육에 대한 학생 평가와 온라인으로 수집된 평가를 비교했습니다. 연구에 따르면 온라인 설문 조사는 일반적으로 수업 설문 조사보다 응답률이 낮습니다. 그러나 이 연구에서는 온라인 평가가 전통적인 교실 평가와 유의미하게 다른 평균 점수를 산출하지 않는다는 것을 발견했습니다.
온라인(하지만 종종 인쇄된) SET를 작성하는 동안 학생과 교사 간의 양방향 소통이 부족하여 명확한 설명을 위한 기회가 부족했다는 보고가 있었습니다. 따라서 SET 질문, 의견 또는 학생 평가의 의미가 항상 명확하지 않을 수 있습니다[48]. 일부 기관에서는 학생들을 한 시간 동안 모아 특정 시간을 할애하여 온라인 SET를 (익명으로) 작성하도록 함으로써 이 문제를 해결했습니다[49]. Malone 등(2018)[49]의 연구에서는 학생들과 여러 차례 회의를 열어 SET의 목적, SET 결과를 볼 수 있는 사람과 결과 활용 방법, 그리고 학생들이 제기한 기타 문제들을 논의했습니다. SET는 포커스 그룹과 유사하게 진행됩니다. 집단 구성원들은 비공식적인 투표, 토론 및 설명을 통해 개방형 질문에 답변합니다. 응답률은 70~80% 이상이었으며, 교사, 관리자 및 교육과정 위원회에 풍부한 정보를 제공했습니다[49].
위에서 언급했듯이 Uitdehaage와 O'Neill의 연구[5]에서 연구자들은 연구 대상 학생들이 존재하지 않는 교사를 평가했다고 보고했습니다. 앞서 언급했듯이 이는 의과대학 수업에서 흔히 발생하는 문제로, 각 수업은 여러 교수진이 담당하지만 학생들은 각 수업에 누가 참여했는지, 각 교수진이 무엇을 했는지 기억하지 못할 수 있습니다. 일부 기관에서는 학생들의 기억을 되살리고 SET의 효과를 저해하는 문제를 방지하기 위해 각 강사의 사진, 이름, 강의 주제/날짜를 제공하는 방식으로 이 문제를 해결했습니다[49].
SET와 관련된 가장 중요한 문제는 교사가 양적 및 질적 SET 결과를 올바르게 해석할 수 없다는 것입니다. 어떤 교사는 연도별 통계적 비교를 하고 싶어하고, 어떤 교사는 평균 점수의 사소한 증가/감소를 의미 있는 변화로 보고 싶어하며, 어떤 교사는 모든 설문조사를 믿고 싶어하고, 또 어떤 교사는 모든 설문조사에 대해 노골적으로 회의적입니다[45,50, 51].
결과를 올바르게 해석하지 못하거나 학생 피드백을 처리하지 못하면 교사의 교육 태도에 영향을 미칠 수 있습니다. Lutovac et al.(2017)의 연구 결과[52]에 따르면, 학생들에게 피드백을 제공하기 위해서는 교사를 지원하는 교육이 필요하고 유익합니다. 의학 교육에서는 SET 결과의 올바른 해석에 대한 교육이 시급히 필요합니다. 따라서 의과대학 교수진은 결과 평가 방법과 중점적으로 다루어야 할 중요한 영역에 대한 교육을 받아야 합니다[50, 51].
따라서, 앞서 설명한 결과는 SET 결과가 교수진, 의과대학 행정 담당자, 학생을 포함한 모든 관련 이해관계자에게 의미 있는 영향을 미칠 수 있도록 SET를 신중하게 설계, 시행 및 해석해야 함을 시사합니다.
SET의 몇 가지 한계점 때문에, 우리는 교육 효과에 대한 편견을 줄이고 의학 교육자의 전문성 개발을 지원하기 위해 포괄적인 평가 시스템을 구축하기 위한 노력을 계속해야 합니다.
학생, 동료, 프로그램 관리자 및 교수 자체 평가를 포함한 여러 출처의 데이터를 수집하고 삼각측량함으로써 임상 교수진의 교육 품질에 대한 보다 완전한 이해를 얻을 수 있습니다[53, 54, 55, 56, 57]. 다음 섹션에서는 효과적인 SET 외에 훈련 효과에 대한 보다 적절하고 완전한 이해를 개발하는 데 도움이 될 수 있는 다른 도구/방법을 설명합니다(그림 4).
의과대학 교육 효과성 평가 시스템의 종합적인 모델을 개발하는 데 사용할 수 있는 방법들.
포커스 그룹은 "특정한 문제들을 탐구하기 위해 조직된 그룹 토론"으로 정의됩니다[58]. 지난 몇 년 동안 의과대학들은 학생들의 양질의 피드백을 얻고 온라인 SET의 문제점을 해결하기 위해 포커스 그룹을 만들었습니다. 이러한 연구들은 포커스 그룹이 양질의 피드백을 제공하고 학생 만족도를 높이는 데 효과적임을 보여줍니다[59, 60, 61].
Brundle 등[59]의 연구에서는 교수진과 학생들이 포커스 그룹 토론을 통해 수업에 대해 논의할 수 있는 학생 평가 그룹 프로세스를 시행했습니다. 연구 결과에 따르면 포커스 그룹 토론은 온라인 평가를 보완하고 전반적인 수업 평가 과정에 대한 학생 만족도를 높이는 것으로 나타났습니다. 학생들은 교수진과 직접 소통할 수 있는 기회를 소중히 여겼으며, 이러한 과정이 교육 개선에 기여할 수 있다고 생각했습니다. 또한 교수진의 관점을 이해할 수 있었다고 느꼈습니다. 학생들뿐만 아니라 교수진 역시 포커스 그룹이 학생들과의 효과적인 소통을 촉진했다고 평가했습니다[59]. 따라서 포커스 그룹을 활용하면 의과대학은 각 수업의 질과 해당 교수진의 교육 효과에 대해 더 완벽하게 이해할 수 있습니다. 그러나 포커스 그룹 자체에도 몇 가지 한계점이 있습니다. 예를 들어 모든 학생이 참여할 수 있는 온라인 SET 프로그램에 비해 참여 학생 수가 적습니다. 또한 여러 수업에 대한 포커스 그룹을 진행하는 것은 지도교수와 학생 모두에게 시간 소모적인 과정일 수 있습니다. 이는 특히 바쁜 일정을 소화하고 여러 지역에서 임상 실습을 하는 의대생들에게 큰 제약이 됩니다. 또한 포커스 그룹에는 많은 수의 경험 있는 진행자가 필요합니다. 그러나 포커스 그룹을 평가 과정에 통합하면 교육의 효과에 대한 더 자세하고 구체적인 정보를 얻을 수 있습니다[48, 59, 60, 61].
Schiekierka-Schwacke 등(2018) [62]은 독일의 두 의과대학에서 교수 성과 및 학생 학습 결과를 평가하는 새로운 도구에 대한 학생과 교수진의 인식을 조사했습니다. 교수진과 의대생을 대상으로 포커스 그룹 토론과 개별 인터뷰를 진행했습니다. 교수진은 평가 도구가 제공하는 개인적인 피드백을 긍정적으로 평가했으며, 학생들은 평가 데이터 보고를 장려하기 위해 목표와 결과를 포함하는 피드백 루프가 필요하다고 응답했습니다. 따라서 이 연구 결과는 학생들과의 소통 루프를 완성하고 평가 결과를 알려주는 것이 중요하다는 점을 뒷받침합니다.
동료 교수 평가(PRT) 프로그램은 매우 중요하며 고등 교육 기관에서 오랫동안 시행되어 왔습니다. PRT는 교수 효과를 향상시키기 위해 교수법을 관찰하고 관찰자에게 피드백을 제공하는 협력적인 과정을 포함합니다[63]. 또한, 자기 성찰 활동, 체계적인 후속 토론, 훈련된 동료의 체계적인 배정은 PRT의 효과와 학과의 교수 문화를 개선하는 데 도움이 될 수 있습니다[64]. 이러한 프로그램은 교사들이 과거에 유사한 어려움을 겪었을 수 있는 동료 교사로부터 건설적인 피드백을 받고, 개선을 위한 유용한 제안을 제공함으로써 더 큰 지원을 받을 수 있도록 돕는 등 많은 이점을 제공하는 것으로 알려져 있습니다[63]. 더욱이, 건설적으로 활용될 경우 동료 평가는 교육 내용과 전달 방법을 개선하고 의학 교육자들이 교육의 질을 향상시키는 데 도움이 될 수 있습니다[65, 66].
Campbell et al.(2019) [67]의 최근 연구는 직장 동료 지원 모델이 임상 보건 교육자를 위한 수용 가능하고 효과적인 교사 개발 전략이라는 증거를 제공합니다. 또 다른 연구에서 Caygill et al. [68]은 멜버른 대학교의 보건 교육자들에게 PRT 사용 경험을 공유할 수 있도록 특별히 고안된 설문지를 보내는 연구를 수행했습니다. 결과는 의학 교육자들 사이에서 PRT에 대한 잠재적 관심이 있으며 자발적이고 유익한 동료 평가 형식이 전문성 개발을 위한 중요하고 가치 있는 기회로 여겨진다는 것을 보여줍니다.
PRT 프로그램은 관찰 대상 교사들의 불안감을 증가시키는 경우가 많은 판단적이고 "관리적인" 환경을 조성하지 않도록 신중하게 설계되어야 한다는 점에 유의해야 합니다[69]. 따라서 PRT 계획은 안전한 환경을 조성하고 건설적인 피드백을 제공하는 데 도움이 되도록 신중하게 개발해야 합니다. 이를 위해 평가자를 위한 특별 교육이 필요하며, PRT 프로그램에는 진정으로 관심 있고 경험이 풍부한 교사만 참여해야 합니다. 특히 PRT에서 얻은 정보가 승진, 급여 인상, 중요한 행정직 승진과 같은 교수진 인사 결정에 활용되는 경우 더욱 중요합니다. PRT는 시간이 많이 소요되고 포커스 그룹과 마찬가지로 많은 수의 경험 많은 교수진의 참여가 필요하기 때문에 자원이 부족한 의과대학에서는 시행하기 어렵다는 점에 유의해야 합니다.
Newman et al. (2019) [70]은 훈련 전, 훈련 중, 훈련 후에 사용되는 전략과 모범 사례를 강조하고 학습 문제에 대한 해결책을 제시하는 관찰에 대해 설명합니다. 연구자들은 검토자에게 다음과 같은 12가지 제안을 제시했습니다. (1) 단어를 신중하게 선택하십시오. (2) 관찰자가 토론 방향을 결정하도록 하십시오. (3) 피드백은 기밀로 유지하고 형식을 갖추십시오. (4) 피드백은 기밀로 유지하고 형식을 갖추십시오. 피드백은 개별 교사보다는 교수 기술에 초점을 맞추십시오. (5) 동료를 알아가십시오. (6) 자신과 타인을 배려하십시오. (7) 피드백 제공 시 대명사가 중요한 역할을 한다는 것을 기억하십시오. (8) 질문을 통해 교수 관점을 명확히 하십시오. (10) 동료 관찰에서 신뢰와 피드백 프로세스를 구축하십시오. (11) 학습 관찰을 상호 이익이 되는 활동으로 만드십시오. (12) 실행 계획을 수립하십시오. 연구자들은 또한 관찰에 대한 편견의 영향과 학습, 관찰 및 피드백 토론 과정이 양측 모두에게 어떻게 가치 있는 학습 경험을 제공하고 장기적인 파트너십과 교육의 질 향상으로 이어질 수 있는지에 대해 탐구하고 있습니다. Gomaly et al. (2014) [71]은 효과적인 피드백의 질에는 (1) 지시를 제공하여 작업을 명확히 하고, (2) 더 큰 노력을 장려하기 위한 동기를 높이고, (3) 평판이 좋은 출처에서 제공하는 가치 있는 과정으로 수신자가 인식하는 것이 포함되어야 한다고 보고했습니다.
의과대학 교수진은 PRT에 대한 피드백을 받지만, 교수진에게 피드백을 해석하는 방법(SET 해석 교육 권고와 유사하게)을 교육하고, 받은 피드백을 건설적으로 성찰할 수 있는 충분한 시간을 제공하는 것이 중요합니다.
게시 시간: 2023년 11월 24일