커리큘럼 및 교수진의 평가는 의과 대학을 포함한 모든 고등 교육 기관에 중요합니다. 교육의 학생 평가 (세트)는 일반적으로 익명 설문지의 형태를 취하며 원래 과정과 프로그램을 평가하기 위해 개발되었지만 시간이 지남에 따라 교육 효과를 측정 한 후 중요한 교수 관련 결정을 내리는 데 사용되었습니다. 교사 전문 개발. 그러나 특정 요인과 편견은 세트 점수에 영향을 줄 수 있으며 교수 효과는 객관적으로 측정 할 수 없습니다. 일반적인 고등 교육에서 과정 및 교수진 평가에 관한 문헌이 잘 확립되어 있지만, 의료 프로그램의 과정과 교수진을 평가하기 위해 동일한 도구를 사용하는 것에 대한 우려가 있습니다. 특히, 일반적인 고등 교육은 의과 대학의 커리큘럼 설계 및 구현에 직접 적용 할 수 없습니다. 이 검토는 기기, 관리 및 해석 수준에서 세트를 개선 할 수있는 방법에 대한 개요를 제공합니다. 또한이 기사는 동료 검토, 포커스 그룹 및 자체 평가와 같은 다양한 방법을 사용하여 학생, 동료, 프로그램 관리자 및 자체 인식을 포함한 여러 출처에서 데이터를 수집 및 삼각 측량하여 포괄적 인 평가 시스템이 할 수 있다고 지적합니다. 건설됩니다. 효과적으로 교육 효과를 측정하고, 의료 교육자의 전문성 개발을 지원하며, 의학 교육의 교육의 질을 향상시킵니다.
과정 및 프로그램 평가는 의과 대학을 포함한 모든 고등 교육 기관의 내부 품질 관리 프로세스입니다. 학생 평가 (SET)는 일반적으로 사람들이 계약 또는 계약 정도를 표시 할 수있는 리 커트 척도 (보통 5, 7 이상)와 같은 등급 척도를 사용하여 익명 논문 또는 온라인 설문지의 형태를 취합니다. 나는 구체적인 진술에 동의하지 않습니다) [1,2,3]. 세트는 원래 과정과 프로그램을 평가하기 위해 개발되었지만 시간이 지남에 따라 교육 효과를 측정하는 데 사용되었습니다 [4, 5, 6]. 교육 효과는 교수 효과와 학생 학습 사이에 긍정적 인 관계가 있다고 가정하기 때문에 중요하다고 간주됩니다 [7]. 문헌은 훈련의 효과를 명확하게 정의하지는 않지만, 일반적으로“그룹 상호 작용”,“준비 및 조직”,“학생들에게 피드백”과 같은 훈련의 특정 특성을 통해 지정됩니다 [8].
SET에서 얻은 정보는 특정 과정에서 사용되는 교재 또는 교수법을 조정 해야하는지 여부와 같은 유용한 정보를 제공 할 수 있습니다. 세트는 또한 교사 전문 개발과 관련된 중요한 결정을 내리는 데 사용됩니다 [4,5,6]. 그러나이 접근법의 적절성은 고등 교육 기관이 학업 계급 (종종 선임 및 급여 인상과 관련된) 및 기관 내 주요 행정 직책과 같은 교수진에 관한 결정을 내릴 때 의심의 여지가있다 [4, 9]. 또한, 기관은 종종 새로운 교수진이 새로운 직책에 대한 신청서에 이전 기관의 세트를 포함하도록 요구하므로 기관 내 교수진뿐만 아니라 잠재적 인 새로운 고용주에도 영향을 미칩니다 [10].
교과 과정 및 교사 평가에 관한 문헌은 일반 고등 교육 분야에서 잘 확립되어 있지만, 이것은 의학 및 건강 관리 분야에서는 그렇지 않습니다 [11]. 의료 교육자의 커리큘럼과 요구는 일반적인 고등 교육의 커리큘럼과 다릅니다. 예를 들어, 팀 학습은 종종 통합 의료 교육 과정에서 사용됩니다. 이는 의과 대학 커리큘럼이 다양한 의료 분야에서 훈련과 경험을 가진 많은 교수진이 가르치는 일련의 과정으로 구성되어 있음을 의미합니다. 학생들은이 구조 하의이 분야의 전문가에 대한 심층적 인 지식으로부터 혜택을 받지만, 종종 각 교사의 다양한 교수 스타일에 적응하는 데 어려움을 겪고 있습니다 [1, 12, 13, 14].
일반적인 고등 교육과 의학 교육에는 차이가 있지만, 전자에 사용 된 세트는 때때로 의학 및 건강 관리 과정에 사용됩니다. 그러나 일반적인 고등 교육에서 설정하는 것은 건강 전문 프로그램의 커리큘럼 및 교수 평가 측면에서 많은 과제를 제기합니다 [11]. 특히, 교수법과 교사 자격의 차이로 인해 과정 평가 결과에는 모든 교사 또는 수업의 학생 의견이 포함되지 않을 수 있습니다. Uytenhaage and O'Neill (2015) [5]의 연구에 따르면 학생들이 과정이 끝날 때 모든 개별 교사를 평가하도록 요청하는 것은 학생들이 여러 교사 등급에 대해 기억하고 논평하는 것이 거의 불가능하기 때문에 부적절 할 수 있다고 제안합니다. 카테고리. 또한, 많은 의학 교육 교사는 또한 가르치는 것이 그들의 책임의 작은 부분 일뿐입니다 [15, 16]. 그들은 주로 환자 치료에 관여하고 있으며, 많은 경우 연구에 따라 교수 기술을 개발할 시간이 거의 없습니다. 그러나 교사로서의 의사는 조직으로부터 시간, 지원 및 건설적인 피드백을 받아야한다 [16].
의대생들은 의과 대학 입학을 성공적으로 얻는 동기 부여되고 열심히 일하는 개인 인 경향이 있습니다 (국제적으로 경쟁력 있고 까다로운 과정을 통해). 또한 의과 대학 기간 동안 의대생은 많은 양의 지식을 습득하고 짧은 기간 동안 많은 기술을 개발하고 복잡한 내부 및 포괄적 인 국가 평가에서 성공할 것으로 예상됩니다 [17,18,19 , 20]. 따라서 의대생이 기대하는 높은 표준으로 인해 의대생은 다른 분야의 학생들보다 더 비판적이며 고품질 교육에 대한 기대치가 높을 수 있습니다. 따라서 의대생은 위에서 언급 한 이유로 다른 분야의 학생들에 비해 교수의 등급이 낮을 수 있습니다. 흥미롭게도, 이전 연구는 학생 동기 부여와 개별 교사 평가 사이의 긍정적 인 관계를 보여 주었다 [21]. 또한 지난 20 년 동안 전 세계 대부분의 의과 대학 커리큘럼은 수직으로 통합되어 [22] 학생들이 프로그램 초기부터 임상 실습에 노출되었습니다. 따라서 지난 몇 년 동안 의사들은 의대생의 교육에 점점 더 참여하여 프로그램 초기에 심지어 특정 교수 인구에 맞는 세트를 개발하는 것의 중요성을 승인했습니다 [22].
위에서 언급 한 의료 교육의 특정 특성으로 인해 단일 교수진이 가르치는 일반적인 고등 교육 과정을 평가하는 데 사용되는 세트는 통합 커리큘럼 및 의료 프로그램의 임상 교수를 평가하도록 조정되어야합니다 [14]. 따라서 의학 교육에보다 효과적인 적용을 위해보다 효과적인 세트 모델과 포괄적 인 평가 시스템을 개발할 필요가 있습니다.
현재의 검토는 (일반) 고등 교육 및 그 한계 사용의 최근 발전을 설명 한 다음 의학 교육 과정 및 교수진에 대한 다양한 요구를 간략하게 설명합니다. 이 검토는 도구, 행정 및 해석 수준에서 세트를 개선 할 수있는 방법에 대한 업데이트를 제공하고 효과적인 세트 모델 및 교육 효과를 측정하고 전문 건강 교육자의 개발을 지원하며 개선 할 수있는 포괄적 인 평가 시스템을 개발하는 목표에 중점을 둡니다. 의학 교육에서의 교육의 질.
이 연구는 Green et al. (2006) [23] 조언과 Baumeister (2013) [24]. 이야기 검토 작성에 대한 조언은. 우리는이 유형의 검토가 주제에 대한 광범위한 관점을 제시하는 데 도움이되기 때문에이 주제에 대한 이야기 검토를 작성하기로 결정했습니다. 더욱이 이야기 리뷰는 방법 론적으로 다양한 연구를 이끌어 내기 때문에 더 넓은 질문에 대답하는 데 도움이됩니다. 또한 이야기 해설은 주제에 대한 생각과 토론을 자극하는 데 도움이 될 수 있습니다.
의학 교육에 어떻게 사용되는지와 일반적인 고등 교육에 사용 된 세트와 비교했을 때의 과제는 무엇입니까?
PubMed 및 Eric 데이터베이스는 "학생 교육 평가", "교육 효과", "의료 교육", "고등 교육", "커리큘럼 및 교수 평가"및 Peer Review 2000, 논리 운영자의 조합을 사용하여 검색되었습니다. . 2021 년에서 2021 년 사이에 발표 된 기사. 포함 기준 : 포함 된 연구는 원본 연구 또는 검토 기사였으며 연구는 세 가지 주요 연구 질문의 영역과 관련이있었습니다. 제외 기준 : 영어가 아닌 연구 또는 전체 텍스트 기사를 찾을 수 없거나 세 가지 주요 연구 질문과 관련이없는 연구는 현재 검토 문서에서 제외되었습니다. 간행물을 선택한 후, 그들은 다음 주제와 관련 하위 주제로 구성되었습니다. (a) 일반 고등 교육에서 세트 사용 및 그 한계, (b) 의료 교육에서의 세트 사용 및 비교와 관련된 문제를 해결하는 것과의 관련성 세트 (c) 효과적인 세트 모델을 개발하기 위해 도구, 관리 및 해석 수준에서 세트를 개선합니다.
그림 1은 검토의 현재 부분에 포함되고 논의 된 선택된 기사의 흐름도를 제공합니다.
세트는 전통적으로 고등 교육에 사용되었으며 주제는 문헌에서 잘 연구되어왔다 [10, 21]. 그러나 많은 연구에서 이러한 한계를 해결하기위한 많은 한계와 노력을 조사했습니다.
연구에 따르면 세트 점수에 영향을 미치는 많은 변수가 있습니다 [10, 21, 25, 26]. 따라서 관리자와 교사는 데이터를 해석하고 사용할 때 이러한 변수를 이해하는 것이 중요합니다. 다음 섹션에서는 이러한 변수에 대한 간단한 개요를 제공합니다. 그림 2는 세트 점수에 영향을 미치는 몇 가지 요소를 보여줍니다.
최근 몇 년 동안 종이 키트에 비해 온라인 키트의 사용이 증가했습니다. 그러나 문헌의 증거에 따르면 학생들이 완료 과정에 필요한주의를 기울이지 않고 온라인 세트를 완료 할 수 있습니다. Uitdehaage와 O'Neill [5]의 흥미로운 연구에서 존재하지 않는 교사 가이 세트에 추가되었고 많은 학생들이 피드백을 제공했습니다 [5]. 더욱이, 문헌의 증거는 학생들이 종종 세트 완료가 교육 성취도가 향상되지 않는다고 종종 믿고 있으며, 이는 의대생의 바쁜 일정과 결합 될 때 더 낮은 응답 률을 초래할 수 있습니다 [27]. 연구에 따르면 시험을 치르는 학생들의 의견은 전체 그룹의 의견과 다르지 않지만, 낮은 응답률은 여전히 교사가 결과를 덜 심각하게 받아 들일 수 있습니다 [28].
대부분의 온라인 세트는 익명으로 완료됩니다. 아이디어는 학생들이 자신의 표현이 교사와의 미래 관계에 영향을 미칠 것이라는 가정없이 자신의 의견을 자유롭게 표현할 수 있도록하는 것입니다. Alfonso et al.의 연구 [29]에서 연구원들은 기숙사와 의과 대학의 의과 대학 교수진의 교수 효과를 평가하기 위해 평가자가 자신의 이름 (공개 등급)을 제공 해야하는 익명의 등급과 등급을 사용했습니다. 결과는 교사들이 일반적으로 익명 평가에서 더 낮은 점수를 얻은 것으로 나타났습니다. 저자는 학생들이 참여 교사와의 업무 관계 손상과 같은 공개 평가의 특정 장벽으로 인해 익명 평가에서 더 정직하다고 주장합니다 [29]. 그러나 온라인 세트와 관련된 익명 성은 평가 점수가 학생의 기대를 충족시키지 못하면 일부 학생들이 강사에 대해 무례하고 보복 할 수 있다는 점에 유의해야합니다 [30]. 그러나 연구에 따르면 학생들은 무례한 피드백을 거의 제공하지 않으며, 후자는 학생들에게 건설적인 피드백을 제공하도록 가르치면 더욱 제한 될 수 있습니다 [30].
몇몇 연구에 따르면 학생들의 세트 점수, 시험 성능 기대치 및 시험 만족도 사이에는 상관 관계가 있음이 밝혀졌습니다 [10, 21]. 예를 들어, Strobe (2020) [9]는 학생들이 쉬운 과정을 보상하고 교사는 약한 성적을 보상하여 가르치는 가르침을 장려하고 등급 인플레이션으로 이어질 수 있다고보고했다 [9]. 최근 연구에서 Looi et al. (2020) [31] 연구자들은 더 유리한 세트가 관련되고 평가하기 쉽다고보고했다. 또한, SET은 후속 코스에서 학생의 성과와 반비례한다는 증거가 있습니다. 등급이 높을수록 후속 코스에서 학생의 성과가 악화됩니다. 코넬 et al. (2016) [32]는 대학생들이 높은 평가를받은 교사들로부터 비교적 더 많은 것을 배웠는지 여부를 조사하기위한 연구를 수행했습니다. 결과는 과정이 끝날 때 학습이 평가 될 때 가장 높은 등급을 가진 교사도 대부분의 학생들의 학습에 기여한다는 것을 보여줍니다. 그러나 학습이 후속 관련 과정에서 성과로 측정 될 때 상대적으로 낮은 점수를받는 교사가 가장 효과적입니다. 연구원들은 생산적인 방식으로 코스를 더 도전하는 것이 등급을 낮추지 만 학습을 향상시킬 수 있다고 가정했습니다. 따라서, 학생 평가는 교육 평가의 유일한 근거가 아니어야하지만 인정되어야합니다.
여러 연구에 따르면 세트 성능은 과정 자체와 조직의 영향을받습니다. Ming and Baozhi [33]는 연구에서 다른 과목의 학생들 사이에 세트 점수가 상당한 차이가 있음을 발견했습니다. 예를 들어, 임상 과학은 기본 과학보다 세트 점수가 높습니다. 저자는 이는 의대생들이 의사가되는 데 관심이 있기 때문에 기초 과학 과정에 비해 임상 과학 과정에 더 많은 참여를위한 개인적인 관심과 더 높은 동기를 가지고 있기 때문이라고 설명했다 [33]. 선택 과목의 경우와 같이, 주제에 대한 학생 동기는 또한 점수에 긍정적 인 영향을 미칩니다 [21]. 다른 여러 연구는 또한 코스 유형이 세트 점수에 영향을 줄 수 있다는 것을지지한다 [10, 21].
또한 다른 연구에 따르면 클래스 크기가 작을수록 교사가 달성 한 세트 수준이 높아진다 [10, 33]. 한 가지 가능한 설명은 더 작은 수업 규모가 교사-학생 상호 작용의 기회를 증가 시킨다는 것입니다. 또한 평가가 수행되는 조건이 결과에 영향을 줄 수 있습니다. 예를 들어, 세트 점수는 코스가 가르치는 시간과 요일에 영향을받는 것으로 보이며, 세트가 완료된 요일 (예 : 주말에 완료된 평가는 더 긍정적 인 점수를 얻는 경향이 있음) 이번 주 초. [10].
Hessler 등의 흥미로운 연구는 또한 세트의 효과에 의문을 제기합니다. [34]. 이 연구에서는 응급 의학 과정에서 무작위 대조 시험을 수행했습니다. 3 학년 의대생은 제어 그룹 또는 무료 초콜릿 칩 쿠키 (쿠키 그룹)를받은 그룹에 무작위로 배정되었습니다. 모든 그룹은 동일한 교사들에 의해 가르쳤으며 훈련 내용과 코스 자료는 두 그룹 모두에 대해 동일했습니다. 코스 후 모든 학생들은 세트를 완료하도록 요청 받았다. 결과에 따르면 쿠키 그룹은 교사가 통제 그룹보다 훨씬 더 나은 것으로 평가하여 세트의 효과에 의문을 제기했다 [34].
문헌의 증거는 또한 성별이 세트 점수에 영향을 줄 수 있다고 뒷받침한다 [35,36,37,38,39,40,41,42,43,44,45,46]. 예를 들어, 일부 연구에 따르면 학생들의 성별과 평가 결과 사이의 관계가 나타났습니다. 여학생 학생들은 남학생보다 높은 점수를 받았습니다 [27]. 대부분의 증거는 학생들이 남성 교사보다 여성 교사를 더 낮게 평가한다는 것을 확인합니다 [37, 38, 39, 40]. 예를 들어, Boring et al. [38]은 남성과 여학생 모두 남성이 남성이 여성보다 더 지식이 풍부하고 더 강한 리더십 능력을 가지고 있다고 믿었다는 것을 보여 주었다. 성별과 고정 관념이 세트에 영향을 미친다는 사실은 또한 Macnell et al. [41], 그의 연구에 참여한 학생들은 교수의 다양한 측면에서 남성 교사보다 여성 교사를 평가했다고보고했다 [41]. 또한 Morgan et al [42]은 남성 의사와 비교하여 4 가지 주요 임상 회전 (수술, 소아, 산부인과 및 부인과, 내과)에서 여성 의사가 더 낮은 교수 등급을 받았다는 증거를 제공했습니다.
Murray et al. (2020) 연구 [43]에서 연구원들은이 과정에 대한 교수의 매력과 학생의 관심이 더 높은 세트 점수와 관련이 있다고보고했다. 반대로, 코스 난이도는 낮은 세트 점수와 관련이 있습니다. 또한, 학생들은 젊은 백인 남성 인문학 교사와 교수직을 개최하는 교수진에게 더 높은 점수를 얻었습니다. 세트 교육 평가와 교사 설문 조사 결과 사이에는 상관 관계가 없었습니다. 다른 연구는 또한 교사의 신체적 매력이 평가 결과에 대한 긍정적 인 영향을 확인합니다 [44].
Clayson et al. (2017) [45]는 세트가 신뢰할 수있는 결과를 생성하고 수업 및 교사 평균이 일관성이 있지만 개별 학생 응답에는 여전히 불일치가 존재한다는 일반적인 합의가 있지만, 여전히 불일치가 존재한다고보고했다. 요약하면,이 평가 보고서의 결과는 학생들이 평가 요청에 동의하지 않았 음을 나타냅니다. 교수의 학생 평가에서 파생 된 신뢰성 측정은 타당성을 확립하기위한 기초를 제공하기에 충분하지 않습니다. 따라서 세트는 때때로 교사보다는 학생에 대한 정보를 제공 할 수 있습니다.
건강 교육 세트는 전통적인 세트와 다르지만, 교육자들은 종종 문헌에보고 된 건강 직업 프로그램에 특화된 것이 아니라 일반적인 고등 교육에서 이용할 수있는 세트를 사용합니다. 그러나 수년에 걸쳐 수행 된 연구는 몇 가지 문제를 확인했습니다.
Jones et al (1994). [46]은 교수진 및 관리자의 관점에서 의과 대학 교수진을 평가하는 방법에 대한 질문을 결정하기위한 연구를 수행했습니다. 전반적으로 교육 평가와 관련된 가장 자주 언급 된 문제. 가장 흔한 것은 현재 성과 평가 방법의 부적절함에 대한 일반적인 불만이었으며, 응답자들은 또한 세트에 대한 구체적인 불만과 학업 보상 시스템에서 교육의 인식 부족을 제시했습니다. 보고 된 다른 문제로는 부서 간 일관성없는 평가 절차 및 홍보 기준, 정기 평가 부족 및 평가 결과를 급여에 연결하지 못한 채 관련이 있습니다.
Royal et al (2018) [11]은 일반적인 고등 교육의 건강 전문 프로그램의 커리큘럼 및 교수진을 평가하기 위해 세트를 사용하는 것의 일부 제한 사항을 설명합니다. 연구원들은 고등 교육에 정해진 의과 대학의 커리큘럼 설계 및 과정 교육에 직접 적용 할 수 없기 때문에 다양한 과제에 직면하고 있다고보고합니다. 강사와 코스에 대한 질문을 포함하여 자주 묻는 질문은 종종 하나의 설문지로 결합되므로 학생들은 종종 그들을 구별하는 데 어려움을 겪습니다. 또한 의료 프로그램 과정은 종종 여러 교수진이 가르치는 경우가 많습니다. 이것은 Royal et al. (2018) [11]. Hwang et al.의 연구에서. (2017) [14], 연구원들은 소급 과정 평가가 다양한 강사의 과정에 대한 학생의 인식을 포괄적으로 반영하는 방법에 대한 개념을 조사했습니다. 그들의 결과는 통합 의과 대학 커리큘럼 내에서 다중 파트먼트 코스를 관리하기 위해 개별화 된 수업 평가가 필요하다는 것을 시사합니다.
Uitdehaage and O'Neill (2015) [5]는 의대생들이 의도적으로 다중 교실 강의 과정을 시작한 정도를 조사했습니다. 두 개의 전임상 과정에는 가상의 강사가있었습니다. 학생들은 과정을 마친 후 2 주 이내에 모든 강사 (가상 강사 포함)에게 익명의 등급을 제공해야하지만 강사를 평가하지 못할 수 있습니다. 이듬해에 다시 일어 났지만 가상의 강사의 초상화가 포함되었습니다. 학생의 64%가 가상 강사를 유사하게 평가했지만 학생 (49%)이 유사성이있는 가상 강사를 평가했습니다. 이러한 결과는 많은 의대생들이 강사의 성과는 물론 사진을 동반 할 때에도 맹목적으로 세트를 완료한다는 것을 시사합니다. 이것은 프로그램 품질의 개선을 방해하고 교사의 학업 진도에 해로울 수 있습니다. 연구원들은 적극적으로 적극적으로 학생들을 참여시키기 위해 근본적으로 다른 접근법을 제공하는 프레임 워크를 제안합니다.
다른 일반적인 고등 교육 프로그램과 비교하여 의료 프로그램의 교육 커리큘럼에는 다른 많은 차이점이 있습니다 [11]. 전문 건강 교육과 같은 의학 교육은 명확하게 정의 된 전문 역할 (임상 실습)의 발전에 분명히 중점을 둡니다. 결과적으로, 의료 및 건강 프로그램 커리큘럼은 제한된 과정과 교직원 선택으로 더욱 정적이됩니다. 흥미롭게도, 의료 교육 과정은 종종 코호트 형식으로 제공되며 모든 학생들은 매 학기마다 동시에 동일한 과정을 수강합니다. 따라서 많은 학생들 (일반적으로 n = 100 이상)을 등록하면 교사 형식과 교사 학생 관계에 영향을 줄 수 있습니다. 또한, 많은 의과 대학에서, 대부분의기구의 심리적 특성은 초기 사용시 평가되지 않으며, 대부분의 악기의 특성은 알려지지 않았다 [11].
지난 몇 년 동안 여러 연구에서 도구, 행정 및 해석 수준에서 설정의 효과에 영향을 줄 수있는 몇 가지 중요한 요소를 해결함으로써 세트가 개선 될 수 있다는 증거를 제공했습니다. 그림 3은 효과적인 설정 모델을 만드는 데 사용할 수있는 일부 단계를 보여줍니다. 다음 섹션에서는보다 자세한 설명을 제공합니다.
효과적인 세트 모델을 개발하기 위해 도구, 관리 및 해석 수준에서 세트를 개선하십시오.
앞에서 언급했듯이, 문헌은 성 편견이 교사 평가에 영향을 줄 수 있음을 확인합니다 [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson et al. (2019) [40]은 학생의 성별이 편견 완화 노력에 대한 학생의 반응에 영향을 미쳤는지 여부를 조사하는 연구를 수행했습니다. 이 연구에서 세트는 4 개의 수업 (남성 교사가 가르치고 2 명은 여성 교사가 가르치는)으로 관리되었습니다. 각 과정 내에서 학생들은 표준 평가 도구 나 동일한 도구를 받도록 무작위로 배정되었지만 성 편견을 줄이기 위해 설계된 언어를 사용했습니다. 이 연구는 반 바이어스 평가 도구를 사용한 학생들이 표준 평가 도구를 사용한 학생들보다 여성 교사에게 상당히 높은 세트 점수를 주었다는 것을 발견했습니다. 또한, 두 그룹 간의 남성 교사의 등급에는 차이가 없었습니다. 이 연구의 결과는 중요하며 비교적 간단한 언어 개입이 학생 평가에서 학생 평가에서 성 편견을 줄일 수있는 방법을 보여줍니다. 따라서 모든 세트를 신중하게 고려하고 언어를 사용하여 발달의 성 편견을 줄이는 것이 좋습니다 [40].
모든 세트에서 유용한 결과를 얻으려면 평가의 목적과 질문의 문구를 사전에 신중하게 고려하는 것이 중요합니다. 대부분의 세트 설문 조사는 과정의 조직 측면, 즉“코스 평가”, 교수진, 즉“교사 평가”에 관한 섹션을 명확하게 나타내지 만, 일부 설문 조사에서는 차이가 명백하지 않거나 학생들 사이에 혼란이있을 수 있습니다. 이러한 각 영역을 개별적으로 평가하는 방법에 대해. 따라서 설문지의 디자인은 적절하고 설문지의 두 가지 다른 부분을 명확히하고 학생들이 각 영역에서 무엇을 평가 해야하는지 알리도록해야합니다. 또한, 학생들이 의도 된 방식으로 질문을 해석하는지 여부를 결정하기 위해 파일럿 테스트가 권장됩니다 [24]. Oermann et al. (2018) [26], 연구원들은 학부 및 대학원 교육의 광범위한 분야에서 세트의 사용을 설명하기 위해 간호 및 기타 건강 전문 프로그램의 세트 사용에 대한 지침을 제공하는 문헌을 검색하고 합성했습니다. 결과는 강사가 의도 한대로 세트 기기 항목이나 질문을 해석 할 수없는 학생들과 도구를 테스트하는 것을 포함하여 사용하기 전에 세트 도구를 평가해야 함을 시사합니다.
여러 연구에서 세트 거버넌스 모델이 학생 참여에 영향을 미치는지 여부를 조사했습니다.
Daumier et al. (2004) [47]은 응답과 등급의 수를 비교하여 온라인으로 수집 된 등급과 수업에서 완료된 강사 교육의 학생 등급을 비교했습니다. 연구에 따르면 온라인 설문 조사는 일반적으로 수업 내 조사보다 응답률이 낮습니다. 그러나이 연구는 온라인 평가가 전통적인 교실 평가와는 상당히 다른 평균 성적을 생산하지 않았다는 것을 발견했습니다.
온라인 (그러나 종종 인쇄 된) 세트를 마치는 동안 학생과 교사 사이의 양방향 의사 소통이 부족하여보고되어 설명의 기회가 부족했습니다. 그러므로 정해진 질문, 의견 또는 학생 평가의 의미가 항상 명확하지 않을 수 있습니다 [48]. 일부 기관은 학생들을 한 시간 동안 모아서 온라인 (익명으로)을 완료하기 위해 특정 시간을 할당 함으로써이 문제를 해결했습니다 [49]. 그들의 연구에서 Malone et al. (2018) [49]는 학생들과 세트의 목적, 누가 세트 결과를 볼 수 있는지, 결과가 어떻게 사용되는지, 그리고 학생들이 제기 한 다른 문제를 학생들과 논의하기 위해 여러 회의를 개최했습니다. 세트는 포커스 그룹과 유사하게 수행됩니다. 집단 그룹은 비공식 투표, 토론 및 설명을 통해 개방형 질문에 답변합니다. 응답률은 70-80%이상 이어 교사, 관리자 및 커리큘럼위원회에 광범위한 정보를 제공했습니다 [49].
위에서 언급 한 바와 같이, Uitdehaage와 O'Neill의 연구 [5]에서 연구원들은 그들의 연구에 참여한 학생들이 존재하지 않는 교사를 평가했다고보고했습니다. 앞에서 언급했듯이, 이것은 많은 교수진이 각 과정을 가르 칠 수있는 의과 대학 과정에서 일반적인 문제이지만, 학생들은 각 과정에 기여한 사람이나 각 교직원이 한 일을 기억하지 못할 수도 있습니다. 일부 기관은 각 강사의 사진, 이름 및 학생들의 기억을 새로 고치고 세트의 효과를 손상시키는 문제를 피하기 위해 제시된 주제/날짜를 제공 함으로써이 문제를 해결했습니다 [49].
아마도 세트와 관련된 가장 중요한 문제는 교사가 정량적 및 질적 세트 결과를 올바르게 해석 할 수 없다는 것입니다. 일부 교사는 수년에 걸쳐 통계적 비교를 원할 수도 있고, 일부는 평균 점수의 경미한 증가/감소를 의미있는 변화로보고, 일부는 모든 설문 조사를 믿기를 원하며, 일부는 모든 설문 조사에 대해 회의적이라고 생각할 수 있습니다 [45,50, 51].
결과를 올바르게 해석하지 않거나 학생의 피드백은 교사의 교수에 대한 태도에 영향을 줄 수 있습니다. Lutovac et al. (2017) [52] 지원 교사 훈련은 학생들에게 피드백을 제공하는 데 필요하고 유익합니다. 의학 교육은 세트 결과의 올바른 해석에 대해 긴급히 훈련이 필요합니다. 따라서 의과 대학 교수진은 결과를 평가하는 방법과 그들이 집중해야 할 중요한 영역에 대한 교육을 받아야합니다 [50, 51].
따라서 설명 된 결과는 세트 결과가 교수진, 의과 대학 관리자 및 학생을 포함한 모든 관련 이해 관계자에게 의미있는 영향을 미치도록 세트가 신중하게 설계, 관리 및 해석되어야 함을 시사합니다.
세트의 일부 한계 때문에, 우리는 교수 효과의 편견을 줄이고 의료 교육자의 전문적인 개발을 지원하기 위해 포괄적 인 평가 시스템을 만들기 위해 계속 노력해야합니다.
학생, 동료, 프로그램 관리자 및 교수 자체 평가를 포함한 여러 출처의 데이터를 수집하고 삼각화함으로써 임상 교수의 교육 품질에 대한보다 완전한 이해를 얻을 수 있습니다 [53, 54, 55, 56, 57]. 다음 섹션에서는 교육 효과에 대한보다 적절하고 완전한 이해를 개발하는 데 효과적인 세트 외에도 사용할 수있는 다른 도구/방법을 설명합니다 (그림 4).
의과 대학에서 가르치는 효과를 평가하기위한 시스템의 포괄적 인 모델을 개발하는 데 사용할 수있는 방법.
포커스 그룹은“특정 문제 세트를 탐구하기 위해 조직 된 그룹 토론”으로 정의됩니다 [58]. 지난 몇 년 동안 의과 대학은 학생들로부터 양질의 피드백을 얻고 온라인 세트의 함정을 해결하기 위해 포커스 그룹을 만들었습니다. 이 연구에 따르면 포커스 그룹은 품질 피드백을 제공하고 학생 만족도를 높이는 데 효과적이라는 것을 보여줍니다 [59, 60, 61].
Brundle et al.의 연구에서. [59] 연구원들은 코스 디렉터와 학생들이 포커스 그룹의 과정에 대해 논의 할 수있는 학생 평가 그룹 프로세스를 구현했습니다. 결과는 포커스 그룹 토론이 온라인 평가를 보완하고 전반적인 과정 평가 프로세스에 대한 학생의 만족도를 높이고 있음을 나타냅니다. 학생들은 코스 디렉터와 직접 의사 소통 할 수있는 기회를 소중히 여기며이 과정이 교육 개선에 기여할 수 있다고 믿습니다. 그들은 또한 코스 디렉터의 관점을 이해할 수 있다고 느꼈습니다. 코스 디렉터는 학생 외에도 포커스 그룹이 학생들과보다 효과적인 의사 소통을 촉진했다고 평가했습니다 [59]. 따라서 포커스 그룹의 사용은 의과 대학에 각 과정의 품질과 각 교수의 교육 효과에 대한보다 완전한 이해를 제공 할 수 있습니다. 그러나 포커스 그룹 자체는 온라인 세트 프로그램과 비교하여 소수의 학생들만이 모든 학생들이 이용할 수있는 몇 가지 제한 사항을 가지고 있음에 주목해야합니다. 또한 다양한 과정을 위해 포커스 그룹을 수행하는 것은 고문 및 학생들에게 시간이 많이 걸리는 프로세스가 될 수 있습니다. 이는 특히 일정이 매우 바빠서 다른 지리적 위치에서 임상 배치를 수행 할 수있는 의대생에게는 상당한 제한 사항을 제기합니다. 또한 포커스 그룹에는 많은 경험이 풍부한 촉진자가 필요합니다. 그러나 중심 그룹을 평가 프로세스에 통합하면 훈련 효과에 대한보다 상세하고 구체적인 정보를 제공 할 수 있습니다 [48, 59, 60, 61].
Schiekierka-Schwacke et al. (2018) [62] 두 독일 의과 대학에서 교수진의 성과 및 학생 학습 결과를 평가하기위한 새로운 도구에 대한 학생 및 교수진 인식을 조사했습니다. 포커스 그룹 토론과 개별 인터뷰는 교수진 및 의대생들과 함께 진행되었습니다. 교사들은 평가 도구가 제공하는 개인 피드백을 인정했으며, 학생들은 목표 및 결과를 포함한 피드백 루프가 평가 데이터보고를 장려하기 위해 만들어 져야한다고보고했습니다. 따라서이 연구의 결과는 학생들과의 의사 소통 루프를 폐쇄하고 평가 결과를 알리는 것의 중요성을 뒷받침합니다.
PRT (Peer Review of Teaching) 프로그램은 매우 중요하며 수년간 고등 교육에서 시행되었습니다. PRT는 가르침을 관찰하고 관찰자에게 피드백을 제공하여 교수 효과를 향상시키는 협력적인 과정을 포함한다 [63]. 또한, 자기 반사 운동, 구조화 된 후속 토론 및 숙련 된 동료의 체계적인 할당은 PRT의 효과와 부서의 교육 문화를 향상시키는 데 도움이 될 수 있습니다 [64]. 이 프로그램들은 교사들이 과거에 비슷한 어려움에 직면했을 수 있고 개선을위한 유용한 제안을 제공함으로써 더 큰 지원을 제공 할 수있는 동료 교사들로부터 건설적인 피드백을받을 수 있도록 많은 혜택을받는 것으로보고되었습니다 [63]. 더욱이, 건설적으로 사용될 때, 동료 검토는 코스 내용과 전달 방법을 개선하고 의료 교육자들이 교수의 질을 향상시키는 데 도움을 줄 수 있습니다 [65, 66].
Campbell 등의 최근 연구. (2019) [67] 직장 동료 지원 모델은 임상 건강 교육자에게 수용 가능하고 효과적인 교사 개발 전략이라는 증거를 제공합니다. 다른 연구에서, Caygill et al. [68]은 PRT 사용 경험을 공유 할 수 있도록 특별히 설계된 설문지를 보건 교육자들에게 보내는 연구를 수행했습니다. 결과는 의료 교육자들 사이에 PRT에 대한 관심이 있으며 자발적이고 유익한 동료 검토 형식이 전문 개발을위한 중요하고 귀중한 기회로 간주됨을 나타냅니다.
PRT 프로그램은 관찰 된 교사들 사이에서 불안을 증가시키는 판단력의“관리”환경을 만들지 않도록 신중하게 설계되어야한다는 점은 주목할 가치가있다 [69]. 따라서 목표는 안전한 환경의 생성을 보완하고 촉진하고 건설적인 피드백을 제공하는 PRT 계획을 신중하게 개발하는 것입니다. 따라서 검토자를 훈련시키기 위해 특별 교육이 필요하며 PRT 프로그램에는 진정으로 관심이 있고 경험이 풍부한 교사 만 포함해야합니다. PRT에서 얻은 정보가 더 높은 수준의 승진, 급여 인상 및 중요한 행정 직책에 대한 프로모션과 같은 교수 결정에 사용되는 경우 특히 중요합니다. PRT는 시간이 많이 걸리며 포커스 그룹과 마찬가지로 많은 수의 숙련 된 교수진의 참여가 필요 하므로이 접근법이 저주적 의과 대학에서 구현하기가 어렵습니다.
Newman et al. (2019) [70]은 교육 전, 중 및 후에 사용 된 전략을 설명하고 모범 사례를 강조하고 학습 문제에 대한 솔루션을 식별하는 관찰을 설명합니다. 연구원들은 다음을 포함하여 검토 자에게 12 개의 제안을 제공했습니다. (1) 당신의 말을 현명하게 선택하십시오. (2) 관찰자가 논의의 방향을 결정하도록 허용; (3) 피드백을 기밀로 유지하고 형식으로 유지합니다. (4) 피드백을 기밀로 유지하고 형식으로 유지합니다. 피드백은 개별 교사보다는 기술 교육에 중점을 둡니다. (5) 동료들에게 알리십시오 (6) 자신과 다른 사람을 배려하십시오 (7) 대명사가 피드백을 제공하는 데 중요한 역할을한다는 것을 기억하십시오. 동료 관찰의 피드백, (11) 학습의 관찰, (12) 행동 계획을 만듭니다. 연구원들은 또한 관찰에 대한 편견의 영향과 학습, 관찰 및 논의 과정이 양 당사자에게 귀중한 학습 경험을 제공하여 장기 파트너십과 교육 품질을 향상시키는 방법을 탐구하고 있습니다. Gomaly et al. (2014) [71]는 효과적인 피드백의 품질에는 (1) 지시를 제공함으로써 과제의 명확성, (2) 더 큰 노력을 장려하려는 동기 증가, (3) 귀중한 과정으로서의 수령인의 인식을 포함해야한다고보고했다. 평판이 좋은 출처가 제공합니다.
의과 대학 교수진은 PRT에 대한 피드백을 받지만, 피드백 해석 방법 (세트 해석에 대한 교육을 받기위한 권장 사항과 유사 함)에 대해 교수진을 훈련시키는 것이 중요하며, 교수진이받은 피드백을 건설적으로 반영 할 수있는 충분한 시간을 허용하는 것이 중요합니다.
후 시간 : 11 월 24 일