커리큘럼과 교수진에 대한 평가는 의과대학을 포함한 모든 고등교육 기관에서 매우 중요합니다.학생 교육 평가(SET)는 일반적으로 익명 설문지의 형태를 취하며 원래 강좌 및 프로그램을 평가하기 위해 개발되었지만 시간이 지남에 따라 교육 효과를 측정하고 이후 중요한 교육 관련 결정을 내리는 데에도 사용되었습니다.교사 전문성 개발.그러나 특정 요인과 편견이 SET 점수에 영향을 미칠 수 있으며 교육 효과를 객관적으로 측정할 수 없습니다.일반 고등교육 과정 및 교수진 평가에 관한 문헌은 잘 확립되어 있지만, 의료 프로그램의 과정 및 교수진을 평가하기 위해 동일한 도구를 사용하는 것에 대한 우려가 있습니다.특히, 일반 고등교육에서의 SET는 의과대학의 커리큘럼 설계 및 구현에 직접적으로 적용될 수 없습니다.이 검토에서는 기기, 관리 및 해석 수준에서 SET를 어떻게 개선할 수 있는지에 대한 개요를 제공합니다.또한 이 기사에서는 동료 검토, 포커스 그룹, 자체 평가와 같은 다양한 방법을 사용하여 학생, 동료, 프로그램 관리자 및 자기 인식을 포함한 다양한 소스로부터 데이터를 수집하고 삼각 측량함으로써 포괄적인 평가 시스템이 다음을 수행할 수 있음을 지적합니다. 건설될.교육 효과를 효과적으로 측정하고, 의학 교육자의 전문성 개발을 지원하며, 의학 교육 교육의 질을 향상시킵니다.
과정 및 프로그램 평가는 의과대학을 포함한 모든 고등 교육 기관의 내부 품질 관리 프로세스입니다.학생 교육 평가(SET)는 일반적으로 사람들이 동의 또는 동의 정도를 표시할 수 있는 리커트 척도(보통 5, 7 이상)와 같은 평가 척도를 사용하는 익명의 문서 또는 온라인 설문지의 형태를 취합니다.나는 특정 진술에 동의하지 않습니다) [1,2,3].SET는 원래 강좌와 프로그램을 평가하기 위해 개발되었지만 시간이 지나면서 교육 효과를 측정하는 데에도 사용되었습니다[4, 5, 6].교수효과는 학생의 학습과 교수효과 사이에 긍정적인 관계가 있다고 가정하기 때문에 중요한 것으로 간주된다[7].문헌에서는 훈련의 효과성을 명확하게 정의하지 않지만 일반적으로 "그룹 상호 작용", "준비 및 조직", "학생에 대한 피드백"과 같은 훈련의 구체적인 특성을 통해 지정됩니다[8].
SET에서 얻은 정보는 특정 과정에서 사용되는 교수 자료나 교수 방법을 조정할 필요가 있는지 여부와 같은 유용한 정보를 제공할 수 있습니다.SET는 교사 전문성 개발과 관련된 중요한 결정을 내리는 데에도 사용됩니다[4,5,6].그러나 고등 교육 기관이 더 높은 학업 순위로의 승진(종종 연공서열 및 급여 인상과 관련됨) 및 기관 내 주요 관리 직책과 같은 교수진에 관한 결정을 내릴 때 이 접근 방식의 적절성은 의문의 여지가 있습니다[4, 9].또한, 기관에서는 새로운 직위 지원서에 이전 기관의 SET를 포함하도록 새로운 교수진을 요구하는 경우가 많으며, 이는 기관 내 교수진 승진뿐만 아니라 잠재적인 새로운 고용주에게도 영향을 미칩니다[10].
커리큘럼 및 교사 평가에 관한 문헌은 일반 고등교육 분야에서 잘 확립되어 있지만 의학 및 보건 분야에서는 그렇지 않습니다[11].의학 교육자의 커리큘럼과 요구 사항은 일반 고등 교육의 커리큘럼과 요구 사항과 다릅니다.예를 들어, 팀 학습은 통합 의학 교육 과정에서 자주 사용됩니다.이는 의과대학 커리큘럼이 다양한 의학 분야에서 훈련과 경험을 가진 다수의 교수진이 가르치는 일련의 과정으로 구성된다는 것을 의미합니다.학생들은 이러한 구조 하에서 해당 분야 전문가의 심층적인 지식으로부터 혜택을 받지만, 각 교사의 다양한 교육 스타일에 적응해야 하는 어려움에 직면하는 경우가 많습니다[1, 12, 13, 14].
일반 고등교육과 의학교육에는 차이가 있지만, 전자에서 사용되는 SET는 의학 및 보건의료 과정에서도 가끔 사용됩니다.그러나 일반 고등교육에서 SET를 구현하는 것은 보건 전문 프로그램의 커리큘럼 및 교수진 평가 측면에서 많은 어려움을 안겨줍니다[11].특히, 교수법과 교사 자격의 차이로 인해 강좌 평가 결과에 모든 교사나 수업의 학생 의견이 반영되지 않을 수도 있습니다.Uytenhaage 및 O'Neill(2015)[5]의 연구에 따르면 학생들에게 코스가 끝날 때 모든 개별 교사를 평가하도록 요구하는 것은 학생들이 여러 교사 평가를 기억하고 논평하는 것이 거의 불가능하기 때문에 부적절할 수 있음을 시사합니다.카테고리.또한, 많은 의학 교육 교사는 가르치는 것이 자신의 책임 중 작은 부분일 뿐인 의사이기도 합니다[15, 16].그들은 주로 환자 치료와 많은 경우 연구에 참여하기 때문에 교육 기술을 개발할 시간이 거의 없습니다.그러나 교사로서 의사는 조직으로부터 시간, 지원 및 건설적인 피드백을 받아야 합니다[16].
의대생은 (국제적으로 경쟁적이고 까다로운 과정을 통해) 성공적으로 의과대학에 입학할 수 있는 의욕이 넘치고 열심히 일하는 개인인 경향이 있습니다.또한, 의과대학 학생들은 단기간에 많은 지식을 습득하고 많은 기술을 개발할 뿐만 아니라 복잡한 내부 및 종합적인 국가 평가에서 성공할 것으로 기대된다[17,18,19 ,20].따라서 의대생에게 기대되는 높은 기준으로 인해 의대생은 다른 분야의 학생보다 더 비판적이며 고품질 교육에 대한 기대가 더 높을 수 있습니다.따라서 의과대학생은 위에서 언급한 이유로 다른 분야의 학생에 비해 교수로부터 낮은 평가를 받을 수 있습니다.흥미롭게도 이전 연구에서는 학생 동기와 개별 교사 평가 사이에 긍정적인 관계가 있는 것으로 나타났습니다[21].또한 지난 20년 동안 전 세계 대부분의 의과대학 커리큘럼이 수직적으로 통합되어 [22] 학생들은 프로그램 초기부터 임상 실습에 노출됩니다.따라서 지난 몇 년 동안 의사들은 의과대학생 교육에 점점 더 많이 참여해 왔으며 프로그램 초기에도 특정 교수 집단에 맞춘 SET 개발의 중요성을 지지했습니다[22].
위에서 언급한 의학 교육의 특정 특성으로 인해 단일 교수진이 가르치는 일반 고등 교육 과정을 평가하는 데 사용되는 SET는 통합 커리큘럼과 의료 프로그램의 임상 교수진을 평가하기 위해 조정되어야 합니다[14].따라서 의학 교육에 보다 효과적으로 적용하기 위해서는 보다 효과적인 SET 모델과 포괄적인 평가 시스템을 개발할 필요가 있습니다.
현재 검토에서는 (일반) 고등 교육에서 SET 사용의 최근 발전과 그 한계를 설명하고 의학 교육 과정 및 교수진을 위한 SET의 다양한 요구 사항을 간략하게 설명합니다.이 리뷰는 SET가 도구적, 행정적, 해석적 수준에서 어떻게 개선될 수 있는지에 대한 업데이트를 제공하고 효과적인 SET 모델과 교육 효과를 효과적으로 측정하고 전문 보건 교육자의 개발을 지원하며 의학교육에서의 교육의 질.
이 연구는 Green et al.의 연구를 따릅니다.(2006) [23]은 조언을 제공하고 Baumeister (2013) [24]는 서사적 리뷰 작성에 대한 조언을 제공합니다.우리는 이 주제에 대한 서술형 리뷰를 작성하기로 결정했습니다. 왜냐하면 이러한 유형의 리뷰가 주제에 대한 광범위한 관점을 제시하는 데 도움이 되기 때문입니다.더욱이 내러티브 리뷰는 방법론적으로 다양한 연구를 활용하기 때문에 더 광범위한 질문에 답하는 데 도움이 됩니다.또한 서술형 논평은 주제에 대한 생각과 토론을 자극하는 데 도움이 될 수 있습니다.
의학 교육에서 SET가 어떻게 사용되며, 일반 고등 교육에서 사용되는 SET와 비교하여 어떤 과제가 있습니까?
Pubmed 및 ERIC 데이터베이스는 "학생 교육 평가", "교육 효과", "의료 교육", "고등 교육", "커리큘럼 및 교수 평가"라는 검색어 조합을 사용하여 검색되었으며 Peer Review 2000의 경우 논리 연산자 .2021년에서 2021년 사이에 출판된 기사. 포함 기준: 포함된 연구는 독창적인 연구 또는 리뷰 기사였으며, 연구는 세 가지 주요 연구 질문 영역과 관련이 있었습니다.제외 기준: 영어가 아닌 연구 또는 전문 기사를 찾을 수 없거나 세 가지 주요 연구 질문과 관련이 없는 연구는 현재 리뷰 문서에서 제외되었습니다.출판물을 선택한 후 다음 주제와 관련 하위 주제로 구성했습니다. (a) 일반 고등 교육에서 SET의 사용과 그 한계, (b) 의학 교육에서 SET의 사용 및 비교와 관련된 문제를 다루는 것과의 관련성 SET (c) 효과적인 SET 모델을 개발하기 위해 도구, 관리 및 해석 수준에서 SET를 개선합니다.
그림 1은 현재 검토 부분에 포함되고 논의된 선택된 기사의 흐름도를 제공합니다.
SET는 전통적으로 고등 교육에서 사용되어 왔으며 이 주제는 문헌에서 잘 연구되었습니다[10, 21].그러나 많은 연구에서 이러한 한계를 해결하기 위한 많은 한계와 노력을 조사했습니다.
연구에 따르면 SET 점수에 영향을 미치는 변수는 많습니다[10, 21, 25, 26].따라서 관리자와 교사가 데이터를 해석하고 사용할 때 이러한 변수를 이해하는 것이 중요합니다.다음 섹션에서는 이러한 변수에 대한 간략한 개요를 제공합니다.그림 2는 SET 점수에 영향을 미치는 몇 가지 요소를 보여주며, 이에 대해서는 다음 섹션에서 자세히 설명합니다.
최근에는 종이 키트에 비해 온라인 키트의 사용이 증가했습니다.그러나 문헌의 증거는 학생들이 완료 과정에 필요한 주의를 기울이지 않고도 온라인 SET를 완료할 수 있음을 시사합니다.Uitdehaage와 O'Neill의 흥미로운 연구에서는 존재하지 않는 교사가 SET에 추가되었고 많은 학생들이 피드백을 제공했습니다[5].더욱이, 문헌의 증거에 따르면 학생들은 SET를 완료해도 교육 성취도가 향상되지 않으며, 의과대학생의 바쁜 일정과 결합하면 응답률이 낮아질 수 있다고 믿는 경우가 많습니다[27].연구에 따르면 시험을 치르는 학생들의 의견은 전체 그룹의 의견과 다르지 않지만 응답률이 낮으면 교사가 결과를 덜 심각하게 받아들일 수 있습니다[28].
대부분의 온라인 SET은 익명으로 완료됩니다.아이디어는 학생들이 자신의 의견이 미래에 교사와의 관계에 영향을 미칠 것이라는 가정 없이 자유롭게 자신의 의견을 표현할 수 있도록 하는 것입니다.Alfonso 등의 연구[29]에서 연구자들은 레지던트와 의과대학생의 의과대학 교수진의 교육 효과를 평가하기 위해 평가자가 자신의 이름을 제공해야 하는 익명 평가 및 평가(공개 평가)를 사용했습니다.결과에 따르면 교사는 익명 평가에서 일반적으로 낮은 점수를 받았습니다.저자들은 참여 교사와의 업무 관계 손상과 같은 공개 평가의 특정 장벽으로 인해 학생들이 익명 평가에서 더 정직하다고 주장합니다[29].그러나 온라인 SET과 종종 관련된 익명성은 평가 점수가 학생의 기대에 미치지 못하는 경우 일부 학생이 강사를 무례하게 보복하거나 무례하게 만들 수 있다는 점에도 유의해야 합니다[30].그러나 연구에 따르면 학생들은 무례한 피드백을 거의 제공하지 않으며, 후자는 학생들에게 건설적인 피드백을 제공하도록 가르침으로써 더욱 제한될 수 있습니다[30].
여러 연구에 따르면 학생들의 SET 점수, 시험 수행 기대치, 시험 만족도 사이에 상관관계가 있는 것으로 나타났습니다[10, 21].예를 들어, Strobe(2020)[9]는 학생들은 쉬운 과목을 보상하고 교사는 약한 성적에 보상을 하여 열악한 교육을 장려하고 성적 인플레이션을 초래할 수 있다고 보고했습니다[9].최근 연구에서 Looi et al.(2020) [31] 연구원들은 더 유리한 SET가 관련되어 있고 평가하기 더 쉽다고 보고했습니다.더욱이, SET가 후속 과목의 학생 성취도와 반비례한다는 충격적인 증거가 있습니다. 즉, 평가가 높을수록 후속 과목의 학생 성취도는 더 나빠집니다.Cornellet al.(2016)[32]은 대학생들이 자신이 높게 평가한 SET의 교사로부터 상대적으로 더 많은 것을 배웠는지 조사하기 위한 연구를 수행했습니다.결과는 코스가 끝날 때 학습을 평가할 때 가장 높은 평가를 받은 교사가 대부분의 학생의 학습에 기여한다는 것을 보여줍니다.그러나 학습이 후속 관련 과목의 성과로 측정될 때 상대적으로 점수가 낮은 교사가 가장 효과적입니다.연구자들은 생산적인 방식으로 코스를 더 어렵게 만들면 평점은 낮아지지만 학습은 향상될 수 있다는 가설을 세웠습니다.따라서 학생 평가는 교육을 평가하는 유일한 기초가 되어서는 안 되며, 인정되어야 합니다.
여러 연구에 따르면 SET 성과는 코스 자체와 코스 구성에 의해 영향을 받습니다.Ming과 Baozhi[33]는 연구에서 서로 다른 과목의 학생들 사이에 SET 점수에 상당한 차이가 있음을 발견했습니다.예를 들어, 임상과학은 기초과학보다 SET 점수가 더 높습니다.저자들은 의과대학생들이 의사가 되는 것에 관심이 많아 기초과학 과목에 비해 임상과학 과목에 더 많은 관심과 참여 동기를 갖고 있기 때문이라고 설명했다[33].선택과목의 경우와 마찬가지로 해당 과목에 대한 학생의 동기도 점수에 긍정적인 영향을 미친다[21].다른 여러 연구에서도 강좌 유형이 SET 점수에 영향을 미칠 수 있음을 뒷받침합니다[10, 21].
더욱이, 다른 연구에서는 학급 규모가 작을수록 교사의 SET 수준이 더 높은 것으로 나타났습니다[10, 33].한 가지 가능한 설명은 학급 규모가 작을수록 교사와 학생 간의 상호 작용 기회가 증가한다는 것입니다.또한 평가가 수행되는 조건이 결과에 영향을 미칠 수 있습니다.예를 들어, SET 점수는 코스가 진행되는 시간과 요일뿐만 아니라 SET가 완료된 요일에 의해 영향을 받는 것으로 보입니다(예: 주말에 완료된 평가는 완료된 평가보다 더 긍정적인 점수를 얻는 경향이 있음). 이번 주 초에.[10].
Hessler 등의 흥미로운 연구에서도 SET의 효과에 대해 의문이 제기되었습니다.[34].본 연구에서는 응급 의학 과정에서 무작위 대조 시험이 수행되었습니다.3학년 의과대학생을 무작위로 통제그룹 또는 무료 초콜렛칩 쿠키를 받은 그룹(쿠키그룹)으로 배정했습니다.모든 그룹은 동일한 교사가 가르쳤으며, 교육 내용과 교재는 두 그룹 모두 동일했습니다.코스가 끝난 후 모든 학생들은 세트를 완성하도록 요청 받았습니다.결과는 쿠키 그룹이 대조군보다 교사를 훨씬 더 좋게 평가하여 SET [34]의 효율성에 의문을 제기하는 것으로 나타났습니다.
문헌의 증거도 성별이 SET 점수에 영향을 미칠 수 있음을 뒷받침합니다[35,36,37,38,39,40,41,42,43,44,45,46].예를 들어, 일부 연구에서는 학생의 성별과 평가 결과 사이의 관계를 보여주었습니다. 여학생이 남학생보다 높은 점수를 받았습니다[27].대부분의 증거는 학생들이 여교사를 남교사보다 낮게 평가한다는 것을 확인시켜 줍니다[37, 38, 39, 40].예를 들어 Boring et al.[38]은 남학생과 여학생 모두 남자가 여자보다 지식이 풍부하고 리더십 능력이 더 강하다고 믿고 있음을 보여주었습니다.성별과 고정관념이 SET에 영향을 미친다는 사실은 MacNell et al.의 연구에서도 뒷받침됩니다.[41]은 자신의 연구에서 학생들이 교육의 다양한 측면에서 여교사를 남교사보다 낮게 평가했다고 보고했습니다[41].더욱이 Morgan 등[42]은 여성 의사가 남성 의사에 비해 4가지 주요 임상 순환(외과, 소아과, 산부인과, 내과)에서 낮은 교육 등급을 받았다는 증거를 제시했습니다.
Murray et al.(2020)의 연구[43]에서 연구자들은 해당 과정에 대한 교수진의 매력과 학생의 관심이 더 높은 SET 점수와 관련이 있다고 보고했습니다.반대로, 코스 난이도는 낮은 SET 점수와 관련이 있습니다.또한 학생들은 젊은 백인 남성 인문학 교사와 정교수직을 맡은 교수진에게 더 높은 SET 점수를 부여했습니다.SET 교육 평가와 교사 설문조사 결과 간에는 상관관계가 없었습니다.다른 연구에서도 교사의 신체적 매력이 평가 결과에 긍정적인 영향을 미치는 것으로 확인되었습니다[44].
Claysonet al.(2017) [45]은 SET가 신뢰할 수 있는 결과를 산출하고 학급 및 교사 평균이 일관적이라는 일반적인 합의가 있지만 개별 학생 응답에는 여전히 불일치가 존재한다고 보고했습니다.요약하자면, 이 평가 보고서의 결과는 학생들이 평가하도록 요청받은 내용에 동의하지 않았음을 나타냅니다.학생의 교육 평가에서 도출된 신뢰성 척도는 타당성을 확립하기 위한 기초를 제공하기에는 불충분합니다.따라서 SET는 때때로 교사가 아닌 학생에 대한 정보를 제공할 수도 있습니다.
보건 교육 SET는 전통적인 SET와 다르지만 교육자들은 문헌에 보고된 보건 전문 프로그램에 특정한 SET보다는 일반 고등 교육에서 사용 가능한 SET를 자주 사용합니다.그러나 수년에 걸쳐 수행된 연구에서는 몇 가지 문제가 확인되었습니다.
존스 등(1994).[46]은 교수진과 행정가의 관점에서 의과대학 교수진을 어떻게 평가할 것인지에 대한 질문을 결정하기 위해 연구를 수행했습니다.전반적으로 교육평가와 관련하여 가장 많이 언급되는 문제는 다음과 같다.가장 흔한 것은 현재 성과 평가 방법의 부적절함에 대한 일반적인 불만이었고 응답자들은 SET에 대한 구체적인 불만과 학문적 보상 시스템의 교육에 대한 인식 부족도 있었습니다.그 밖에도 부서 간 평가 절차 및 승진 기준이 일관되지 않고, 정기 평가가 미흡하며, 평가 결과를 급여와 연계하지 못하는 문제도 보고됐다.
Royal 등(2018)[11]은 일반 고등교육의 보건 전문 프로그램에서 커리큘럼과 교수진을 평가하기 위해 SET를 사용할 때의 몇 가지 한계를 설명합니다.연구자들은 고등교육 분야의 SET가 의과대학의 커리큘럼 설계 및 교육 과정에 직접 적용할 수 없기 때문에 다양한 어려움에 직면해 있다고 보고합니다.강사 및 강좌에 대한 질문을 포함하여 자주 묻는 질문이 하나의 설문지로 통합되는 경우가 많아 학생들이 이를 구별하는 데 어려움을 겪는 경우가 많습니다.또한, 의료 프로그램 과정은 종종 여러 교수진에 의해 진행됩니다.이는 Royal et al.이 평가한 학생과 교사 간의 잠재적으로 제한된 수의 상호 작용을 고려할 때 타당성에 대한 의문을 제기합니다.(2018)[11].황(Hwang) 등의 연구에서.(2017) [14], 연구자들은 회고적 강좌 평가가 다양한 강사의 강좌에 대한 학생의 인식을 어떻게 종합적으로 반영하는지에 대한 개념을 조사했습니다.그들의 결과는 통합된 의과대학 커리큘럼 내에서 다학과 과정을 관리하기 위해서는 개별화된 수업 평가가 필요하다는 것을 시사합니다.
Uitdehaage와 O'Neill(2015)[5]은 의과대학생들이 다중 교수진 강의실 과정에서 의도적으로 SET를 수강한 정도를 조사했습니다.두 개의 전임상 과정에는 각각 가상의 강사가 참여했습니다.학생들은 과정을 마친 후 2주 이내에 모든 강사(가상 강사 포함)에게 익명 평가를 제공해야 하지만 강사 평가를 거부할 수 있습니다.이듬해에도 이런 일이 다시 일어났는데 가상의 강사의 초상이 포함됐다.66%의 학생이 가상 강사를 유사성 없이 평가했지만, 더 적은 수의 학생(49%)이 유사성이 있는 가상 강사를 평가했습니다.이러한 결과는 많은 의과대학생들이 강사의 성과는 말할 것도 없고 자신이 평가하는 대상에 대한 신중한 고려 없이 사진이 첨부된 경우에도 맹목적으로 SET를 완료한다는 것을 시사합니다.이는 프로그램의 질적 향상을 방해하고 교사의 학업 발전에 해를 끼칠 수 있습니다.연구자들은 학생들을 적극적이고 적극적으로 참여시키는 SET에 대해 근본적으로 다른 접근 방식을 제공하는 프레임워크를 제안합니다.
그 밖에도 의료 프로그램의 교육 커리큘럼은 다른 일반 고등교육 프로그램과 비교하여 많은 차이점이 있다[11].전문적인 건강 교육과 마찬가지로 의학 교육은 명확하게 정의된 전문적 역할(임상 실습)의 개발에 초점을 맞추고 있습니다.결과적으로 의료 및 보건 프로그램 커리큘럼은 코스와 교수진 선택이 제한되어 더욱 정태화되었습니다.흥미롭게도 의학 교육 과정은 코호트 형식으로 제공되는 경우가 많으며 모든 학생이 매 학기 같은 시간에 동일한 과정을 수강합니다.따라서 많은 수의 학생(보통 n = 100 이상)을 등록하면 교육 형식은 물론 교사-학생 관계에도 영향을 미칠 수 있습니다.더욱이, 많은 의과대학에서는 대부분의 도구의 심리 측정 특성이 초기 사용 시 평가되지 않으며 대부분의 도구의 특성이 알려지지 않은 상태로 남아 있을 수 있습니다[11].
지난 몇 년간의 여러 연구에서는 도구적, 행정적, 해석적 수준에서 SET의 효과에 영향을 미칠 수 있는 몇 가지 중요한 요소를 해결함으로써 SET가 개선될 수 있다는 증거를 제공했습니다.그림 3은 효과적인 SET 모델을 생성하는 데 사용할 수 있는 일부 단계를 보여줍니다.다음 섹션에서는 더 자세한 설명을 제공합니다.
도구적, 관리적, 해석적 수준에서 SET를 개선하여 효과적인 SET 모델을 개발합니다.
앞서 언급했듯이 문헌에서는 성별 편견이 교사 평가에 영향을 미칠 수 있음을 확인했습니다[35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Petersonet al.(2019) [40]은 학생의 성별이 편견 완화 노력에 대한 학생의 반응에 영향을 미치는지 여부를 조사한 연구를 수행했습니다.본 연구에서 SET는 4개 학급(2개는 남교사, 2개는 여교사)에게 실시되었다.각 코스 내에서 학생들은 표준 평가 도구 또는 동일한 도구를 받도록 무작위로 배정되었지만 성별 편견을 줄이기 위해 고안된 언어를 사용했습니다.연구에 따르면 반편견 평가 도구를 사용한 학생들은 표준 평가 도구를 사용한 학생들보다 여교사에게 훨씬 더 높은 SET 점수를 부여한 것으로 나타났습니다.또한 두 집단 간 남교사 평가에는 차이가 없었다.이 연구의 결과는 중요하며 상대적으로 간단한 언어 개입이 학생의 교육 평가에서 성별 편견을 어떻게 줄일 수 있는지 보여줍니다.따라서 모든 SET를 신중하게 고려하고 언어를 사용하여 개발 과정에서 성별 편견을 줄이는 것이 좋습니다[40].
어떤 SET에서든 유용한 결과를 얻으려면 평가의 목적과 질문의 표현을 미리 신중하게 고려하는 것이 중요합니다.대부분의 SET 설문조사는 과정의 조직적 측면에 대한 섹션(예: "강좌 평가")과 교수진에 대한 섹션(예: "교사 평가")을 명확하게 나타내지만 일부 설문조사에서는 차이가 명확하지 않거나 학생들 사이에 혼란이 있을 수 있습니다. 각 영역을 개별적으로 평가하는 방법에 대해 설명합니다.따라서 설문지의 디자인은 적절해야 하며, 설문지의 서로 다른 두 부분을 명확하게 하고, 학생들이 각 영역에서 무엇을 평가해야 하는지 알 수 있도록 해야 합니다.또한 학생들이 질문을 의도한 방식으로 해석하는지 확인하기 위해 파일럿 테스트를 권장합니다[24].Oermann et al.의 연구에서.(2018) [26], 연구자들은 간호 및 기타 건강 전문 프로그램에서 SET 사용에 대한 지침을 교육자에게 제공하기 위해 학부 및 대학원 교육의 광범위한 학문 분야에서 SET 사용을 설명하는 문헌을 검색하고 종합했습니다.결과는 강사가 의도한 대로 SET 도구 항목이나 질문을 해석할 수 없는 학생들과 함께 도구를 파일럿 테스트하는 것을 포함하여 SET 도구를 사용하기 전에 평가해야 함을 시사합니다.
여러 연구에서 SET 거버넌스 모델이 학생 참여에 영향을 미치는지 여부를 조사했습니다.
Daumieret al.(2004) [47]은 수업 중 이수한 강사 훈련에 대한 학생 평가를 응답 수와 평가를 비교하여 온라인으로 수집한 평가와 비교했습니다.연구에 따르면 온라인 설문조사는 일반적으로 강의실 설문조사보다 응답률이 낮은 것으로 나타났습니다.그러나 연구 결과에 따르면 온라인 평가는 전통적인 교실 평가와 크게 다른 평균 성적을 산출하지 못했습니다.
온라인(종종 인쇄됨) SET을 완료하는 동안 학생과 교사 간의 양방향 의사소통이 부족하여 설명할 기회가 부족하다는 보고가 있었습니다.따라서 SET 질문, 의견 또는 학생 평가의 의미가 항상 명확하지 않을 수 있습니다[48].일부 기관에서는 학생들을 한 시간 동안 모으고 특정 시간을 할당하여 SET 온라인(익명)을 완료함으로써 이 문제를 해결했습니다[49].그들의 연구에서 Malone et al.(2018) [49] SET의 목적, 누가 SET 결과를 볼 수 있는지, 결과가 어떻게 사용될 것인지, 그리고 학생들이 제기하는 기타 문제에 대해 학생들과 논의하기 위해 여러 회의를 열었습니다.SET는 포커스 그룹과 매우 유사하게 진행됩니다. 집단 그룹은 비공식 투표, 토론 및 설명을 통해 개방형 질문에 답변합니다.응답률은 70~80% 이상으로 교사, 행정관, 교육과정 위원회에 광범위한 정보를 제공했습니다[49].
위에서 언급한 바와 같이, Uitdehaage와 O'Neill의 연구[5]에서 연구자들은 그들의 연구에서 학생들이 존재하지 않는 교사를 평가했다고 보고했습니다.앞서 언급했듯이 이는 각 과정을 많은 교수진이 가르칠 수 있지만 학생들은 각 과정에 누가 기여했는지, 각 교수진이 무엇을 했는지 기억하지 못하는 의과대학 과정에서 흔히 발생하는 문제입니다.일부 기관에서는 학생들의 기억을 되살리고 SET [49]의 효율성을 손상시키는 문제를 피하기 위해 각 강사의 사진, 이름, 제시된 주제/날짜를 제공하여 이 문제를 해결했습니다.
아마도 SET와 관련된 가장 중요한 문제는 교사가 양적 및 질적 SET 결과를 올바르게 해석할 수 없다는 것입니다.일부 교사는 수년에 걸쳐 통계적 비교를 원할 수 있고, 일부는 평균 점수의 사소한 증가/감소를 의미 있는 변화로 볼 수 있으며, 일부는 모든 설문조사를 믿고 싶어하고, 다른 일부는 모든 설문조사에 대해 완전히 회의적입니다[45,50,51].
결과를 올바르게 해석하지 못하거나 학생 피드백을 처리하지 못하면 교육에 대한 교사의 태도에 영향을 미칠 수 있습니다.Lutovac 등의 결과.(2017) [52] 학생들에게 피드백을 제공하려면 지원적인 교사 훈련이 필요하고 유익합니다.의학 교육에서는 SET 결과를 올바르게 해석하는 훈련이 시급히 필요합니다.따라서 의과대학 교수진은 결과를 평가하는 방법과 집중해야 할 중요한 영역에 대한 교육을 받아야 합니다[50, 51].
따라서 설명된 결과는 SET 결과가 교수진, 의과대학 행정관 및 학생을 포함한 모든 관련 이해관계자에게 의미 있는 영향을 미칠 수 있도록 SET를 신중하게 설계, 관리 및 해석해야 함을 시사합니다.
SET의 일부 한계로 인해 우리는 교육 효과에 대한 편견을 줄이고 의학 교육자의 전문성 개발을 지원하기 위한 포괄적인 평가 시스템을 만들기 위해 계속 노력해야 합니다.
학생, 동료, 프로그램 관리자 및 교수진 자체 평가를 포함한 다양한 소스로부터 데이터를 수집하고 삼각측량함으로써 임상 교수진 교육 품질에 대한 보다 완전한 이해를 얻을 수 있습니다[53, 54, 55, 56, 57].다음 섹션에서는 교육 효과에 대한 보다 적절하고 완전한 이해를 개발하는 데 도움이 되는 효과적인 SET 외에도 사용할 수 있는 다른 도구/방법을 설명합니다(그림 4).
의과대학 교육의 효율성을 평가하기 위한 시스템의 포괄적인 모델을 개발하는 데 사용할 수 있는 방법입니다.
포커스 그룹은 “특정 문제를 탐구하기 위해 조직된 그룹 토론”으로 정의됩니다[58].지난 몇 년 동안 의과대학에서는 학생들로부터 양질의 피드백을 얻고 온라인 SET의 몇 가지 함정을 해결하기 위해 포커스 그룹을 만들었습니다.이 연구는 포커스 그룹이 양질의 피드백을 제공하고 학생 만족도를 높이는 데 효과적이라는 것을 보여줍니다 [59, 60, 61].
Brundle 등의 연구에서.[59] 연구자들은 코스 디렉터와 학생들이 포커스 그룹의 코스에 대해 토론할 수 있는 학생 평가 그룹 프로세스를 구현했습니다.결과에 따르면 포커스 그룹 토론은 온라인 평가를 보완하고 전체 과정 평가 과정에 대한 학생 만족도를 높이는 것으로 나타났습니다.학생들은 코스 디렉터와 직접 소통할 수 있는 기회를 소중히 여기며 이 과정이 교육 개선에 기여할 수 있다고 믿습니다.또한 코스 디렉터의 관점을 이해할 수 있다고 느꼈습니다.학생 외에도 코스 디렉터는 포커스 그룹이 학생들과의 보다 효과적인 의사소통을 촉진한다고 평가했습니다[59].따라서 포커스 그룹을 사용하면 의과대학이 각 과정의 질과 각 교수진의 교육 효율성을 보다 완벽하게 이해할 수 있습니다.그러나 포커스 그룹 자체에는 모든 학생이 참여할 수 있는 온라인 SET 프로그램에 비해 소수의 학생만 참여하는 등 몇 가지 제한 사항이 있다는 점에 유의해야 합니다.또한 다양한 코스에 대한 포커스 그룹을 실시하는 것은 지도교수와 학생에게 시간이 많이 걸리는 과정이 될 수 있습니다.이는 특히 매우 바쁜 일정을 갖고 있고 다양한 지리적 위치에서 임상 배치를 수행할 수 있는 의대생의 경우 상당한 제한을 초래합니다.또한 포커스 그룹에는 경험이 풍부한 진행자가 많이 필요합니다.그러나 평가 과정에 포커스 그룹을 통합하면 훈련 효과에 대한 보다 자세하고 구체적인 정보를 제공할 수 있습니다[48, 59, 60, 61].
Schiekierka-Schwackeet al.(2018) [62]는 두 개의 독일 의과대학에서 교수진 성과와 학생 학습 결과를 평가하기 위한 새로운 도구에 대한 학생과 교수진의 인식을 조사했습니다.포커스 그룹 토론과 개별 인터뷰는 교수진과 의과대학생을 대상으로 진행되었습니다.교사들은 평가 도구가 제공하는 개인적인 피드백을 높이 평가했으며, 학생들은 평가 데이터 보고를 장려하기 위해 목표와 결과를 포함한 피드백 루프를 만들어야 한다고 보고했습니다.따라서 본 연구의 결과는 학생들과의 의사소통 고리를 닫고 평가 결과를 알려주는 것의 중요성을 뒷받침합니다.
PRT(Peer Review of Teaching) 프로그램은 매우 중요하며 수년 동안 고등 교육에서 시행되어 왔습니다.PRT는 교육 효과를 향상시키기 위해 교육을 관찰하고 관찰자에게 피드백을 제공하는 공동 프로세스를 포함합니다[63].또한, 자기 성찰 연습, 체계적인 후속 토론, 훈련된 동료의 체계적 배정은 PRT의 효율성과 학과의 교육 문화를 향상시키는 데 도움이 될 수 있습니다[64].이러한 프로그램은 교사가 과거에 비슷한 어려움을 겪었던 동료 교사로부터 건설적인 피드백을 받을 수 있고, 개선을 위한 유용한 제안을 제공함으로써 더 큰 지원을 제공할 수 있다는 점에서 많은 이점이 있는 것으로 보고됩니다[63].더욱이, 건설적으로 사용될 때 동료 검토는 강좌 내용과 전달 방법을 개선하고 의료 교육자가 교육의 질을 향상시키는 데 도움을 줄 수 있습니다[65, 66].
Campbell 등의 최근 연구.(2019) [67]은 직장 동료 지원 모델이 임상 보건 교육자를 위한 수용 가능하고 효과적인 교사 개발 전략이라는 증거를 제공합니다.또 다른 연구에서는 Caygill et al.[68]은 PRT 사용 경험을 공유할 수 있도록 멜버른 대학의 보건 교육자들에게 특별히 고안된 설문지를 보내는 연구를 수행했습니다.결과는 의학 교육자들 사이에서 PRT에 대한 억눌린 관심이 있고 자발적이고 유익한 동료 검토 형식이 전문성 개발을 위한 중요하고 가치 있는 기회로 간주된다는 것을 나타냅니다.
PRT 프로그램은 종종 관찰되는 교사들 사이에서 불안을 증가시키는 판단적, "관리적" 환경을 조성하지 않도록 주의 깊게 설계되어야 한다는 점은 주목할 가치가 있습니다[69].따라서 목표는 안전한 환경 조성을 보완 및 촉진하고 건설적인 피드백을 제공하는 PRT 계획을 신중하게 개발하는 것입니다.그러므로 리뷰어를 양성하려면 특별한 훈련이 필요하며 PRT 프로그램에는 진정으로 관심이 있고 경험이 풍부한 교사만 참여해야 합니다.이는 PRT에서 얻은 정보가 더 높은 직급으로의 승진, 급여 인상, 중요한 행정직으로의 승진과 같은 교수 결정에 사용되는 경우 특히 중요합니다.PRT는 시간이 많이 걸리고 포커스 그룹과 마찬가지로 경험이 풍부한 교수진의 참여가 많이 필요하므로 자원이 부족한 의과대학에서는 이 접근 방식을 구현하기 어렵다는 점에 유의해야 합니다.
Newmanet al.(2019) [70]은 훈련 전, 도중, 후에 사용되는 전략을 설명하고 모범 사례를 강조하고 학습 문제에 대한 해결책을 식별합니다.연구자들은 검토자에게 다음을 포함하여 12가지 제안을 제공했습니다. (1) 단어를 현명하게 선택하십시오.(2) 관찰자가 토론의 방향을 결정하도록 허용합니다.(3) 피드백을 기밀로 유지하고 형식을 지정합니다.(4) 피드백을 기밀로 유지하고 형식을 지정합니다.피드백은 개별 교사보다는 교육 기술에 중점을 둡니다.(5) 동료에 대해 알아가기 (6) 자신과 다른 사람을 배려하기 (7) 피드백을 제공하는 데 대명사가 중요한 역할을 한다는 것을 기억하기, (8) 가르치는 관점을 밝히기 위해 질문을 사용하기, (10) 프로세스 신뢰 구축하기 동료 관찰에 대한 피드백, (11) 상생 학습 관찰, (12) 실행 계획 수립.연구자들은 또한 관찰에 대한 편견의 영향과 학습, 관찰 및 피드백 논의 과정이 어떻게 양측 모두에게 귀중한 학습 경험을 제공하여 장기적인 파트너십과 교육 품질 향상으로 이어질 수 있는지 탐구하고 있습니다.Gomalyet al.(2014) [71]은 효과적인 피드백의 품질에는 (1) 지침을 제공하여 작업을 명확하게 하고, (2) 더 많은 노력을 장려하도록 동기를 부여하고, (3) 이를 귀중한 프로세스로 인식하는 수신자가 포함되어야 한다고 보고했습니다.평판이 좋은 소스에서 제공됩니다.
의과대학 교수진은 PRT에 대한 피드백을 받지만 피드백을 해석하는 방법에 대해 교수진을 교육하고(SET 해석 교육을 받도록 권장하는 것과 유사) 교수진이 받은 피드백을 건설적으로 반영할 수 있는 충분한 시간을 허용하는 것이 중요합니다.
게시 시간: 2023년 11월 24일