Nature.com을 방문해 주셔서 감사합니다.사용 중인 브라우저 버전에서는 CSS 지원이 제한되어 있습니다.최상의 결과를 얻으려면 최신 버전의 브라우저를 사용하는 것이 좋습니다(또는 Internet Explorer에서 호환 모드를 끄는 것).그동안 지속적인 지원을 보장하기 위해 스타일 지정이나 JavaScript 없이 사이트를 표시하고 있습니다.
임상 인공 지능(AI)의 적용이 빠르게 증가하고 있지만 기존 의과대학 커리큘럼에서는 이 분야를 다루는 교육이 제한되어 있습니다.여기에서는 우리가 개발하여 캐나다 의과대학생들에게 제공한 인공 지능 교육 과정을 설명하고 향후 교육을 위한 권장 사항을 제시합니다.
의학 분야의 인공 지능(AI)은 작업 공간 효율성을 향상하고 임상 의사 결정에 도움을 줄 수 있습니다.인공지능 활용을 안전하게 지도하기 위해서는 의사가 인공지능에 대해 어느 정도 이해하고 있어야 한다.AI 모델 및 검증 프로세스2를 설명하는 등 AI 개념1을 가르치는 것을 옹호하는 의견이 많습니다.그러나 특히 국가 차원에서는 체계화된 계획이 거의 시행되지 않았습니다.핀토 도스 산토스 외.3.263명의 의과대학생을 대상으로 설문조사를 실시한 결과 71%가 인공지능 교육이 필요하다는 데 동의했습니다.의료 청중에게 인공 지능을 가르치려면 광범위한 사전 지식을 갖고 있는 학생들을 위해 기술적 개념과 비기술적 개념을 결합하는 신중한 설계가 필요합니다.우리는 세 그룹의 의대생에게 일련의 AI 워크숍을 제공한 경험을 설명하고 AI에 대한 미래 의학 교육을 위한 권장 사항을 제시합니다.
의과대학생을 위한 5주간의 의학 분야 인공지능 입문 워크숍은 2019년 2월부터 2021년 4월까지 3회 개최되었습니다. 강좌 변경 사항에 대한 간략한 설명과 함께 각 워크숍의 일정이 그림 1에 나와 있습니다. 세 가지 주요 학습 목표: 학생들은 인공 지능 응용 프로그램에서 데이터가 처리되는 방식을 이해하고, 임상 응용을 위한 인공 지능 문헌을 분석하고, 인공 지능을 개발하는 엔지니어와 협력할 수 있는 기회를 활용합니다.
파란색은 강의 주제이고 하늘색은 대화형 질의응답 시간입니다.회색 부분은 간략한 문헌 검토의 초점입니다.주황색 섹션은 인공 지능 모델이나 기술을 설명하는 선별된 사례 연구입니다.Green은 임상 문제를 해결하고 모델을 평가하기 위해 인공 지능을 가르치기 위해 고안된 안내 프로그래밍 과정입니다.워크숍의 내용과 기간은 학생의 요구 사항에 대한 평가에 따라 달라집니다.
첫 번째 워크숍은 2019년 2월부터 4월까지 브리티시 컬럼비아 대학교에서 진행되었으며, 참가자 8명 모두 긍정적인 피드백을 받았습니다4.코로나19로 인해 2020년 10월~11월에 두 번째 워크숍이 가상으로 진행되었으며, 캐나다 8개 의과대학 소속 의대생 222명과 레지던트 3명이 등록했습니다.프레젠테이션 슬라이드와 코드가 오픈 액세스 사이트(http://ubcaimed.github.io)에 업로드되었습니다.첫 번째 반복의 주요 피드백은 강의가 너무 강렬하고 자료가 너무 이론적이라는 것입니다.캐나다의 6개 시간대에 서비스를 제공하는 것은 추가적인 과제를 안겨줍니다.따라서 두 번째 워크숍에서는 각 세션을 1시간으로 단축하고, 강의 자료를 단순화하고, 더 많은 사례 연구를 추가하고, 참가자가 최소한의 디버깅으로 코드 조각을 완료할 수 있는 상용구 프로그램을 만들었습니다(상자 1).두 번째 반복의 주요 피드백에는 프로그래밍 연습에 대한 긍정적인 피드백과 기계 학습 프로젝트 계획을 시연해 달라는 요청이 포함되었습니다.따라서 2021년 3월부터 4월까지 126명의 의대생을 대상으로 가상으로 개최된 세 번째 워크숍에서는 워크숍 개념을 프로젝트에 사용하는 것이 미치는 영향을 보여주기 위해 더 많은 대화형 코딩 연습과 프로젝트 피드백 세션을 포함했습니다.
데이터 분석: 데이터 패턴을 분석, 처리 및 전달하여 데이터에서 의미 있는 패턴을 식별하는 통계 연구 분야입니다.
데이터 마이닝: 데이터를 식별하고 추출하는 프로세스입니다.인공 지능의 맥락에서 이는 각 샘플에 여러 변수가 포함되어 큰 경우가 많습니다.
차원 축소: 원본 데이터 세트의 중요한 속성을 유지하면서 많은 개별 기능이 포함된 데이터를 더 적은 수의 기능으로 변환하는 프로세스입니다.
특성(인공 지능의 맥락에서): 샘플의 측정 가능한 특성입니다.종종 "속성" 또는 "변수"와 같은 의미로 사용됩니다.
Gradient Activation Map: 인공 지능 모델(특히 컨볼루셔널 신경망)을 해석하는 데 사용되는 기술로, 네트워크의 마지막 부분을 최적화하는 프로세스를 분석하여 예측 가능성이 높은 데이터 또는 이미지 영역을 식별합니다.
표준 모델: 유사한 작업을 수행하도록 사전 훈련된 기존 AI 모델입니다.
테스트(인공 지능의 맥락에서): 모델이 이전에 접하지 못한 데이터를 사용하여 작업을 수행하는 방법을 관찰합니다.
훈련(인공 지능의 맥락에서): 모델이 내부 매개변수를 조정하여 새로운 데이터를 사용하여 작업을 수행하는 능력을 최적화할 수 있도록 모델에 데이터와 결과를 제공합니다.
벡터: 데이터 배열.기계 학습에서 각 배열 요소는 일반적으로 샘플의 고유한 기능입니다.
표 1에는 각 주제에 대한 목표 학습 목표를 포함하여 2021년 4월의 최신 과정이 나열되어 있습니다.이 워크숍은 기술 수준을 처음 접하는 사람들을 대상으로 하며 학부 의학 학위 1년차 이상의 수학적 지식이 필요하지 않습니다.이 과정은 6명의 의대생과 공학 고급 학위를 보유한 3명의 교사가 개발했습니다.엔지니어들은 가르치기 위해 인공지능 이론을 개발하고, 의대생들은 임상 관련 자료를 학습하고 있습니다.
워크숍에는 강의, 사례 연구, 프로그래밍 안내가 포함됩니다.첫 번째 강의에서는 데이터 시각화, 로지스틱 회귀, 기술통계와 귀납통계의 비교 등 생물통계학에서 선택한 데이터 분석 개념을 검토합니다.데이터 분석은 인공 지능의 기초이지만 데이터 마이닝, 유의성 테스트 또는 대화형 시각화와 같은 주제는 제외됩니다.이는 시간 제약 때문이었고 일부 학부생이 생물통계학에 대한 사전 교육을 받았고 보다 독특한 기계 학습 주제를 다루기를 원했기 때문입니다.이어지는 강의에서는 최신 방법을 소개하고 AI 문제 공식화, AI 모델의 장점과 한계, 모델 테스트에 대해 논의합니다.강의는 기존 인공지능 장치에 대한 문헌과 실무 연구로 보완됩니다.우리는 기존 인공 지능 장치의 한계를 이해하는 것을 포함하여 임상 문제를 해결하기 위해 모델의 효율성과 타당성을 평가하는 데 필요한 기술을 강조합니다.예를 들어, 우리는 학생들에게 의사의 검사를 기반으로 CT 스캔이 유용한지 여부를 결정하기 위해 인공 지능 결정 트리 알고리즘을 구현한 Kupperman 등이 제안한 소아 머리 부상 지침을 해석하도록 요청했습니다.우리는 이것이 의사를 대체하는 것이 아니라 의사가 해석할 수 있도록 예측 분석을 제공하는 AI의 일반적인 예임을 강조합니다.
사용 가능한 오픈 소스 부트스트랩 프로그래밍 예제(https://github.com/ubcaimed/ubcaimed.github.io/tree/master/programming_examples)에서 탐색적 데이터 분석, 차원 축소, 표준 모델 로딩 및 교육을 수행하는 방법을 보여줍니다. .그리고 테스트.우리는 웹 브라우저에서 Python 코드를 실행할 수 있는 Google Colaboratory 노트북(Google LLC, Mountain View, CA)을 사용합니다.그림 2에서는 프로그래밍 연습의 예를 제공합니다.이 연습에는 Wisconsin Open Breast Imaging Dataset6 및 의사 결정 트리 알고리즘을 사용하여 악성 종양을 예측하는 작업이 포함됩니다.
일주일 내내 관련 주제에 대한 프로그램을 발표하고 게시된 AI 애플리케이션에서 예시를 선택하세요.프로그래밍 요소는 모델을 평가하여 임상 시험에 사용할 준비가 되었는지 여부를 결정하는 방법과 같이 향후 임상 실습에 대한 통찰력을 제공하는 것과 관련이 있다고 간주되는 경우에만 포함됩니다.이러한 예는 의료 이미지 매개변수를 기반으로 종양을 양성 또는 악성으로 분류하는 본격적인 엔드투엔드 애플리케이션으로 마무리됩니다.
사전 지식의 이질성.참가자들의 수학적 지식 수준은 다양했습니다.예를 들어, 고급 엔지니어링 배경을 가진 학생들은 자신의 푸리에 변환을 수행하는 방법과 같은 보다 심층적인 자료를 찾고 있습니다.그러나 푸리에 알고리즘에 대한 수업 토론은 신호 처리에 대한 깊은 지식이 필요하기 때문에 불가능합니다.
출석 유출.특히 온라인 형식의 경우 후속 회의 참석이 감소했습니다.해결책은 출석을 추적하고 수료증을 제공하는 것일 수 있습니다.의과대학은 학생들의 과외 학업 활동 성적표를 인정하여 학생들이 학위 취득을 장려할 수 있는 것으로 알려져 있습니다.
코스 설계: AI는 매우 많은 하위 분야에 걸쳐 있기 때문에 적절한 깊이와 폭의 핵심 개념을 선택하는 것이 어려울 수 있습니다.예를 들어, 실험실에서 진료소까지 AI 도구의 연속성 사용이 중요한 주제입니다.데이터 전처리, 모델 구축 및 검증을 다루지만 빅 데이터 분석, 대화형 시각화 또는 AI 임상 시험 수행과 같은 주제는 포함하지 않고 가장 독특한 AI 개념에 중점을 둡니다.우리의 기본 원칙은 기술이 아닌 읽고 쓰는 능력을 향상시키는 것입니다.예를 들어, 모델이 입력 특성을 처리하는 방법을 이해하는 것은 해석 가능성에 중요합니다.이를 수행하는 한 가지 방법은 데이터의 어느 영역이 예측 가능한지 시각화할 수 있는 그래디언트 활성화 맵을 사용하는 것입니다.그러나 이는 다변량 계산이 필요하므로 도입할 수 없습니다8.수학적 형식화 없이 데이터를 벡터로 사용하는 방법을 설명하려고 했기 때문에 공통 용어를 개발하는 것은 어려웠습니다.예를 들어 역학에서 "특징"은 "변수" 또는 "속성"으로 설명됩니다.
지식 보유.AI의 적용이 제한되어 있기 때문에 참가자가 지식을 보유하는 정도는 아직 알 수 없습니다.의과대학 커리큘럼은 실습 중에 지식을 강화하기 위해 간격을 두는 반복에 의존하는 경우가 많으며9 이는 AI 교육에도 적용될 수 있습니다.
전문성보다 전문성이 더 중요합니다.인공지능 임상과정을 개설할 때 문제가 되었던 수학적 엄밀함을 배제하고 소재의 깊이를 설계하였습니다.프로그래밍 예제에서는 참가자가 전체 프로그래밍 환경을 설정하는 방법을 알아내지 않고도 필드를 채우고 소프트웨어를 실행할 수 있도록 하는 템플릿 프로그램을 사용합니다.
인공 지능에 대한 우려 해결: 인공 지능이 일부 임상 업무를 대체할 수 있다는 우려가 널리 퍼져 있습니다3.이 문제를 해결하기 위해 규제 기관이 승인한 거의 모든 AI 기술에는 의사의 감독이 필요하다는 사실을 포함하여 AI의 한계를 설명합니다11.또한 특히 데이터 세트가 다양하지 않은 경우 알고리즘은 편향되기 쉽기 때문에 편향의 중요성을 강조합니다12.결과적으로 특정 하위 그룹이 잘못 모델링되어 불공정한 임상 결정으로 이어질 수 있습니다.
리소스는 공개적으로 사용 가능합니다. 강의 슬라이드 및 코드를 포함하여 공개적으로 사용 가능한 리소스를 만들었습니다.시간대 때문에 동기식 콘텐츠에 대한 접근이 제한되지만, 모든 의과대학에서 AI 전문 지식을 사용할 수 없기 때문에 오픈소스 콘텐츠는 비동기식 학습을 위한 편리한 방법입니다.
학제간 협업: 이 워크숍은 의대생들이 엔지니어들과 함께 코스를 계획하기 위해 시작한 합작 투자입니다.이는 두 영역 모두에서 협업 기회와 지식 격차를 보여줌으로써 참가자들이 미래에 기여할 수 있는 잠재적인 역할을 이해할 수 있게 해줍니다.
AI 핵심 역량을 정의합니다.역량 목록을 정의하면 기존 역량 기반 의료 커리큘럼에 통합될 수 있는 표준화된 구조가 제공됩니다.이 워크숍은 현재 Bloom 분류법의 학습 목표 수준 2(이해), 3(응용), 4(분석)을 사용합니다.프로젝트 생성과 같이 더 높은 수준의 분류에 있는 리소스를 보유하면 지식을 더욱 강화할 수 있습니다.이를 위해서는 임상 전문가와 협력하여 AI 주제가 임상 워크플로우에 어떻게 적용될 수 있는지 결정하고 표준 의료 커리큘럼에 이미 포함된 반복적인 주제의 교육을 방지해야 합니다.
AI를 사용하여 사례 연구를 만듭니다.임상 사례와 마찬가지로 사례 기반 학습은 임상 질문과의 관련성을 강조하여 추상적 개념을 강화할 수 있습니다.예를 들어, 한 워크숍 연구에서는 Google의 AI 기반 당뇨병성 망막증 감지 시스템13을 분석하여 외부 검증 요구 사항 및 규제 승인 경로와 같은 실험실에서 진료소까지의 경로에 따른 문제를 식별했습니다.
경험적 학습 활용: 기술적 능력은 임상 연수생의 순환 학습 경험과 유사하게 집중 연습과 숙달을 위한 반복적 적용이 필요합니다.한 가지 잠재적인 해결책은 공학 교육에서 지식 보유를 향상시키는 것으로 보고된 거꾸로 교실 모델입니다14.이 모델에서 학생들은 이론적 자료를 독립적으로 검토하고 수업 시간은 사례 연구를 통해 문제를 해결하는 데 전념합니다.
다양한 분야의 참가자를 위한 확장: 우리는 다양한 수준의 교육을 받은 의사 및 관련 의료 전문가를 포함하여 여러 분야에 걸친 협업이 포함된 AI 채택을 구상합니다.따라서 커리큘럼은 다양한 보건 분야에 맞게 내용을 맞춤화하기 위해 다양한 학과의 교수진과 협의하여 개발되어야 할 수도 있습니다.
인공지능은 첨단 기술이며 그 핵심 개념은 수학과 컴퓨터 과학과 관련되어 있습니다.인공 지능을 이해하도록 의료 인력을 교육하는 것은 콘텐츠 선택, 임상 관련성 및 전달 방법에 있어 고유한 과제를 제시합니다.교육 속 AI 워크숍에서 얻은 통찰력이 미래의 교육자들이 AI를 의료 교육에 통합하는 혁신적인 방법을 수용하는 데 도움이 되기를 바랍니다.
Google Colaboratory Python 스크립트는 오픈 소스이며 https://github.com/ubcaimed/ubcaimed.github.io/tree/master/에서 사용할 수 있습니다.
Prober, KG 및 Khan, S. 의학 교육 재고: 행동 촉구.아카드.약.88, 1407-1410(2013).
McCoy, LG 등 의과대학생들이 인공지능에 대해 꼭 알아야 할 것은 무엇일까?NPZh 번호.의학 3, 1–3(2020).
도스 산토스, DP, 외.인공지능에 대한 의과대학생의 태도: 다기관 조사.유로.방사능.29, 1640~1646(2019).
Fan, KY, Hu, R. 및 Singla, R. 의대생을 위한 기계 학습 소개: 파일럿 프로젝트.J. Med.가르치다.54, 1042-1043(2020).
쿠퍼맨 N, 외.머리 부상 후 임상적으로 심각한 뇌 손상 위험이 매우 낮은 어린이 식별: 전향적 코호트 연구.랜싯 374, 1160-1170(2009).
스트리트, WN, 울버그, WH 및 망가사리안, OL.유방 종양 진단을 위한 핵 특징 추출.바이오 의료 학.이미지 처리.바이오 의료 학.와이즈.1905, 861-870(1993).
Chen, PHC, Liu, Y. 및 Peng, L. 의료용 기계 학습 모델을 개발하는 방법.Nat.매트.18, 410–414(2019).
Selvaraju, RRet al.Grad-cam: 그래디언트 기반 현지화를 통한 심층 네트워크의 시각적 해석.컴퓨터 비전에 관한 IEEE 국제 회의 간행물, 618-626(2017).
Kumaravel B, Stewart K 및 Ilic D. 학부 의학 교육에서 OSCE를 사용하여 증거 기반 의학 역량을 평가하기 위한 나선형 모델 개발 및 평가.BMK의학.가르치다.21, 1–9(2021).
Kolachalama VB 및 Garg PS 기계 학습 및 의학 교육.NPZh 번호.약.1, 1–3(2018).
van Leeuwen, KG, Schalekamp, S., Rutten, MJ, van Ginneken, B. 및 de Rooy, M. 방사선학의 인공 지능: 100가지 상용 제품 및 과학적 증거.유로.방사능.31, 3797-3804(2021).
Topol, EJ 고성능 의학: 인간과 인공지능의 융합.Nat.약.25, 44–56(2019).
Bede, E.et al.당뇨병성 망막증 진단을 위해 병원에 배포된 딥 러닝 시스템에 대한 인간 중심 평가.컴퓨팅 시스템의 인적 요소에 관한 2020 CHI 회의 간행물(2020).
Kerr, B. 공학 교육의 거꾸로 교실: 연구 검토.2015년 대화형 협업 학습 국제 컨퍼런스 간행물(2015).
저자는 지원과 자금 지원을 위해 브리티시 컬럼비아 대학교 생물의학 이미징 및 인공 지능 연구 클러스터의 Danielle Walker, Tim Salcudin 및 Peter Zandstra에게 감사를 표합니다.
RH, PP, ZH, RS 및 MA는 워크숍 교육 콘텐츠 개발을 담당했습니다.RH와 PP는 프로그래밍 예제 개발을 담당했습니다.KYF, OY, MT 및 PW는 프로젝트의 물류 조직과 워크숍 분석을 담당했습니다.RH, OY, MT, RS가 그림과 표 작성을 담당했습니다.RH, KYF, PP, ZH, OY, MY, PW, TL, MA, RS는 문서 초안 작성 및 편집을 담당했습니다.
커뮤니케이션 의학은 이 연구의 검토에 기여한 Carolyn McGregor, Fabio Moraes 및 Aditya Borakati에게 감사드립니다.
게시 시간: 2024년 2월 19일