A large language model for electronic health records

authors

Yang et al.

journal

npj Digital Medicine

year

2022

doi

10.1038/s41746-022-00742-2

category

other

pdf

PDF

source

Source

요약

본 연구는 전자 건강 기록(EHR)의 비정형 임상 서술을 효과적으로 처리하기 위해 대규모 임상 언어 모델인 GatorTron을 개발하고 평가하였다. 저자들은 >900억 단어의 코퍼스(임상 텍스트 820억 단어 포함)로 모델을 학습시키고, 파라미터 수와 학습 데이터 크기를 확장하는 것이 5가지 주요 임상 NLP 작업 성능에 미치는 영향을 체계적으로 분석하였다. GatorTron-large는 기존 생의학 및 임상 트랜스포머 모델 대비 모든 작업에서 우수한 성능을 보였으며, 특히 임상 개념 추출 및 의료 관계 추출에서 정밀도, 재현율, F1 score를 개선했다. 이를 통해 대규모 임상 언어 모델이 의료 AI 시스템의 임상 서술 이해 능력을 향상시킬 수 있음을 입증하였다.

방법

연구는 University of Florida Health의 통합 데이터 저장소(IDR)에서 2011년부터 2021년까지 수집된 2,476,628명의 환자 기록 중 2억 9천만 건 이상의 임상 노트를 전처리 및 익명화하여 >820억 단어의 임상 코퍼스를 구축하였다. 여기에 PubMed 문헌과 Wikipedia 데이터를 합쳐 >900억 단어의 학습 자료를 확보하였다. Transformer 아키텍처를 기반으로 GatorTron을 0부터 학습시켰으며, 파라미터 규모에 따라 base(345M), medium(3.9B), large(8.9B) 세 가지 변형을 구성하였다. 학습 데이터 확장 효과를 검증하기 위해 base 모델의 경우 전체 코퍼스 대비 무작위 추출한 1/4 데이터로 학습한 모델과 비교하였다. 평가 endpoint는 clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), medical question answering (MQA) 5가지이며, 2010 i2b2, 2012 i2b2, 2018 n2c2 벤치마크에서 Precision, Recall, F1 score를 측정하였다. 기존 BioBERT, ClinicalBERT, BioMegatron 모델과 성능을 비교하였다.

주요 결과

파라미터 수를 345M에서 8.9B로 확장할 때 모든 NLP 작업에서 뚜렷한 성능 향상이 관찰되었다. GatorTron-large는 clinical concept extraction에서 2010 i2b2, 2012 i2b2, 2018 n2c2 벤치마크 각각 F1 score 0.8996, 0.8091, 0.9000을 기록하며 최상위 성능을 보였다. medical relation extraction 작업에서는 drug-cause-adverse event 관계 식별에 F1 score 0.9627을 달성하였다. 학습 데이터 규모 확장 검증 결과, 전체 코퍼스로 학습한 GatorTron-base 모델은 무작위 1/4 데이터 모델 대비 4개 작업에서 성능이 향상되었다(약물 관련 질문의 F1 score 제외). 학습 수렴 속도 측면에서는 base 모델이 10 epoch, medium 및 large 모델이 7 epoch에 수렴하여 대규모 트랜스포머 모델의 빠른 per sample 수렴 특성을 재확인하였다.

강점

본 연구는 실제 임상 환경에서 수집된 방대한 양의 익명화 임상 텍스트(>82B 단어)를 활용하여 대규모 언어 모델의 성능 한계를 실험적으로 입증했다는 점에서 방법론적 강점이 있다. 파라미터 규모와 학습 데이터 크기를 독립적으로 변인 통제하여 하위 NLP 작업에 미치는 영향을 정량적으로 분석한 체계적인 ablation study를 제공하였다. 개발된 GatorTron 모델은 공개되어 있어, 향후 비정형 EHR을 활용한 의료 AI 파이프라인 구축이나 임상 서술 기반 예측 모델의 사전 학습(pretraining) 베이스라인으로 wiki 내 관련 연구들과 직접 연계하여 활용될 수 있다.

해석

이 논문은 LLM Wiki의 AI 및 clinical informatics 문헌에서 비정형 임상 데이터 처리를 위한 대규모 언어 모델의 스케일링 효과와 실증적 근거를 제공한다. 특히 파라미터 증가와 실제 임상 코퍼스 학습이 NLI, MQA, concept extraction 등 다양한 하위 작업에 보편적으로 기여함을 보여주어, 향후 oncology나 pulmonology 분야에서 임상 노트 기반 예측 모델을 구축할 때 사전 학습 데이터 구성과 모델 규모 설정에 대한 기준을 제시한다. 기존 BioBERT나 ClinicalBERT와 같은 소규모 생의학/임상 모델 대비 성능 격차를 명확히 함으로써, 의료 AI 시스템이 임상 서술을 구조화하지 않고도 직접 활용할 수 있는 기술적 토대를 마련하였다.