A large language model for electronic health records
한 줄 요약
본 연구는 비정형 전자 건강 기록(EHR)을 처리하기 위해 >90B 단어의 코퍼스(>82B 임상 텍스트 포함)로 학습된 대규모 임상 언어 모델 GatorTron을 개발하였다. 파라미터 수를 345M에서 8.9B까지 확장하고 학습 데이터 규모를 증가시키는 것이 clinical concept extraction, medical relation extraction, semantic textual similarity (STS), natural language inference (NLI), medical question answering (MQA) 등 5가지 임상 NLP 작업 성능에 미치는 영향을 체계적으로 평가하였다. GatorTron-large는 기존 BioBERT, ClinicalBERT, BioMegatron 모델 대비 모든 벤치마크에서 우수한 성능을 보였으며, 특히 drug-cause-adverse event 관계 추출에서 F1 score 0.9627을 달성하여 대규모 임상 트랜스포머 모델의 유효성을 입증하였다. 이 연구는 clinical domain에서 transformer model의 규모 확대가 downstream task 성능 향상에 선형적 또는 단조로운(monotonic) 이점을 제공함을 보여주었으며, 특히 NLI와 MQA와 같은 복잡한 작업에서 더 큰 성능 개선을 관찰했다.
방법
Study design과 데이터 구축 University of Florida Health Integrated Data Repository (IDR)에서 2011~2021년 간 수집된 2,476,628명의 환자 기록 중 290,482,002건의 임상 노트를 전처리 및 de-identification하여 >82B 단어의 임상 코퍼스를 구축하였다. 여기에 PubMed 문헌(6B 단어)과 Wikipedia 데이터(2.5B 단어), 그리고 MIMIC-III (0.5B 단어)를 추가하여 총 >90B 단어의 학습 자료를 확보하였다. PHI 제거는 HIPAA safe-harbor method에 따라 18가지 PHI 카테고리를 식별하고 dummy string으로 대체하는 방식으로 수행되었다.
모델 아키텍처 및 학습 프로토콜 Transformer 아키텍처를 기반으로 GatorTron을 from scratch로 학습시켰으며, 파라미터 규모에 따라 base (345M), medium (3.9B), large (8.9B) 세 가지 변형을 구성하였다. Pretraining은 masked language modeling (MLM) objective를 사용했으며, NVIDIA DGX A100 GPU 992개를 활용한 Megatron-LM 패키지를 통해 data-level 및 model-level parallelism을 적용하여 학습했다. Validation set은 전체 임상 텍스트의 5%로 설정하여 training loss와 validation loss를 모니터링했고, loss가 더 이상 개선되지 않을 때 학습을 중단하였다.
평가 방법 및 비교군 GatorTron 모델의 성능을 평가하기 위해 6개의 공개 벤치마크 데이터셋(2010 i2b2, 2012 i2b2, 2018 n2c2, 2019 n2c2, MedNLI, emrQA)을 사용하여 5가지 임상 NLP 작업을 수행했다. Primary endpoint는 각 작업에서의 Precision, Recall, F1 score, Accuracy, Exact Match, Pearson correlation 등이다. 비교군으로는 기존 biomedical/clinical transformer 모델인 BioBERT (345M parameters), ClinicalBERT (110M parameters), BioMegatron (1.2B parameters)를 사용했다. 또한 학습 데이터 규모의 영향을 분리하기 위해 GatorTron-base 모델을 전체 코퍼스(full corpus)와 무작위 샘플링된 1/4 코퍼스(random sample of 1/4 of the corpus)로 각각 학습시켜 성능 차이를 비교 분석했다.
주요 결과
Clinical concept extraction 및 Medical relation extraction GatorTron-large는 clinical concept extraction에서 2010 i2b2, 2012 i2b2, 2018 n2c2 벤치마크 각각 F1 score 0.8996, 0.8091, 0.9000을 기록하며 최상위 성능을 보였다. 이는 기존 BioBERT (F1: 0.8673, 0.7747, 0.8775) 및 ClinicalBERT (F1: NA, 0.7890, 0.8710) 대비 명확한 우위를 점했다. Medical relation extraction 작업에서는 drug-cause-adverse event 관계 식별에 F1 score 0.9627을 달성하여 기존 모델들(BioBERT: 0.9555, ClinicalBERT: 0.9544, BioMegatron: 0.9571)을 모두 앞섰다.
Semantic textual similarity, NLI, 및 MQA Semantic textual similarity (STS) 평가에서 GatorTron-medium이 가장 높은 Pearson correlation score (0.8903)를 기록했으며, GatorTron-large (0.8896)는 그와 매우 근접한 성능을 보였다. Natural language inference (NLI) 작업에서 GatorTron-large는 Accuracy 0.9020으로 BioBERT (0.8050) 대비 9.6%, ClinicalBERT (0.8270) 대비 7.5% 향상된 결과를 보였다. Medical question answering (MQA)에서도 GatorTron-large는 medication-related questions에서 Exact Match score 0.3155, relation-related questions에서 0.9301을 기록하여 기존 모델들보다 각각 6.8~9.5% 높은 성능을 달성했다.
Scaling 효과 및 수렴 특성 학습 데이터 규모 확장 검증 결과, 전체 코퍼스로 학습한 GatorTron-base 모델은 무작위 1/4 데이터 모델 대비 4개 작업에서 성능이 향상되었다 (MQA의 medication-related questions F1 score 제외). 파라미터 수를 345M에서 8.9B로 확장할 때 NLI와 MQA를 제외한 모든 작업에서 단조로운(monotonic) 성능 향상이 관찰되었다. 학습 수렴 속도 측면에서는 base 모델이 10 epoch, medium 및 large 모델이 7 epoch에 수렴하여 대규모 트랜스포머 모델의 빠른 per sample 수렴 특성을 재확인했다. Error analysis 결과, GatorTron은 ClinicalBERT보다 긴 구(longer phrases)를 더 잘 모델링하고 semantic category 분류 정확도가 높았으나, NLI와 MQA와 같은 복잡한 작업에서 긴 단락 내 핵심 정보 식별에는 여전히 어려움이 있었다.
통계 분석
분석 설계 — 이 연구는 임상 도메인에서 대규모 언어 모델(LLM)의 파라미터 수와 학습 데이터 크기를 확장할 때 downstream NLP 작업 성능이 어떻게 향상되는지를 규명하기 위해 수행되었다. 연구 설계는 전통적인 환자 코호트 기반의 역학 연구가 아닌, 머신러닝 모델 벤치마킹(benchmarking) 형태를 취한다. 표본은 University of Florida Health IDR에서 2011년부터 2021년까지 수집된 약 247만 명의 환자로부터 추출된 총 2억 9천만 건 이상의 임상 노트(clinical notes)로 구성되었으며, 전처리 및 비식별화(de-identification) 과정을 거쳐 820억 단어 이상의 텍스트 코퍼스(corpus)를 구축했다. Primary endpoint는 GatorTron 모델(base: 345M, medium: 3.9B, large: 8.9B parameters)이 기존 biomedical/clinical transformer 모델(BioBERT, ClinicalBERT, BioMegatron) 대비 5가지 임상 NLP 작업(clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference, medical question answering)에서 얼마나 우수한 성능(F1 score, accuracy, Pearson correlation 등)을 보이는지를 비교 평가하는 것이다.
무엇을 위해 어떤 분석을 썼는가 — 모델의 수렴(convergence) 시점을 결정하고 과적합(overfitting)을 방지하기 위해, 전체 학습 데이터 중 5%를 validation set으로 분리하여 training loss와 validation loss를 모니터링했다. 이를 통해 GatorTron-base는 10 epochs, medium 및 large 모델은 7 epochs에서 수렴함을 확인했다. 각 NLP 작업의 성능을 정량적으로 비교하기 위해, 표준화된 벤치마크 데이터셋(2010/2012 i2b2, 2018 n2c2, 2019 n2c2, MedNLI, emrQA)을 사용하여 Precision, Recall, F1 score, Accuracy, Exact Match, Pearson correlation 등의 지표를 계산했다. 특히 데이터 양의 영향을 분리하기 위해, GatorTron-base 모델을 전체 코퍼스(full corpus)와 무작위 샘플링된 1/4 코퍼스(random sample of 1/4 of the corpus)로 각각 학습시켜 성능 차이를 비교 분석했다. 통계 software나 특정 버전은 원문에 명시되지 않으나, NVIDIA DGX nodes 및 A100 GPUs를 활용한 분산 학습 환경에서 실행되었다.
방법론 평가 — 잘 된 점은 매우 대규모의 실제 임상 텍스트(>82 billion words)를 사용하여 도메인 특이성(domain specificity)을 높였다는 점과, 모델 크기(345M ~ 8.9B parameters)와 데이터 양(1/4 vs full)을 체계적으로 변인화하여 scaling law의 효과를 입증했다는 점이다. 또한, 단순 성능 비교뿐만 아니라 error analysis를 통해 GatorTron이 긴 구문(longer phrases)과 복잡한 의미 범주(semantic categories)를 더 잘 모델링함을 질적으로 설명한 것은 신뢰도를 높인다. 그러나 의심스러운 점은 통계적 유의성 검정(statistical significance testing)이 수행되지 않았다는 것이다. 표 1과 2에 제시된 F1 score나 Accuracy의 차이가 우연에 의한 것인지, 아니면 모델 크기 증가로 인한 진정한 성능 향상인지에 대한 p-value나 confidence interval은 보고되지 않았다. 또한, multiple testing 보정이 이루어졌는지 여부는 원문에 명시되지 않으나, 여러 벤치마크 데이터셋과 하위 작업(sub-tasks)에서 반복적인 비교가 이루어졌으므로 false discovery rate를 고려하지 않았을 가능성이 있다. 결측치 처리나 편향(bias) 분석에 대한 구체적인 통계적 검증도 부족하며, validation set이 학습 데이터의 5%로 고정되어 있어 모델 크기가 커질수록 validation 성능 평가의 안정성(stability)에 대한 논의가 더 필요해 보인다.
설계에 참고할 점 — 유사한 AI/ML 기반 연구를 설계할 때는, 단순히 평균 성능 지표(mean performance metric)만 보고하는 것을 넘어, 모델 간 성능 차이의 통계적 유의성을 검정하거나 bootstrap resampling을 통해 confidence interval을 제시하는 것이 중요하다. 또한, 대규모 데이터셋 사용 시 발생할 수 있는 데이터 편향(data bias)이나 과적합 위험을 줄이기 위해, 독립적인 external validation cohort를 확보하여 일반화 가능성(generalizability)을 검증하는 단계가 필수적이다. 마지막으로, 모델 스케일링(scaling up) 연구에서는 계산 비용 대비 성능 향상 여파(diminishing returns)를 명확히 분석하여 최적의 모델 크기를 제안하는 것이 실용적 가치가 높다.
강점
본 연구는 clinical domain에서 기존 최대 110M 파라미터였던 모델을 8.9B까지 확장하여 대규모 언어 모델의 스케일링 법칙이 임상 텍스트에도 적용됨을 체계적으로 입증했다. >90B 단어라는 방대한 코퍼스(특히 >82B의 de-identified clinical notes)를 활용함으로써 기존 biomedical literature 기반 모델(BioBERT 등)이 가지지 못한 실제 임상 서술(clinical narratives)에 대한 깊은 이해도를 확보했다. 5가지 서로 다른 linguistic level (phrase, sentence, document)의 NLP 작업에서 일관되게 최상위 성능을 기록하며 downstream task 다양성에 대한 robustness를 보였다.
한계
GatorTron-large는 STS 작업에서 GatorTron-medium보다 약간 낮은 Pearson correlation score (0.8896 vs 0.8903)를 보여, 모델 크기 증가가 모든 작업에서 단조로운 성능 향상을 보장하지는 않음을 시사한다. Error analysis에서 드러났듯, NLI와 MQA와 같은 복잡한 문서 수준(document-level) 작업에서 긴 텍스트 내 핵심 정보 식별 능력에는 여전히 한계가 존재한다. 또한 본 연구의 데이터 소스가 주로 University of Florida Health 시스템에 국한되어 있어, 다른 의료 기관의 EHR 시스템이나 인구통계학적 특성이 다른 코호트에서의 generalizability는 추가 검증이 필요하다.
해석
GatorTron은 clinical NLP 분야에서 foundation model로서의 가능성을 제시하며, 특히 drug-cause-adverse event 추출과 같은 pharmacovigilance 작업 및 MQA와 같은 clinical decision support 시스템 개발에 직접 활용될 수 있는 강력한 base model이다. 기존 BioBERT/ClinicalBERT 대비 큰 성능 격차는 단순한 파라미터 증가뿐만 아니라, 실제 임상 노트(clinical narratives)를 대량으로 학습한 결과임을 보여준다. 이는 향후 LLM 기반 의료 AI 시스템이 unstructured EHR 데이터를 구조화하고 해석하는 데 있어 scale-up 전략의 중요성을 강조하며, 특히 복잡한 추론(reasoning) 작업에서 대형 모델의 잠재력을 입증한다.