Foundation Models 종합 리뷰

category

overviews

개요

Foundation Models 카테고리는 의료 데이터, 특히 비정형 전자 건강 기록(EHR)을 처리하기 위한 대규모 언어 모델(Large Language Model)의 개발과 임상 적용 가능성을 탐구한다. 본 리뷰는 총 2편의 논문을 바탕으로, NYUTron[1]과 GatorTron[2]이라는 두 가지 주요 Foundation Model이 어떻게 다양한 임상 및 운영 예측 작업에서 범용 예측 엔진으로 기능할 수 있는지 분석한다. 전반적인 경향은 기존 구조화 데이터 기반 모델의 전처리 장벽을 해소하고, point of care에서의 실시간 의사결정 지원을 가능하게 하는 방향으로 나아가고 있다.

주요 주제

첫 번째 주제는 비정형 임상 노트를 활용한 범용 예측 엔진의 구현이다. NYUTron은 NYU Langone Health System의 EHR 내 비정형 임상 노트를 학습하여, 기존 구조화 데이터 기반 모델이 겪던 복잡한 전처리 및 배포 장벽을 해결한다[1]. 이를 통해 point of care에서의 실시간 의사결정 지원 가능성을 제시하며, 다양한 임상 및 운영 예측 작업에서 효과적으로 기능함을 입증한다[1].

두 번째 주제는 대규모 언어 모델의 스케일링과 성능 향상이다. GatorTron은 >90B 단어의 코퍼스(>82B 임상 텍스트 포함)로 학습되었으며, 파라미터 수를 345M에서 8.9B까지 확장하고 학습 데이터 규모를 증가시키는 것이 모델 성능에 미치는 영향을 체계적으로 평가했다[2]. 이러한 스케일링 전략은 clinical concept extraction, medical relation extraction, semantic textual similarity (STS), natural language inference (NLI), medical question answering (MQA) 등 5가지 임상 NLP 작업의 성능을 기존 BioBERT, ClinicalBERT, BioMegatron 모델 대비 모든 벤치마크에서 우수하게 개선했다[2].

세 번째 주제는 실제 임상 워크플로와의 통합 및 검증이다. NYUTron은 30-day all-cause readmission, in-hospital mortality, comorbidity index imputation, length of stay, insurance denial prediction 등 5가지 주요 endpoint에 대한 후향적 평가와 전향적 single-arm non-interventional trial을 통해 모델의 성능과 실제 임상 워크플로에서의 유용성을 검증했다[1]. 이는 Foundation Model이 단순한 NLP 벤치마크를 넘어 실제 의료 시스템 운영 및 환자 결과 예측에 직접적으로 기여할 수 있음을 시사한다[1].

방법론적 경향

연구 설계 측면에서, 두 논문 모두 대규모 비정형 텍스트 데이터를 기반으로 한 Foundation Model의 개발과 평가에 초점을 맞췄다. GatorTron 연구는 파라미터 수와 학습 데이터 규모의 증가가 clinical concept extraction, medical relation extraction, semantic textual similarity (STS), natural language inference (NLI), medical question answering (MQA) 등 5가지 임상 NLP 작업 성능에 미치는 영향을 체계적으로 평가하는 방법론을 사용했다[2]. 반면, NYUTron 연구는 후향적 평가와 전향적 single-arm non-interventional trial을 결합하여 모델의 실제 임상 적용 가능성을 검증하는 혼합 방법론을 채택했다[1].

Cohort 및 데이터 소스에서는 두 연구 모두 EHR 내 비정형 텍스트를 주요 학습 자료로 활용했다. GatorTron은 >90B 단어의 코퍼스(>82B 임상 텍스트 포함)를 사용했으며[2], NYUTron은 NYU Langone Health System의 EHR 내 비정형 임상 노트를 기반으로 했다[1]. 이는 구조화된 데이터보다 풍부한 문맥 정보를 제공하는 비정형 데이터의 중요성을 강조한다.

Endpoint 및 평가 지표에서는 두 연구가 서로 다른 초점을 보였다. GatorTron은 clinical concept extraction, medical relation extraction, semantic textual similarity (STS), natural language inference (NLI), medical question answering (MQA) 등 NLP 중심의 벤치마크 작업을 주요 endpoint로 삼았다[2]. 반면, NYUTron은 30-day all-cause readmission, in-hospital mortality, comorbidity index imputation, length of stay, insurance denial prediction 등 실제 임상 및 운영 결과에 직접적인 영향을 미치는 endpoint를 평가했다[1]. 이는 Foundation Model이 언어 이해 능력을 넘어 실제 의료 예측 작업으로 확장될 수 있음을 보여준다.

임상적·연구적 시사점

이 두 논문은 비정형 EHR 데이터를 활용한 Foundation Model이 기존 구조화 데이터 기반 모델의 한계를 극복하고, point of care에서의 실시간 의사결정 지원을 가능하게 할 수 있음을 시사한다[1][2]. 특히 NYUTron의 전향적 single-arm non-interventional trial 결과는 이러한 모델이 실제 임상 워크플로에 통합될 때 운영 효율성과 환자 결과 예측 정확도를 동시에 개선할 수 있음을 보여준다[1].

그러나 아직 비어 있는 부분(gap)으로는, GatorTron 연구가 주로 NLP 벤치마크 성능에 집중했다는 점과[2], NYUTron 연구가 single-arm non-interventional trial로 제한되어 있다는 점이 있다[1]. 따라서 다기관 전향적 무작위 대조 시험(RCT)을 통해 Foundation Model의 임상적 유효성과 안전성을 더 광범위하게 검증할 필요가 있다. 또한, 다양한 의료 시스템과 인구집단에서의 일반화 가능성(generalizability)에 대한 추가 연구가 요구된다.

참고 논문

1. Health system-scale language models are all-purpose prediction engines — Jiang et al., 2023, Nature
2. A large language model for electronic health records — Yang et al., 2022, npj Digital Medicine