Multimodal deep learning for integrating chest radiographs and clinical parameters: a case for transformers

authors

Khader et al.

journal

Radiology

year

2023

doi

10.1148/radiol.230806

category

biomedical-imaging

pdf

PDF

source

Source

업데이트

2026-07-30

요약

Khader et al. (2023)은 중환자실(ICU) 환자에서 chest radiographs와 clinical parameters를 통합하여 최대 25가지 pathologic conditions을 진단하는 transformer-based neural network architecture를 개발하고 평가하였다. 기존 convolutional neural networks(CNNs)가 단일 모달리티 데이터 처리에 특화되어 있는 반면, 본 연구는 attention mechanism을 활용하여 imaging과 nonimaging 데이터를 효율적으로 융합하는 모델을 제시하였다. 공개된 MIMIC 데이터셋과 독립적인 내부 코호트 모두에서 multimodal 모델이 unimodal 모델(영상만 또는 임상 데이터만 사용)보다 통계적으로 유의미하게 높은 diagnostic performance를 보였다. 특히, mean AUC는 MIMIC 데이터셋에서 0.77로, 영상만 사용할 때(0.70)나 임상 데이터만 사용할 때(0.72)보다 우수하였다. 이러한 결과는 다중 모달리티 통합이 중증 환자 진단 정확도 향상에 필수적임을 입증하며, transformer 아키텍처가 의료 데이터 융합에 효과적임을 시사한다.

방법

본 연구는 retrospective study로 수행되었으며, 공개된 Medical Information Mart for Intensive Care (MIMIC) 데이터셋과 University Hospital Aachen의 ICU 내부 데이터셋을 사용하였다. MIMIC 코호트는 2008년 1월부터 2019년 12월까지 Beth Israel Deaconess Medical Center ICU에 입원한 환자 중 clinical parameters와 chest radiographs가 모두 있는 36,542명(평균 연령 63 ± 17세)을 포함하며, 내부 코호트는 2009년 1월부터 2020년 12월까지 University Hospital Aachen ICU에 입원한 45,016명(평균 연령 66 ± 16세)으로 구성되었다. 각 데이터셋은 training, validation, test set으로 무작위 분할되었으며, 동일 환자가 여러 세트에 중복되지 않도록 주의하였다. MIMIC의 training set은 33,893명, validation set은 740명, test set은 1,909명이었으며, 내부 데이터셋의 경우 각각 28,809명, 7,203명, 9,004명이었다.

영상 입력은 chest radiographs였으며, nonimaging 입력은 MIMIC에서 systolic/diastolic/mean blood pressure, respiratory rate, Glasgow Coma Scale(GCS) 점수, oxygen inspiration, heart rate, body temperature, weight, height, blood serum pH, blood glucose level, blood oxygen level 등 약 15가지 clinical parameters를 사용하였다. 내부 데이터셋에서는 chest radiograph 촬영 전 20일 이내의 laboratory data인 C-reactive protein (CRP), leukocyte count, procalcitonin (PCT), brain natriuretic peptide (BNP) levels를 time-series data로 포함하였다. 예측 목표는 ICD-9/ICD-10 코드를 Clinical Classifications Software 기준으로 그룹핑한 최대 25가지 superordinate disease categories였으며, transformer-based neural network architecture를 학습시켰다. 모델 구조는 Vision Transformer backbone을 통해 영상 특징을 추출하고, Perceiver model의 cross-attention mechanism을 통해 nonimaging 데이터를 통합하며, 최종적으로 multilayer perceptron을 사용하여 multilabel classification outputs을 생성하였다. 진단 성능은 area under the receiver operating characteristic curve (AUC)로 평가하였으며, imaging-only, nonimaging-only 모델과 비교 분석하였다.

주요 결과

MIMIC 데이터셋에서 multimodal 모델의 mean AUC는 0.77 (95% CI: 0.77, 0.78)로, chest radiographs만 사용했을 때 0.70 (95% CI: 0.69, 0.71; P < .001), clinical parameters만 사용했을 때 0.72 (95% CI: 0.72, 0.73; P < .001)보다 통계적으로 유의하게 높았다. 개별 질병별 성능에서도 multimodal 모델이 우세한 경향을 보였으나, 일부 질병에서는 차이가 미미하거나 통계적 유의성이 없기도 했다. 예를 들어, Acute cerebrovascular disease의 경우 multimodal AUC는 0.91 (95% CI: 0.88, 0.93)로 imaging-only (0.70)와 nonimaging-only (0.89) 모두보다 높았으며, P 값은 <.001이었다. 반면, Diabetes mellitus with complications의 경우 multimodal AUC는 0.87로 nonimaging-only (0.87)와 동일하게 나타났으나 imaging-only (0.64)보다는 유의하게 높았다(P < .001).

내부 데이터셋에서도 유사한 결과가 확인되었다. Multimodal 모델의 mean AUC는 0.84 (95% CI: 0.83, 0.84)로, chest radiographs만 사용했을 때 0.83 (95% CI: 0.82, 0.83; P < .001), clinical parameters만 사용했을 때 0.67 (95% CI: 0.66, 0.67; P < .001)보다 높았다. 민감도(sensitivity)와 특이도(specificity)에서도 multimodal 모델이 우세하였다. MIMIC 데이터셋에서 sensitivity는 multimodal 70% (95% CI: 69, 71), nonimaging-only 69% (95% CI: 68, 70), imaging-only 66% (95% CI: 65, 67)였으며, specificity는 각각 72% (95% CI: 72, 73), 65% (95% CI: 64, 65), 65% (95% CI: 65, 66)였다. Positive predictive value도 multimodal 40% (95% CI: 40, 41)로 가장 높았다. Attention mechanism을 통한 해석 가능성(explainability) 분석 결과, 모델이 임상적 맥락과 영상 소견을 통합하여 예측하는 과정이 radiologic image perception과 잘 부합함이 관찰되었다.

통계 분석

분석 설계 — 이 연구는 ICU 환자에서 흉부 X선 영상과 임상/실습 데이터(비영상)를 통합한 transformer 기반 신경망이 단일 모달리티 모델보다 진단 성능이 우월한지 확인하기 위해 수행되었다. 연구 디자인은 후향적(retrospective) 코호트 연구로, 공개된 MIMIC-IV/MIMIC-CXR-JPG 데이터셋(n=36,542 patients)과 내부 ICU 데이터셋(n=45,016 patients)을 사용했다. 추적 기간은 2008년 1월부터 2020년 12월까지이며, primary endpoint는 25가지 병리적 상태(pathologic conditions)에 대한 진단 정확도로, 이를 평가하기 위해 area under the receiver operating characteristic curve (AUC)를 주요 지표로 사용했다.

무엇을 위해 어떤 분석을 썼는가 — 모델의 일반화 성능과 과적합 방지를 위해 데이터를 training, validation, test 세트로 무작위 분할(random split)했으며, 동일 환자가 여러 세트에 중복되지 않도록 주의했다. 각 질병별 AUC 점수의 통계적 변동성을 추정하기 위해 test set에서 1000회 bootstrap resampling을 수행했다. 민감도(sensitivity), 특이도(specificity), 양성 예측도(positive predictive value)의 최적 cutoff 값을 결정하기 위해 Youden criterion을 적용했다. 개별 질병별로 영상만, 임상 데이터만, 그리고 다중 모달리티를 사용한 모델 간 AUC 차이의 통계적 유의성을 검정하기 위해 DeLong test를 사용했다. 또한, 평균 AUC 점수 간의 비교에서는 동일한 bootstrap redraws를 사용하여 pairwise differences를 계산하고, 그 차이가 0보다 작은 비율을 통해 p-value를 추정했다. 모든 통계 분석은 Python (version 3.8), NumPy, SciPy 라이브러리를 사용하여 수행되었다.

방법론 평가 — 잘 된 점은 대규모 데이터셋(n > 30,000)을 활용하여 표본 크기 부족 문제를 회피했고, AUC 비교에 적합한 DeLong test를 사용했으며, bootstrap을 통해 CI와 p-value를 엄격하게 추정했다는 것이다. 또한, 코드와 일부 데이터를 공개하여 재현성(reproducibility)을 높였다. 그러나 의심스러운 점은 multiple testing 보정을 명시적으로 수행하지 않았다는 것이다. 25가지 질병과 3가지 모델 비교(총 50회 이상의 가설 검정)가 이루어졌음에도, 저자들은 "dichotomization of results"를 피하고 multiple hypothesis testing 보정의 필요성을 없애기 위해 특정 significance level을 선택하지 않았다고 주장한다. 이는 Type I error 증가 위험을 무시한 것으로 해석될 수 있다. 또한, 결측치(missing data) 처리 방법이 원문에 명시되지 않음(단, MIMIC 데이터셋에서 임상 파라미터가 없는 16,608명을 제외했다는 점은 언급됨). 모델 가정(model assumption)에 대한 검증이나 교란 변수(confounders) 보정에 대한 통계적 논의는 AI 모델의 black-box 특성상 전통적인 통계 모델과 다르지만, 내부 데이터셋에서의 external validation이 수행되어 어느 정도 robustness를 확인했다.

설계에 참고할 점 — 유사한 연구를 설계할 때는, 다중 모달리티 통합 시 각 입력 데이터의 결측 패턴(missingness pattern)을 명시적으로 보고하고, imputation 방법이나 missing indicator 사용 여부를 문서화해야 한다. 또한, 25개 이상의 outcome 변수를 동시에 검정할 경우, False Discovery Rate (FDR) 보정 등 multiple testing 보정을 적용하여 결과의 신뢰도를 높이는 것이 필수적이다. 마지막으로, bootstrap 기반 p-value 추정 시, 동일한 random seed나 redraws를 사용하여 모델 간 비교의 공정성을 유지한 이 연구의 접근법은 참고할 만하다.

강점

본 연구의 주요 강점은 대규모 데이터셋(n > 30,000 patients per cohort)을 활용하여 표본 크기 부족 문제를 회피했다는 점이다. 또한, AUC 비교에 적합한 DeLong test를 사용했으며, bootstrap resampling (1000 redraws)을 통해 CI와 p-value를 엄격하게 추정하여 통계적 신뢰도를 높였다. 코드와 일부 데이터를 공개하여 재현성(reproducibility)을 확보하였으며, transformer 아키텍처의 attention mechanism을 활용하여 모델의 결정 과정을 시각화하고 해석할 수 있는 explainability를 제공하였다. 이는 기존 CNN 기반 모델이 black box로 비판받는 점을 보완한다.

한계

본 연구는 retrospective design으로 인해 selection bias가 존재할 수 있으며, MIMIC 데이터셋은 단일 기관(Beth Israel Deaconess Medical Center)의 데이터에 기반하고 있어 일반화 가능성(generalizability)에 제한이 있을 수 있다. 또한, multiple testing 보정을 명시적으로 수행하지 않았으며, significance level을 설정하지 않고 모든 p-value를 보고하여 결과 해석에 주의가 필요하다. 내부 데이터셋의 경우 laboratory data가 chest radiograph 촬영 전 20일 이내로 제한되어 있어 시간적 연관성의 정확성에 의문이 있을 수 있다. 마지막으로, 모델의 computational load가 입력 개수에 따라 제곱으로 증가하는 transformer의 특성상 대규모 real-time clinical application에서의 효율성에 대한 검증이 부족하다.

해석

본 연구는 multimodal deep learning, 특히 transformer-based architecture가 ICU 환자의 다양한 pathologic conditions 진단에서 unimodal 접근법보다 우월한 성능을 보임을 입증한다. 이는 임상 현장에서 imaging과 nonimaging 데이터를 통합하여 의사 결정을 지원하는 AI 시스템 개발에 중요한 근거를 제공한다. LLM Wiki의 oncology/imaging/pulmonology/AI 문헌들과 비교할 때, 본 연구는 특정 질병(예: lung cancer)이 아닌 다중 병리적 상태(multiple pathologic conditions)를 대상으로 한 광범위한 진단 성능 평가를 수행했다는 점에서 차별화된다. 또한, attention mechanism을 통한 explainability 제공은 AI 모델의 임상 수용성(clinical acceptability)을 높이는 데 기여할 수 있다. 향후 연구에서는 prospective validation 및 다양한 인구통계학적 그룹에서의 generalizability 검증이 필요하며, computational efficiency를 개선한 lightweight transformer 모델 개발도 중요한 방향이 될 것이다.