Modern modelling techniques are data hungry: a simulation study for predicting dichotomous endpoints

authors

Ploeg et al.

journal

BMC Medical Research Methodology

year

2014

doi

10.1186/1471-2288-14-137

category

machine-learning-methods

pdf

PDF

source

Source

업데이트

2026-07-31

요약

본 연구는 SVM, NN, RF와 같은 현대 머신러닝 기법과 LR, CART와 같은 고전적 통계 모델의 예측 성능이 유효 표본 크기("data hungriness")에 따라 어떻게 달라지는지를 시뮬레이션을 통해 비교하였다. HNSCC, TBI, CHIP 세 가지 임상 코호트를 기반으로 생성된 인공 데이터셋에서 학습 곡선을 분석한 결과, 현대 기법은 안정적인 AUC와 낮은 optimism을 달성하는 데 고전적 기법보다 약 10배 이상 많은 events per variable (EPV)이 필요함을 확인하였다. 이는 제한된 표본 크기를 다루는 medical prediction 연구에서 모델의 복잡도와 데이터 양 간의 균형을 고려한 방법론 선택이 필수적임을 정량적으로 입증한다. 특히 RF 모델은 EPV가 200을 초과해도 optimism이 높게 유지되어 과적합 위험이 큰 것으로 나타났다.

방법

연구 설계는 세 가지 실제 임상 코호트(HNSCC, TBI, CHIP)의 데이터를 기반으로 한 시뮬레이션 연구이다. HNSCC cohort는 1282명의 head and neck cancer 환자(5 year survival event rate 46.9%, 7개 predictor variables), TBI cohort는 1731명의 traumatic brain injury 환자(6 month mortality event rate 22.3%, 10개 predictor variables), CHIP cohort는 3181명의 minor head injury 환자(CT scan abnormalities event rate 7.6%, 12개 predictor variables)로 구성되었다. 각 코호트를 각각 20배, 10배, 6배 복제하여 대규모 인공 코호트(HNSCC: 25,640명, TBI: 17,310명, CHIP: 19,086명)를 생성하였다.

비교 대상 기법으로 logistic regression (LR), classification and regression trees (CART), support vector machines (SVM), neural nets (NN), random forests (RF)를 선정하였으며, 가능한 한 default settings를 사용하였다. 먼저 전체 인공 코호트에 각 기법을 적용하여 reference model을 생성하고, 이를 바탕으로 synthetic dichotomous outcome을 만들어 예측 성능을 평가하였다. 개발 집단(development set)과 검증 집단(validation set)을 50:50으로 나누어, 개발 집단의 표본 크기를 200명부터 시작하여 1000명씩 증가시키며 100회 반복 분석(simulation repetitions) 수행하였다. Primary endpoint는 판별력(discriminatory ability)을 나타내는 AUC(area under the ROC-curve)이며, secondary endpoint로 optimism(mean apparent AUC - mean validated AUC)을 사용하였다. Data hungriness는 AUC가 안정화되고 optimism이 <0.01인 최소 EPV로 정의되었다. 또한 CHIP cohort의 event rate 영향을 확인하기 위해 event rate를 50%로 높인 "CHIP5050 cohort"에 대한 sensitivity analysis도 수행하였다.

주요 결과

HNSCC cohort에서 RF reference model을 사용할 때 가장 높은 AUCmax (0.929)를 보였으며, LR은 모든 reference model에서 가장 빠르게 안정적인 mean validated AUC에 도달했다. Optimism 측면에서 LR은 55~127 EPV에서 optimism <0.01을 달성한 반면, RF는 RF reference model일 경우에만 850 EPV에서 해당 기준을 충족했고, 다른 reference model에서는 optimism이 ≥0.01로 유지되었다. SVM과 NN도 RF와 유사하게 높은 EPV 요구치를 보였다. TBI cohort에서는 CART 모델이 모든 reference model에서 낮은 성능(AUCmax 0.652~0.748)을 보였으며, LR은 18~23 EPV에서 optimism <0.01을 달성했다. RF는 RF reference model일 경우 163 EPV에서 optimism <0.01이 되었으나, 다른 경우에는 높은 optimism을 유지했다.

CHIP cohort (event rate 7.6%)에서도 CART와 SVM은 전반적으로 낮은 성능을 보였으며, LR은 14~28 EPV에서 optimism <0.01을 달성했다. 그러나 SVM, NN, RF는 모든 reference model에서 optimism >0.01로 유지되어 안정성을 확보하지 못했다. Sensitivity analysis인 CHIP5050 cohort (event rate 50%)에서는 학습 곡선의 형태가 HNSCC cohort와 유사해졌으나, 여전히 현대 기법들은 LR에 비해 더 많은 EPV를 필요로 했다. 전반적으로 RF 모델은 apparent performance는 높을 수 있으나 validated performance에서 높은 optimism을 보여 과적합 위험이 크다는 점이 확인되었다.

통계 분석

분석 설계 — 이 연구는 SVM, NN, RF와 같은 현대적 모델링 기법이 LR, CART와 같은 전통적 기법에 비해 예측 성능을 달성하기 위해 얼마나 더 많은 데이터(표본 수)를 필요로 하는지, 즉 'data hungriness'를 규명하기 위해 수행되었다. 연구 설계는 3개의 실제 임상 코호트(HNSCC, TBI, CHIP)의 데이터를 기반으로 하되, 각 코호트를 각각 20배, 10배, 6배 복제하여 인공 코호트(Artificial cohort)를 생성한 시뮬레이션 연구이다. primary endpoint는 모델의 판별력(discriminatory ability)을 나타내는 AUC(area under the ROC-curve)와 과적합 정도를 나타내는 optimism(mean apparent AUC - mean validated AUC)이었다. 개발 세트(development set)와 검증 세트(validation set)를 50:50으로 나누어, 개발 세트의 표본 크기를 점진적으로 증가시키며(200명부터 시작하여 1000명씩 증감) 각 모델링 기법의 성능 변화를 관찰했다.

무엇을 위해 어떤 분석을 썼는가 — 다양한 모델링 기법(LR, CART, SVM, NN, RF)의 예측 성능을 비교하기 위해, 먼저 전체 인공 코호트를 사용하여 각 기법에 따른 reference model을 생성하고, 이를 바탕으로 새로운 0/1 outcome 데이터를 생성했다. 이는 특정 기법이 생성한 데이터 구조에서 다른 기법들이 얼마나 잘 작동하는지를 공정하게 평가하기 위함이다. 모델의 판별력을 정량화하기 위해 AUC를 사용했으며, 개발 세트에서의 성능(apparent AUC)과 독립적인 검증 세트에서의 성능(validated AUC)을 비교하여 optimism을 계산했다. 이는 모델이 학습 데이터에 과적합(overfitting)되었는지 평가하기 위한 핵심 지표였다. 또한, 표본 크기 증가에 따른 성능 변화를 시각화하고 안정화 지점을 찾기 위해 learning curves를 생성했다. 분석에는 R software (version 2.14)가 사용되었으며, 각 표본 크기별로 100회 반복(simulation repetitions)하여 결과의 안정성을 확보했다.

방법론 평가 — 잘 된 점은 실제 임상 데이터의 분포를 반영한 코호트를 기반으로 시뮬레이션을 설계하여 현실 적용 가능성을 높였다는 점이다. 또한, 단순히 성능(AUC)뿐만 아니라 optimism을 함께 보고함으로써 과적합 문제를 명확히 드러냈고, 100회의 반복 시뮬레이션을 통해 추정치의 변동성을 줄여 신뢰도를 높였다. 그러나 의심스러운 점은 modern modelling techniques(SVM, NN, RF)의 하이퍼파라미터 최적화 과정이 'default settings'로만 수행되었다는 점이다. 이는 이러한 복잡한 모델들이 적절한 튜닝 없이 평가되었을 경우 성능이 저하될 수 있음을 의미하며, 실제 연구에서 최적화된 파라미터를 사용할 경우 결과가 달라질 수 있다. 또한, RF 모델의 optimism이 표본 크기가 매우 커져도 0.01 미만으로 수렴하지 않았다는 결과는 모델의 불안정성을 시사하지만, 이것이 알고리즘의 한계인지 아니면 시뮬레이션 설정(예: outcome 생성 방식)의 문제인지는 명확히 구분하기 어렵다. 결측치 처리나 model assumption 검증에 대한 명시적 언급은 원문에 없으며, multiple testing 보정에 대한 논의도 부족하다.

설계에 참고할 점 — 유사한 연구를 설계할 경우, 현대적 머신러닝 기법(SVM, NN, RF)을 적용하려면 LR보다 훨씬 더 큰 표본 수(특히 events per variable이 100 이상일 수 있음)가 필요하다는 점을 고려하여 power calculation을 수행해야 한다. 또한, default settings에 의존하기보다는 교차 검증(cross-validation)이나 그리드 서치(grid search)를 통해 하이퍼파라미터를 최적화하는 과정을 포함시켜야 하며, optimism을 줄이기 위한 내부 검증(internal validation) 전략(예: bootstrap)을 명시적으로 설계해야 한다.

강점

본 연구의 주요 강점은 실제 임상 데이터의 분포를 반영한 세 가지 서로 다른 event rate와 predictor 구조를 가진 코호트를 기반으로 시뮬레이션을 설계하여 현실 적용 가능성을 높였다는 점이다. 단순히 AUC 성능 비교에 그치지 않고 optimism을 함께 보고함으로써 모델의 과적합(overfitting) 문제를 명확히 정량화했다. 또한 100회의 반복 시뮬레이션을 통해 추정치의 안정성을 확보하였으며, reference model을 각 기법별로 교차 적용하여 "home advantage" 효과를 통제하고 공정한 비교를 수행했다는 점이 방법론적으로 엄밀하다.

한계

저자들은 본 연구에서 사용한 세 코호트에서 non-linearity가 주요 이슈가 아니었기 때문에, 현대 기법이 고전적 LR을 압도할 수 있는 잠재력이 제한적으로 평가되었을 수 있음을 인정했다. 또한 모든 모델링 기법에 default settings를 사용했으므로, 하이퍼파라미터 최적화나 LASSO 등 다른 규제화(regularization) 기법을 적용하지 않았다는 점이 방법론적 제약으로 지적된다. 시뮬레이션이 특정 세 코호트에 기반하므로, 더 다양한 임상 영역이나 데이터 구조로의 일반화 가능성에 한계가 있을 수 있다.

해석

이 연구는 medical prediction model 개발 시 표본 크기가 충분하지 않다면 복잡한 머신러닝 기법(SVM, NN, RF)보다 LR과 같은 고전적 기법이 더 안정적이고 신뢰할 수 있음을 시사한다. 특히 RF 모델은 높은 apparent AUC를 보일 수 있으나 validated AUC에서 큰 optimism을 나타내므로, 충분한 EPV (>200)가 확보되지 않은 경우 사용 시 주의가 필요하다. 이는 LLM Wiki의 oncology/imaging/pulmonology 문헌에서 예측 모델 개발 시 표본 크기 계산과 방법론 선택에 중요한 근거를 제공한다. 향후 연구에서는 non-linearity가 중요한 데이터셋이나 규제화 기법을 적용한 확장된 분석이 필요할 수 있다.