The effect of feature normalization methods in radiomics
한 줄 요약
본 연구는 radiomics 파이프라인에서 적용되는 7가지 feature normalization 방법이 predictive performance와 feature selection에 미치는 영향을 체계적으로 평가하였다. 15개의 공개된 고차원 radiomics dataset을 활용하여 z-Score, Min-Max, quantile transformation 등 다양한 normalization 전략의 효과를 비교 분석하였다. 연구 결과, normalization 방법은 평균적으로 예측 성능(AUC)에 미미한 영향을 미쳤으나, 특정 dataset에서는 최대 +0.051의 성능 차이가 발생하며 dataset 의존성이 강하게 나타났다. 또한 서로 다른 normalization 방법이 선택된 feature set 간 agreement가 최대 62%로 낮아, preprocessing 단계가 feature 해석과 model stability에 상당한 변동을 초래함을 확인하였다.
방법
본 연구는 retrospective design으로 15개의 publicly available radiomics dataset을 사용하였으며, MRI, FDG-PET, CT, DCE-MRI, US 등 다양한 imaging modality와 Brain tumor, NSCLC, Breast cancer, Ovarian cancer, Prostate cancer, HNSCC, Glioma, Thyroid cancer 등을 포함한다. 7가지 feature normalization 방법(z-Score, robust z-Score variants based on interquartile ranges of (5,95) and (25,75), Min-Max, power transformation, quantile transformation, tanh transformation, no normalization)을 baseline으로 설정하였다. feature selection에는 LASSO, extra trees (ET), ANOVA, Bhattacharyya를 적용했고, classifier로는 Naive Bayes, logistic regression (LR), kernelized SVM (RBF-SVM), random forest (RF)를 사용하였다. 모델 평가는 5-fold stratified cross-validation을 100회 반복하여 수행하였으며, normalization은 training fold에만 적용하여 data leakage를 방지하였다. 주요 endpoint는 mean AUC였으며, feature agreement와 model calibration도 함께 분석하였다.
주요 결과
평균적으로 normalization 방법 간 예측 성능 차이는 작았으나(z-Score mean AUC: 0.707 ± 0.102 vs no normalization mean AUC: 0.719 ± 0.107, 최대 차이 +0.012), 일부 dataset에서는 성능 차이가 +0.051까지 발생하였다. z-Score가 전반적으로 가장 우수한 성능을 보였으며, tanh transformation은 예측 성능을 오히려 저하시키는 worst performance를 보였다. quantile transformation은 평균적으로 z-Score보다 약간 낮았으나, 3개 dataset 중 1개에서 다른 모든 방법보다 우수했다. 서로 다른 normalization 방법으로 선택된 feature 간 agreement는 최대 62%로 mild 수준이었으며, 이는 preprocessing이 feature selection 결과에 강한 영향을 미침을 시사한다. cross-validation 전 normalization 적용은 유의한 bias를 유발하지 않았으며, model calibration도 크게 영향받지 않았다.
통계 분석
분석 설계 — 이 연구는 radiomics 파이프라인에서 다양한 feature normalization methods가 모델의 predictive performance와 feature selection 결과에 미치는 영향을 규명하기 위해 수행되었다. 연구자는 15개의 publicly available radiomics datasets을 활용하여, 각 데이터셋별로 7가지 normalization methods(z-Score, robust z-Score variants, Min–Max, power transformation, quantile transformation, tanh transformation, 그리고 no normalization)를 적용했다. 표본 수는 데이터셋마다 상이하며(N=51~922), 대부분 high-dimensional data(특성 수 > 표본 수)였다. 주요 평가 지표(primary endpoint)는 fivefold stratified cross-validation with 100 repeats을 통해 계산된 area under the curve (AUC)였으며, secondary endpoints로는 sensitivity, specificity, model calibration(Brier score, expected calibration error), 그리고 selected features 간의 agreement(Jaccard index)가 포함되었다.
무엇을 위해 어떤 분석을 썼는가 — 연구자는 normalization methods 간 성능 차이를 확인하기 위해 Friedman test와 post hoc Nemenyi test를 사용했으며, 이는 비모수적 순위 기반 검정으로 여러 방법론의 평균 순위를 비교하는 데 적합하다. 모델의 예측 정확도를 평가하기 위해 AUC를 산출했고, 최적 임계값에서의 민감도와 특이도는 Youden’s method로 결정했다. Model calibration을 정량화하기 위해 Brier score와 expected calibration error (ECE)를 계산했다. Feature selection의 안정성을 평가하기 위해 Intersection-over-Union (Jaccard index)를 사용하여 서로 다른 normalization methods 간 선택된 feature들의 중첩 정도를 측정했다. 또한, data leakage로 인한 bias를 검증하기 위해 cross-validation 전 전체 데이터에 normalization을 적용한 경우와 training fold만 적용한 경우의 AUC 차이를 비교했다. 모든 통계 분석은 Python 3.10과 scipy module을 통해 수행되었다.
방법론 평가 — 잘 된 점은 high-dimensional radiomics data의 특성을 고려하여 multiple datasets(15개)과 multiple normalization methods(7가지)를 체계적으로 비교했다는 것이다. 특히, cross-validation 내에서만 normalization을 적용하는 올바른 절차와, 이를 위반했을 때 발생하는 bias를 명시적으로 검증한 것은 방법론적 엄격성을 높였다. 또한, 단순 성능(AUC)뿐만 아니라 feature selection의 안정성(agreement)과 model calibration까지 포괄적으로 평가하여 결과의 해석력을 강화했다. 그러나 의심스러운 점은 multiple testing correction이 명시적으로 언급되지 않았다는 것이다. 15개 데이터셋 × 7가지 방법 × 여러 지표에 대한 반복 검정에서 type I error가 증가할 수 있음에도, p < 0.05를 significance threshold로만 제시하고 Bonferroni나 FDR 보정 등을 적용했는지 원문에 명시되지 않음. 또한, 결측치 처리(imputation by feature mean)가 일부 데이터셋(Hosny series 등)에서 이루어졌으나, 이 imputation이 normalization 결과에 미치는 영향이나 sensitivity analysis는 수행되지 않은 것으로 보인다. 마지막으로, model assumption 검증(예: parametric methods 사용 시의 가정 충족 여부)에 대한 논의가 부족하며, 특히 LASSO나 SVM과 같은 알고리즘의 hyperparameter tuning 과정에서의 과적합 방지 전략(grid search 범위 등)이 최적화되었는지의 근거가 제한적이다.
설계에 참고할 점 — 유사한 연구를 설계할 때는 이 논문처럼 cross-validation loop 내부에서만 preprocessing(normalization)을 적용하여 data leakage를 방지하는 절차를 반드시 준수해야 한다. 또한, 단일 성능 지표(AUC)에만 의존하지 않고 feature selection stability와 model calibration도 함께 평가함으로써 결과의 robustness를 입증하는 접근법을 채택할 것을 권장한다. 반면, multiple comparisons에 대한 통계적 보정(multiple testing correction)을 명시적으로 수행하고 보고하며, 결측치 imputation 방법이 최종 결과에 미치는 영향을 sensitivity analysis로 검증하는 보완이 필요하다.
강점
본 연구는 단일 dataset이나 modality에 국한되지 않고 15개의 다양한 publicly available datasets을 활용하여 결과를 일반화할 수 있는 기반을 마련하였다. Friedman test와 post hoc Nemenyi test를 통해 normalization 방법 간 통계적 유의성을 엄격하게 검증하였으며, data leakage 방지를 위해 cross-validation fold 내에서만 normalization을 적용하는 올바른 methodological rigor를 유지하였다. 또한 predictive performance뿐만 아니라 feature selection의 stability(Jaccard index)와 model calibration(Brier score, ECE)까지 포괄적으로 평가하여 radiomics 파이프라인의 전 과정을 고려한 종합적인 분석을 제공하였다.
한계
본 연구는 external validation dataset을 사용하지 않았으므로, 보고된 model calibration 결과가 새로운 cohort에서도 동일하게 적용될지는 불확실하다. 또한 모든 dataset이 high-dimensional data였으며, 일부 dataset은 sample size가 작아(N=51~922) 결과의 robustness에 제한이 있을 수 있다. normalization 방법의 영향이 dataset 특성에 강하게 의존한다는 점은 특정 임상 setting에서의 최적화 전략 수립을 어렵게 만들며, 이 연구에서 평가되지 않은 다른 normalization 기법이나 feature engineering 방법이 존재할 수 있다.
해석
본 연구 결과는 radiomics 모델 개발 시 feature normalization 방법을 선택하는 것이 단순한 preprocessing 단계가 아니라, 최종 predictive performance와 해석 가능한 feature set에 직접적인 영향을 미친다는 점을 강조한다. z-Score가 평균적으로 우수하지만 dataset에 따라 quantile transformation이나 Min-Max가 더 나을 수 있으므로, 단일 방법의 우월성을 가정하기보다는 여러 방법을 비교 평가하는 것이 필요하다. 또한 normalization 방법이 feature selection 결과에 큰 변동을 일으킨다는 점은 radiomics biomarker의 biological interpretation과 reproducibility에 중요한 함의를 가지며, 향후 연구에서는 normalization 전략의 표준화 또는 dataset-specific 최적화가 필요함을 시사한다.