Radiomics Quality Score 2.0: towards radiomics readiness levels and clinical translation for personalized medicine

article title

Radiomics Quality Score 2.0: towards radiomics readiness levels and clinical translation for personalized medicine

authors

Lambin et al.

journal

Nature Reviews Clinical Oncology

year

2025

doi

10.1038/s41571-025-01067-1

category

biomedical-imaging

pdf

PDF

source

Source

업데이트

2026-07-30

요약

이 논문은 정밀 종양학(Precision oncology)에서 Radiomics의 임상 번역(Clinical translation)을 가속화하기 위해 기존 Radiomics Quality Score 1.0(RQS 1.0)의 한계를 보완한 RQS 2.0과 Radiomics Readiness Levels(RRLs)를 제안한다. RQS 2.0은 Handcrafted radiomics와 Deep learning-based radiomics의 고유한 워크플로우를 구분하여 평가 기준을 세분화하고, Fairness, Explainability, Harmonization, Rigorous quality control 등 최신 요구사항을 포함한다. 또한 NASA의 Technology Readiness Levels(TRLs)에서 영감을 받은 9단계 RRLs를 도입하여 연구의 성숙도를 단계적으로 추적할 수 있는 체계적 프레임워크를 제공한다. 130개 Systematic review에 포함된 3,258건의 RQS 평가 데이터를 분석한 결과, 출판 연도와 RQS 점수 간 유의한 양의 상관관계(Pearson r = 0.3; P < 0.01)가 확인되었으며, 2018년 이후 연구의 평균 점수가 약 두 배 증가(~5.6/36점에서 ~10.1/36점)하는 등 방법론적 개선 추세가 관찰되었다. 그러나 Phantom studies, Test–retest analysis, External validation, Prospective design, Cost-effectiveness evaluation, Open science 관련 기준은 여전히 미흡하게 적용되고 있다. RQS 2.0과 RRLs의 통합은 Radiomics 연구의 과학적 엄격성과 임상 적용 가능성을 동시에 평가하는 표준화된 도구를 제공하며, 규제 승인(Regulatory approval)을 위한 필수 요소를 포함하여 임상 구현을 체계적으로 지원한다.

방법

이 연구는 기존 문헌 분석과 전문가 컨센서스를 바탕으로 RQS 2.0의 평가 기준을 재설계하고, 연구 단계별 성숙도를 측정하기 위한 RRLs 체계를 도입한 개념적 리뷰 및 가이드라인 개발 연구이다. RQS 2.0은 Handcrafted radiomics(HCR)와 Deep learning-based radiomics(DLR)를 구분하여 각 접근법에 맞는 가중치(Weighted criteria)를 Expert opinion을 통해 부여한다. HCR과 DLR의 워크플로우 차이를 반영하여, HCR에는 Feature robustness, Feature reduction, Feature selection 등 고유한 평가 항목이 포함되고, DLR에는 Automatic segmentation, Foundation model 활용 등 특화된 기준이 적용된다. RRLs는 Foundational exploration(RRL1)부터 Clinical deployment(RRL9)까지 9단계로 구성되며, 각 단계별로 필요한 평가 기준과 점수 체계가 정의되어 있다. 예를 들어, RRL1에서는 Unmet clinical need의 정의, Hardware description, Image protocol quality(5단계: Level 0~4), Inclusion/exclusion criteria, Diversity and distribution을 평가하며, RRL9에서는 Regulatory requirements, Product on the market 등 최종 임상 구현 단계의 요건을 포함한다.

RQS 2.0의 점수 계산은 각 기준 항목에 할당된 가중치를 합산하여 수행되며, HCR과 DLR별로 최대 점수가 다르다(HCR: 56점, DLR: 52점). Image protocol quality는 Level 1~2(+1점), Level 3~4(+2점)로 구분되어 평가된다. 또한, RRLs는 연구의 진행 단계를 체계적으로 추적하기 위해 설계되었으며, 각 단계별로 필요한 검증 과정(예: Single-centre validation, Multicentre validation, Prospective validation)과 임상 관련성 평가(Comparison with current clinical standard, Potential clinical utility)가 포함된다. 통계적 검증이나 특정 환자 코호트 분석은 수행되지 않았으며, 기존 문헌의 메타분석 데이터(Pearson r = 0.3; P < 0.01)를 통해 RQS 1.0의 역사적 개선 추이를 참고 자료로 제시한다. 전문가 패널의 합의를 통해 RQS 2.0의 기준 항목과 가중치를 정의하고, 이를 RRLs라는 단계적 프레임워크에 매핑하는 것이 핵심 설계이다.

주요 결과

RQS 1.0 적용 사례 분석(130개 Systematic review, 총 3,258회 평가)에 따르면 출판 연도와 RQS 점수 간 유의한 양의 상관관계(Pearson r = 0.3; P < 0.01)가 확인되었다. 2017년 도입 이후 연구 품질이 점진적으로 향상되었으며, 2018년 이전 논문은 평균 ~5.6/36점을 기록한 반면, 2018년 이후 논문은 ~10.1/36점으로 평균 점수가 거의 두 배 증가했다. 그러나 Phantom studies, Test–retest analysis, External validation, Prospective design, Cost-effectiveness evaluation, Open science 관련 기준은 여전히 미흡하게 적용되고 있다. RQS 2.0은 이러한 격차를 해소하기 위해 Deep learning 특이적 요구사항과 Model robustness, Explainability를 평가 항목에 명시적으로 반영하였다.

RQS 2.0의 점수 체계는 HCR과 DLR별로 구분되어 있으며, 각 RRL 단계별로 누적 최대 점수가 정의된다. 예를 들어, RRL1~RRL4까지의 누적 최대 점수는 HCR이 26점, DLR이 22점이며, RRL9까지 완료 시 HCR은 56점, DLR은 52점을 달성할 수 있다. Image protocol quality는 Level 3(국제적으로 확립된 프로토콜)과 Level 4(Future-proof: FAIR 원칙 준수 및 Raw data 보존)가 높은 가중치를 받는다. 또한, RRL5에서는 Multicentre validation(External institution ≥2개 또는 Third-party platform 사용 시 +3점)과 Comparison with current clinical standard(+2점)이 강조된다. RRL6에서는 Explainability(SHAP analysis, Heat maps 등)와 Evaluation of fairness and plan for mitigation of bias가 평가되며, RRL7에서는 Prospective validation(+3점)과 Clinical trial preregistration이 필수 요건으로 포함된다. RRL8과 RRL9에서는 Software traceability, Cost-effectiveness analysis, Performance drift, Continual learning, Regulatory requirements 등 임상 구현과 규제 승인을 위한 최종 단계의 기준이 적용된다.

통계 분석

분석 설계 — 이 연구는 radiomics 연구의 방법론적 엄격성과 보고 품질을 평가하기 위한 도구인 Radiomics Quality Score (RQS)를 기존 버전 1.0에서 2.0으로 업데이트하는 것을 목적으로 한다. 이는 단일 환자 코호트나 임상 시험 데이터에 대한 통계적 분석이 아니라, 문헌 전반의 연구 품질을 메타-평가(meta-evaluation)하는 방법론적 가이드라인 개발 연구이다. 따라서 전통적인 의미에서의 표본 수(sample size), 추적 기간(follow-up period), primary endpoint 등의 임상 연구 설계 요소는 적용되지 않으며, 대신 전문가 패널의 합의를 통해 RQS 2.0의 기준 항목과 가중치를 정의하고, 이를 Radiomics Readiness Levels (RRLs)라는 단계적 프레임워크에 매핑하는 것이 핵심 설계이다.

무엇을 위해 어떤 분석을 썼는가 — 연구자들은 RQS 1.0 도입 이후 radiomics 연구의 질이 개선되었는지 확인하기 위해, 130개의 systematic review에 포함된 총 3,258건의 RQS 평가 데이터를 수집하여 meta-analysis를 수행했다. 이 데이터셋에서 publication year와 RQS 점수 간의 상관관계를 분석하기 위해 Pearson correlation coefficient (r)를 계산했으며, 그 결과 r=0.3, P<0.01로 유의한 양의 상관관계가 있음을 확인했다. 또한, 2018년 이전과 이후 연구의 평균 RQS 점수를 비교(Pre-2018: ~5.6/36 vs Post-2018: ~10.1/36)하여 시간 경과에 따른 방법론적 개선 추세를 정량화했다. RQS 2.0의 각 기준 항목에 부여할 가중치는 여러 라운드의 전문가 토론을 통해 결정되었으며, 통계 소프트웨어나 구체적인 버전은 원문에 명시되지 않음.

방법론 평가 — 이 연구의 가장 큰 강점은 radiomics 연구의 임상 번역(clinical translation) 장벽을 체계적으로 해결하기 위해 handcrafted radiomics와 deep learning-based radiomics를 구분하여 평가 기준을 세분화했다는 점이다. 또한, 단순한 체크리스트를 넘어 Technology Readiness Levels (TRLs) 개념을 차용한 Radiomics Readiness Levels (RRLs)를 도입함으로써 연구의 성숙도를 단계적으로 평가할 수 있는 프레임워크를 제공했다. 그러나 통계적 엄격성 측면에서 몇 가지 한계가 있다. 첫째, RQS 점수와 publication year 간의 상관관계 분석(Pearson r=0.3)은 중등도의 연관성을 보여줄 뿐, 인과관계를 입증하지는 못하며, 이 분석이 수행된 3,258건의 평가가 어떻게 선택되었는지(예: 중복 제거 기준, 포함/배제 기준)에 대한 상세한 방법론적 설명이 원문에 부족하다. 둘째, RQS 2.0의 가중치 할당은 전문가 의견(expert opinion)과 Delphi method와 같은 합의 과정에 기반하고 있으나, 이러한 가중치의 통계적 타당성이나 민감도 분석(sensitivity analysis) 결과는 제시되지 않았다. 셋째, 결측치 처리나 multiple testing 보정 등 전통적인 통계적 검증 절차는 본 연구의 성격(가이드라인 개발)상 직접적으로 적용되지 않지만, RQS 점수 계산 과정에서의 객관성과 재현성을 보장하기 위한 구체적인 알고리즘적 검증(예: inter-rater reliability of RQS scoring)에 대한 보고가 원문에 명시되지 않음.

설계에 참고할 점 — 유사한 방법론적 가이드라인이나 품질 평가 도구를 개발할 때는, 본 연구처럼 단순한 체크리스트를 넘어 기술의 성숙도(readiness level)를 단계적으로 정의하는 프레임워크를 도입하면 임상 적용 가능성을 더 잘 반영할 수 있다. 또한, handcrafted와 deep learning 접근법의 차이를 명확히 구분하여 평가 기준을 세분화함으로써 도구의 실용성을 높이는 전략이 효과적이다. 다만, 전문가 합의에 기반한 가중치 할당 시, 그 과정의 투명성과 재현성을 확보하기 위해 Delphi method 등의 구조화된 합의 과정을 상세히 문서화하고, 가능하면 pilot study를 통해 평가자 간 신뢰도(inter-rater reliability)를 검증하는 단계를 추가해야 한다.

강점

이 논문의 가장 큰 강점은 Radiomics 연구의 임상 번역 장벽을 체계적으로 해결하기 위해 Handcrafted radiomics와 Deep learning-based radiomics를 구분하여 평가 기준을 세분화했다는 점이다. 기존 RQS 1.0이 모든 Radiomics 연구에 동일한 기준을 적용한 것과 달리, RQS 2.0은 각 접근법의 고유한 워크플로우와 요구사항을 반영하여 더 정확한 방법론적 평가를 가능하게 한다. 또한, 단순한 체크리스트를 넘어 Technology Readiness Levels(TRLs) 개념을 차용한 Radiomics Readiness Levels(RRLs)를 도입함으로써 연구의 성숙도를 단계적으로 평가할 수 있는 프레임워크를 제공했다. 이는 연구자가 자신의 연구가 어느 단계에 위치하는지 명확히 파악하고, 다음 단계로 나아가기 위해 필요한 요건을 체계적으로 충족할 수 있도록 지원한다.

또한, RQS 2.0은 Fairness, Explainability, Harmonization, Rigorous quality control 등 최신 AI 윤리 및 방법론적 요구사항을 포함하여 Radiomics 연구의 신뢰성과 투명성을 높이는 데 기여한다. 특히, Image protocol quality의 5단계 분류(Level 0~4)는 의료 영상 획득 프로토콜의 표준화와 재현성을 강조하며, Future-proof radiomics를 위한 FAIR 원칙 준수를 장려한다. 이러한 체계적인 접근은 Radiomics 연구의 방법론적 엄격성과 임상 적용 가능성을 동시에 평가하는 표준화된 도구를 제공하며, 규제 승인(Regulatory approval)을 위한 필수 요소를 포함하여 임상 구현을 체계적으로 지원한다.

한계

이 연구의 주요 한계는 RQS 점수와 Publication year 간의 상관관계 분석(Pearson r=0.3)이 중등도의 연관성을 보여줄 뿐, 인과관계를 입증하지는 못한다는 점이다. 또한, 이 분석이 수행된 3,258건의 평가가 어떻게 선택되었는지(예: 중복 제거 기준, 포함/배제 기준)에 대한 상세한 방법론적 설명이 원문에 부족하다. RQS 2.0의 가중치 할당은 전문가 의견(Expert opinion)과 Delphi method와 같은 합의 과정에 기반하고 있어, 객관적인 통계적 검증이 부재하다.

또한, RRLs 프레임워크는 이론적으로 체계적이지만, 실제 임상 환경에서의 적용 가능성과 실행 난이도에 대한 구체적인 데이터가 부족하다. 특히, Prospective validation, Cost-effectiveness analysis, Regulatory requirements 등 고단계 RRL(RRL7~9)의 요건은 많은 연구팀에게 실질적인 장벽이 될 수 있으며, 이러한 단계로의 이행을 촉진하기 위한 구체적인 지원 방안이나 인센티브 체계에 대한 논의가 미흡하다. 마지막으로, RQS 2.0이 Handcrafted radiomics와 Deep learning-based radiomics를 구분하지만, 두 접근법을 결합한 Hybrid models에 대한 평가 기준은 명확히 정의되지 않아, 향후 이러한 복합적 모델의 증가에 대응하기 위한 추가적인 업데이트가 필요할 수 있다.

해석

RQS 2.0과 RRLs의 도입은 Radiomics 연구의 방법론적 엄격성과 임상 번역 가능성을 체계적으로 평가하는 중요한 진전이다. 이 프레임워크는 연구자가 자신의 연구가 어느 단계에 위치하는지 명확히 파악하고, 다음 단계로 나아가기 위해 필요한 요건을 체계적으로 충족할 수 있도록 지원한다. 특히, Fairness, Explainability, Harmonization 등 최신 AI 윤리 및 방법론적 요구사항의 포함은 Radiomics 모델의 신뢰성과 투명성을 높이는 데 기여하며, 규제 승인(Regulatory approval)을 위한 필수 요소를 포함하여 임상 구현을 체계적으로 지원한다.

이 결과는 LLM Wiki의 Oncology, Imaging, AI 문헌들과 긴밀하게 연결된다. Precision oncology에서 Radiomics의 역할은 진단, 종양 특성화, 치료 반응 예측 등 다양한 영역에서 확장되고 있으며, RQS 2.0과 RRLs는 이러한 연구의 질을 보장하고 임상 적용을 가속화하는 핵심 도구로 작용할 것이다. 특히, Multiomics data 통합, Foundation model 채택, Federated learning 및 Synthetic data 활용 등 미래 Radiomics의 방향성과도 부합하며, 데이터 표준화와 모델 일반화 능력을 향상시키는 데 기여할 것으로 기대된다. 따라서, 이 프레임워크는 Radiomics 연구의 방법론적 개선과 임상 번역을 위한 중요한 기준이 될 것이며, 향후 관련 연구와 정책 수립에 광범위하게 활용될 것이다.