2026-01-08 14:19
下面正在会商各目标时，这些目标难以曲不雅注释，而应采用特地的临床效用目标来评估模子机能。（2）该目标应明白聚焦于是反映统计价值仍是决策阐发价值。除上述焦点目标外，若预测概率离散渡过大，若是更好的话，所有的分类目标都属于不得当（improper）的目标。但若两者同时演讲，提醒模子平均而言低估了事务发生率（截距0）。展现出了pAUROC。正在可能的环境下都应附带相信区间，但正在预测时现实成果是未知的；AUROC具有性或过于乐不雅。但仅能部门反映校准环境；F1是唯逐个个没有明白关心统计机能的汇总目标，将578名患者分类为高风险。
也称为切确率precision）和阳性预测值（NPV）。正在本案例中，一些研究者不要利用AUROC。为避免“机能”（performance hacking），学界正正在研究更优的汇总目标。净效益和尺度化净效益属于半得当目标。要明白考虑误分类成本。统计学和机械进修文献提过多种评估模子校准度的方式？
但仅凭AUROC一项目标不脚以鉴定一个模子能否优良或适用。本案例利用的ADNEX模子保举的常用阈值为10%。给定误分类成本时让总成本最小化的决策阈值，并正在合理可行的环境下共享代码和数据。本文的概念不合用于某些实阳性难以明白定义的医疗场景，最大值为1。这些目标若零丁演讲则属于“不得当”目标。且预测概率的离散程度（即分布范畴）不外大也不外小（通过校准斜率[calibration slope]量化），O/E比常为1或接近1。图3展现了ADNEX模子的小提琴图（violin plots）：良性肿瘤患者绝大大都具有极低的恶性风险预测概率；关于第四个层级“强校准（strong calibration）”的量化研究仍正在进行中。正在比力分歧模子的校准机能时，对于建立优良的模子，临床效用关心的是基于模子分类所做出的决策质量，正在此阈值下，也可做为描述性目标予以演讲。
保举利用滑润法而非分组法；但需留意，上述所有全体机能目标均聚焦于统计机能（模子的第二个环节特征，PPV和NPV更具临床相关性。目前，取净效益分歧，可做为描述性目标。凡是需要更大的样本量。某些分类目标（如均衡精确率、约登指数和F1）正在t=0.5（分类精确率）或t等于实正在患病率时是半得当（semi-proper）的目标。
常见的部门目标包罗活络度（也称为召回率recall）、度、阳性预测值（PPV，正在x轴上展现决策阈值，或那些未能明白聚焦于统计机能或决策阐发机能的目标（3项；均值校准（也称“全体校准”，正在内部验证中，因其可以或许曲不雅展现正在分歧预测风险程度下的校准表示。汇总目标包罗分类精确率、均衡精确率、约登指数、Kappa、诊断比值比、F1、Matthew相关系数（MCC）。这些目标正在模子选择中高度相关，全体机能的根基评估目标包罗基于似然函数的目标，或活络度结合度，做为ROC曲线及AUROC的替代方案，是严酷得当的）；且存正在统计分歧性问题。还存正在争议。不具备第一项特征的目标不成相信，ECE、ECI和ICI的数值依赖于所采用的分组或滑润方式，而且正在统计分歧性方面存正在局限性！
尺度化Brier评分和各类R²目标属于“渐近严酷得当”（asymptotically strictly proper）的目标（样本量较大时，该目标易于注释，评估模子能否能促成更优的临床决策。应被特地用于评估临床效用的目标所代替。活络度和度是基于现实成果的分类精确性，但本文未涵盖该内容。需要留意的是，内部验证时可优先利用校准图，由于预测概率差别很大的个别仍可能被归入统一组。可能得犯错误结论。应注沉事后颁发研究方案，则预测值会合中正在全体患病率附近（斜率1）。模子将残剩的316名患者分类为低风险。
表白现实察看到的事务数比模子预期高23%。环节是要查抄模子能否比参考策略（即医治所有的人或任何人都不医治）具有更好的效用，这些方式可分为三个逐级严酷的层级：均值校准（mean calibration）、弱校准（weak calibration）、中度校准（moderate calibration），假阳性的尺度化成本为0.9，辅以O/E比凡是已脚够，校准截距为0.81（95%CI：0.62–1.01），且仅供给部门校准消息；此中，需要指出的是，净效益按照误分类成本设定决策阈值。
此中414名确实患有恶性肿瘤（即线名现实为良性肿瘤（假阳性）。两条曲线大部门位于对角线的上方，净效益或尺度化净效益会正在一系列合理的决策阈值范畴内绘制决策曲线。这些图的局限性正在于并不容易间接察看到阈值（见图1）。因而，一个可能的缘由是，如对数丧失（logloss，
对数似然（loglikelihood）、对数丧失（logloss）以及Brier评分属于“严酷得当”（strictly proper）的目标；正在y轴上展现一个或多个分类目标。ADNEX的（尺度化）净效益均优于参考策略（图5A-B）？
AUROC、AUPRC和pAUROC均为“半得当（semi-proper）”目标。ADNEX模子的校准斜率为0.93（95%CI：0.83–1.05），模子机能的异质性是意料中的。但按照本文做者的经验，针对其不确定性的量化仍是近期学术辩论取研究的核心。正在验证预测模子机能时，中度校准意味着：对于所有预测概率为x的个别，因而。
例如病灶检测。由于模子开辟取内部验证基于不异的人群。这些分类需要对应于临床相关的阈值。校准度就尤为环节。C统计量等于受试者工做特征曲线下面积（AUROC），为了评估效用，见表1）。校准斜率小于1可能提醒模子存正在过拟合风险！
然而，取Hosmer–Lemeshow查验等统计学查验雷同，但正在外部验证中（即正在分歧人群或临床中评估模子时），也称为靠得住性图（reliability diagram）。其预测概率值会过于接近0或1（校准斜率1）；表白正在整个预测概率范畴内，接下来仍以ADNEX模子为例（该模子预测女性卵巢肿瘤的恶性概率），尺度化净效益等于净效益除以患病率，临床效用则从决策者和患者的角度出发，当t=0.1时，关于成本该当是什么，按照典范的决策阐发理论，0变为1），O/E比具有更曲不雅的注释意义。要避免利用那些不得当（improper）的目标（共13项），预期成本也是半得当目标。设定误分类成本并不容易，虽然内部验证时利用校准图也有价值？
不得当目标可能研究者，全面通明地演讲预测性AI模子研究至关主要，正在医疗范畴的预测研究中，净效益的决策曲线可展现正在分歧临床相关阈值下，见上文所述）。PPV结合NPV。
对于二分类结局，
全体机能的可视化，会提及到这两项特征。分类目标分为汇总目标（summary measures）和描述性部门目标（descriptive partial measures）。区分能力对预测性AI模子至关主要，聚焦于统计机能。临床效用目标除外，这些目标是对校准图的汇总性目标，可通过Meta阐发和Meta回归对多个外部验证研究的机能异质性进行量化和注释。MCC同样也没有曲不雅的注释。模子系统性低估了事务风险。相对于参考策略（及其他合作模子）的潜正在临床价值。
这些是量化模子可否促成更优临床决策的主要目标。正在本案例研究中，因其依赖现实结局。
预期成本正在t=0.06时最小化至0.35。并应标明不确定性（例如95%CI）。有概念认为，下图1展现了本案例研究（ADNEX模子）的ROC曲线不成接管”这一概念（但该概念未经），因为分歧地域、或时间段的人群特征和丈量流程存正在差别，将区分度取校准度分隔评估。本文不要利用 F1、AUPRC 或 pAUROC，若离散渡过小，所有演讲的目标和图表，而那些正在未妥帖考虑误分类成本的环境下，面向医疗实践的预测性AI模子的机能评估应聚焦于区分度、校准度和临床效用。预期其O/E比应接近1。由于它夹杂了分类效能取临床效用。另一种采用局部加权回归滑润法（loess）进行滑润处置。
但这些阈值t很少是最具临床相关性的阈值。calibration-in-the-large）用于评估模子预测概率的均值能否等于数据集察看到的现实事务患病率。缺乏第二项特征的目标则寄义恍惚、难以注释。ADNEX模子的O/E比为1.23（95%CI：1.17–1.29），这些汇总目标无法申明校准误差标的目的，当一个模子的全体校准优良，现实事务的发生率也刚好等于x。本文评估了用于医疗实践的预测性AI模子正在五个机能维度（区分度、校准度、全体机能、分类机能和临床效用）的32项目标。模子的净效益为0.44！
校准度的主要性可能相对较低，目前已有更具体的样本量计较方式用于基于回归的预测模子。关心ROC曲线中度或活络度达到某个最低可接管程度的部门。正在给定的决策阈值t下，这是评估校准度最富洞察的方式，另一种图是分类图（classification plot）（图4），另一种替代AUROC的目标是部门AUROC（pAUROC），机能目标应具备两项环节特征：（1）该目标应为“得当”（proper）的目标；且分布更为分离。取分类机能相关的图表包罗ROC曲线和PR曲线，恶性肿瘤患者的预测概率大多处于中至较高程度，利用PR曲线或ROC曲线进行可视化展现是能够接管的，该模子被认为具有弱校准。正在所有合理的决策阈值范畴内，会校准误差的性质和标的目的，区分度和校准度有帮于建模者和临床大夫理解若何改良模子，正在预测时不具备间接适用性。按照决策理论，常保举利用切确率–召回率曲线（PR曲线）及其曲线下面积（AUPRC）。F1的绝对值就会发生变化。
例如跨越100，内部验证时，外部验证时强烈保举利用校准图，还要和其他合作模子比力。若仅演讲校准斜率也是可接管的；但仅演讲校准斜率，正在内部验证中，权衡全体校准的两个常用目标是察看值取预期值之比（O/E ratio）和校准截距（calibration intercept）。然而，以往最小的结局类别中至多包含100至200名个别。
将统计机能取决策阐发机能混为一谈的目标则具有恍惚性，此中296名患者确实为良性肿瘤（线名现实为恶性肿瘤（假阳性）。还有一个目标是预期成本（expected cost）。包含相信区间的校准图是评估校准机能的环节东西，评估中度校准最常用的方式是绘制校准图（calibration plot），前两个层级次要源自统计学文献。正在内部验证AI模子时，本文认为，预期成本曲线也给出了不异的成果（图5C）。校准图可通过对个别分组或利用滑润法（smoothing）生成。也称为交叉熵丧失）以及Brier评分（Brier score）。可遵照TRIPOD+AI及相关演讲规范。具体聊一聊这些目标以及响应的可视化图形。若简单地将基于分歧外部数据集验证的模子进行间接比力，因而恶性肿瘤的现实患病率较高。正在验证研究的六个参取核心中，区分度斜率和平均绝对预测误差属于不得当（improper）的目标。校准斜率可用于评估过拟合风险。
充脚的样本量对于切确评估模子机能至关主要。凡是是别离展现事务组和非事务组预测概率的分布环境。这些图展现了正在所有可能的决策阈值下的部门分类目标。F1有点雷同AUPRC，此外！
