项目（成果）名称

ICU老年患者呼吸机相关性肺炎风险预测模型构建与验证

项目编号

Y2020253

负责人

甘文思

验收方式

网络验收

验收结果

通过

主持验收

单位

温州市科学技术局农社处

验收时间

2024-06-06

完成单位

温州市中西医结合医院

项目组成

员

王笑青,陈娜,陶真,朱莲芳,程璐

验

收

意

见

2024年05月31日，温州市科技局对温州市中西医结合医院承担的温州市科技计划项目“ICU老年患者呼吸机相关性肺炎风险预测模型构建与验证”（项目编号：Y2020253）进行验收，验收专家组审阅了相关资料，形成以下意见：
1、该项目提供资料齐全、规范，符合验收要求。
2、列线图模型：本研究有以下几个优点。首先，利用列线图模型建立ICU老年患者VAP发生的预测模型，并采用基于网络的在线评分系统，更加直观、实用、可操作性强，有利于早期干预。其次，对模型进行了全方面的综合评价：除了ROC曲线显示出较强的区分度外，我们还使用校准度和DCA曲线来反映模型的校准度和临床有效性。第三，进行内部验证：采用重复自抽样法(bootstrap 1000次)和使用按时间划分的验证数据进行验证。时间验证是对模型的一种前瞻性评价，独立于建模数据和建模过程，因此有时也可将其视为外部验证。第四，临床医生很容易通过电子病历获得我们模型中五个预测因子的信息，无需增加患者的额外检查项目或医生的其他记录工作；这些特点使我们的列线图成为一个有用的临床工具。然而，本研究仍存在局限性。首先，本研究为单中心回顾性调查，仅进行了时间验证，未进行外部验证。因此，后期应开展多中心前瞻性研究和外部验证。其次，预测因子的数量有限，仅选择了少数容易获得且可操作的预测因子。第三，尽管VAP的诊断是由一名高年资临床医师和感染控制医师做出的，以避免误分类造成的偏倚，但仍可能出现误诊和漏诊。

机器学习模型：本研究有以下几个优点：本研究除了使用Logistic回归，还使用了4种机器学习构建ICU老年患者VAP的预测模型，并选出较优模型，除此之外，本文采用SHAP统一框架方法进行解释；目前医院感染预警系统只能预警疑似或已经确诊的ICU老年患者VAP，只能达到二级预防，本研究可以早期预测，达到一级预防的目的；并采用基于网络的在线评分系统，更加直观、实用、可操作性强；我们还进行训练集五折交叉验证和测试集内部验证；此外临床医生通过电子病历很容易获得我们模型中10个预测因子的信息，无需增加医生的其他记录工作或患者的额外检查项目。然而，本研究仍存在一定局限性：本文为单中心回顾性研究，只进行内部验证，但未进行外部验证，泛化能力有待确定；尽管ICU老年患者VAP感染的诊断是由资深临床医生和感染控制从业人员共同评估确认，但仍可能发生漏诊和误诊；目前并无针对机器学习算法预测模型的样本量计算要求，本研究机器学习的样本量未能判断是否满足需求，样本量不足可能导致过拟合等情况；因缺失病例较少（小于5%），排除了少数记录不完整的患者，虽然影响较小，但可能会存在选择偏倚；预测因子不多，选择了容易获得和可操作的预测因子；虽然样本量满足本研究最小样本量要求，但样本量还是较小。

3、ICU老年患者VAP的预测模型有利于早期发现高危患者，及时采取相应预防措施，减少老年患者VAP的发生，减少患者的疾病痛苦和经济支出，经过后续前瞻性研究及外部验证证实后，有较高的应用前景。

4、该项目已发表论文1篇。
验收专家组认为该项目已基本完成合同书规定的主要研究内容和研究指标，验收通过。