2021年2月1日，AJRCCM（American Journal of Respiratory and Critical Care Medicine）接收了牛津大学Marco AF Pimentel等人的一篇关于一个新的病人病情恶化风险评估模型的文章：Detecting Deteriorating Patients in Hospital: Development and Validation of a Novel Scoring System。详细介绍见下。

一、研究背景

在英国医院中，病房中每年有超过60000人会因病情恶化而需要转移至ICU，过晚或没有发现病人的病情恶化会导致病人的预后变差和死亡率增高[1]。因此需要一种准确而高效的模型对病人可逆转的病情恶化（Reversible deterioration）风险进行评估。通过测量病人的生命体征来计算EWS（Early Warning Score）是评估病人病情恶化风险的一种方法。EWS可以在床旁简单计算得到，但其无法考虑病人状况的变化趋势，也无法考虑病人的慢性疾病或其他因素对其状况的影响[2]。随着EHR（Electronic Health Record）系统的普及，结合病人生命体征和实验室检查结果的模型拥有更高的准确性[3]。部分模型采用了机器学习算法，但是多数模型由于缺乏使用临床数据的权限而无法在电子病历数据上进行训练和验证[4]。在本篇文章中，作者综合了四个医院的病人数据，基于梯度提升决策树（Gradient boosting machine with decision trees）的机器学习算法，提出了HAVEN（Hospital-wide Alerting Via Electronic Noticeboard）模型，其可以通过持续地更新病人的生命体征，实验室检查结果，病史等数据来对病人的疾病恶化风险进行实时评估且表现好于现有的EWS和生理分数（Physiological scoring）模型。

二、研究方法

数据：来自四个医院（A-D）的从2012年1月至2017年12月的大于16岁的病人的电子病历数据。病人数据被分为了训练集和测试集，通过训练集对模型进行训练，对模型中的参数进行拟合；通过测试集来评估模型的表现。训练集包括来自A医院2012年1月至2015年12月的230415次入院数据（来自113450个病人），测试集来自A-D四个医院2016年1月至2017年12月的266295次入院数据（来自159182个病人）。

模型：基于梯度提升决策树的机器学习算法。通过随机搜索和5倍的交叉验证选取了具有最大的ROC AUC的超参数。通过使用训练集的2017年的数据，用保序回归（Isotonic regression）方法对模型的预测进行了校准。同时对比了梯度提升决策树与另外四种机器学习模型（随机森林、 广义相加模型、 L1正则化逻辑回归和L2正则化逻辑回归）的结果，梯度提升决策树具有最好的表现。

模型的输入：通过检索文献和临床专家组的分析，最终从病人临床指标中确定了76个变量，分为静止变量（如性别、年龄、疾病诊断、是否吸烟、两年内住院总时长等）和变化变量（如实验室检查结果和生命体征）来对其情恶化的预测。预测的时间点为每次新测量变化变量的时间点，对测量后的12,24,48小时时间窗内发生的病情恶化进行预测。

模型的输出：模型的输出为对患者病情恶化的预测，患者病情恶化通过结局事件（Outcome）的发生来评价，如果在预测发生一段时间内（通常为12,24,48小时）结局事件发生则表示病情恶化，反之则病情未恶化。主要结局事件（Primary outcome）合并了院内心脏骤停(Cardiac arrest）和24小时内未接受过手术的病人计划外的ICU收住（Unplanned ICU admission）。第一个次要结局事件（Secondary outcome）为院内心脏骤停，第二个次要结局事件为24小时内未接受过手术的病人计划外的ICU收住，第三个次要结局事件为所有计划外的ICU收住，以观察24小时内接受手术对病人计划外的ICU收住的影响。

三、研究结果

1）ROC AUC随时间窗（Time window）变长而降低

以主要结局事件（下表中标记为Composite outcome）为例，12小时内的ROC AUC为0.921 (95% CI：0.919-0.924) ，而48小时内的ROC AUC为0.881 (95%CI：0.879-0.883) 。次级结局事件包括计划外的ICU收住和心脏骤停，也表现出了类似的趋势。以计划外的ICU收住为结局事件的ROC AUC要好于以心脏骤停为结局事件的ROC AUC。

2）HAVEN模型的表现好于EWS和生理分数模型

在10%的预测准确性下，HAVEN识别出1-48小时内的42%的不良事件，12-48小时内的27%的不良事件。作为对比LAPS-2识别了相应时间段内22%和14%的不良事件。NEWS和LAPS-2表现相似。

下表中显示了HAVEN模型在24小时内的ROC AUC和PR AUC均高于EWS和生理分数模型。

讨论

此项研究提出了新的院内病人的病情恶化预测模型，并且其表现优于其他现存的模型。其应用了最新的临床指南来训练和验证模型。同时也应用合适的机器学习算法构建模型。对于此类临床数据，患者病情恶化的概率较低（24小时内未接受过手术的病人计划外的ICU收住发生率为1.0%，院内心脏骤停的发生率为0.2%），阳性（病情恶化）分类和阴性（病情未恶化）分类数量相差过大，需要通过修改超参数来更改模型训练过程中阳性分类和阴性分类的权重来防止模型对阴性数据的过拟合。其训练集和测试集的数据不存在时间重合且在训练集中只使用1个医院的数据，在测试集中使用4个医院的数据保证了模型在不同时间和不同医院内的普适性。其选择了合适的结局事件并证明了结局事件选择的重要性，此模型结合了院内心脏骤停和24小时内未接受过手术的病人计划外的ICU入住来作为病情恶化的评估，其他模型只使用了其中一项或者使用院内死亡率作为结局事件。由于多数的院内死亡是不可避免的，因此选取院内死亡率作为结局事件对于可逆转的病情恶化的预测模型的意义有限。同时术后的计划外ICU入住也被从结局事件中排除，因其导致模型表现变差。但是选取院内心脏骤停和24小时内未接受过手术的病人计划外的ICU入住也存在其缺点，其受到现有治疗方案局限性和不进行心肺复苏抢救协议的影响。

此篇文章体现了结局事件选择的重要性，同时也可以考虑对输入数据的变量进行筛选，尽管决策树模型对冗余变量的鲁棒性比较强，但是还是可以通过机器学习的方法进行特征选择，一方面可以提高预测的准确性，另一方面也可以降低测量和计算的工作量。同时深度学习模型也可以作为一种用于预测的模型，已有团队使用深度学习的方法对病人发生急性肾衰的概率进行预测，且表现好于人工的预测[5] 。

参考文献 

[1] Intensive Care National Audit and Research Centre (ICNARC). Hospital length of stay pre-ICU admission and outcomes. 2019.

[2] Pedersen NE, Rasmussen LS, Petersen JA, Gerds TA, Østergaard D, Lippert A. A critical assessment of early warning score records in 168,000 patients. J Clin Monit Comput 2017;32:109–116.

[3] Redfern OC, Pimentel MAF, Prytherch D, Meredith P, Clifton DA, Tarassenko L, Smith GB, Watkinson PJ. Predicting in-hospital mortality and unanticipated admissions to the intensive care unit using routinely collected blood tests and vital signs: Development and validation of a multivariable model. Resuscitation

2018;133:75–81.

[4] Sendak MP, D’Arcy J, Kashyap S, Gao M, Nichols M, Corey K, Ratliff W, Balu S. A Path for Translation of Machine Learning Products into Healthcare Delivery. EMJ Innov 2020;doi:10.33590/emjinnov/19-00172

[5] Rank, N., Pfahringer, B., Kempfert, J. et al. Deep-learning-based real-time prediction of acute kidney injury outperforms human predictive performance. npj Digit. Med. 3, 139 (2020). https://doi.org/10.1038/s41746-020-00346-8

原文链接

https://www.atsjournals.org/doi/10.1164/rccm.202007-2700OC

作者介绍

刘正平

清华大学临床八年制医学博士在读，曾赴美国匹兹堡大学访学两年，现于北京协和医院进行临床学习。

本文完

排版：Jerry