尽管经过了数代的研究,我们识别、识别个体自杀风险和相关行为的能力依然有限。现有方法并不总能考虑驱动风险的复杂因素。因此,研究人员开始使用更多数据密集的方法,包括来自电子健康记录(EHR)的信息,以识别有风险的患者。包括美国退伍军人管理局(VA)、凯撒永久医疗集团和其他学术医疗机构在内的几个大型健康系统开发了使用统计机器学习的EHR基础风险模型,这些模型显示出希望。
然而,尚未有专门为美国印第安人和阿拉斯加土著人群体开发的模型,而这个群体在美国的种族或族裔群体中自杀负担最高。在此,我们展示了一个比现有筛查更好的模型开发。统计机器学习模型相对于传统风险评分或计算器的相对优势在于其能够结合大量患者变量的能力,从而识别可能隐藏的模式和风险因素。然而,它们的有效性取决于开发所用数据的质量和相关性。
给统计机器学习模型带来力量的那种复杂性可能使这些模型对上下文或人群的变化更为敏感,被称为数据集转移。迄今为止,在自杀预防最高优先级的群体中,只有少量自杀风险模型被开发,包括那些面临重大或日益增长的不平等问题的种族和族裔群体,如美国印第安人和阿拉斯加土著人。为了解决这个差距,我们与印度健康服务(IHS)合作开发并评估了一种基于EHR的自杀风险模型。
这一努力有助于广泛推动改善美洲印第安人/阿拉斯加土著社区的健康公平。有关将标准化自杀筛查工具应用于美洲印第安人/阿拉斯加土著人口的文献存在分歧。一些美洲印第安人/阿拉斯加土著群体在自杀风险和保护因素方面呈现出独特的模式。虽然筛查工具相当标准化,但我们从其他文献和社区合作伙伴的报告中看到,这些工具可能在文化上不敏感且实施起来具有挑战性。
因此,目前没有自杀风险的筛查工具在美洲印第安人/阿拉斯加土著人口中经过验证。就机器学习基础的自杀风险模型而言,一些证据表明可能存在种族和族裔差异。其他工作表明,在其他医疗保健设置中开发的模型在多数为阿拉斯加本地人的患者群体中应用时保持着较高的准确度。在我们之前的工作中,我们与位于白山阿帕奇部落的社区基础自杀预防和照料系统合作开发、实施并测试了一个机器学习基础模型。该模型是使用“庆祝生命”
项目中的个案经理收集的数据开发的。该模型被发现准确性很高(AUC=0.87),被个案经理接受,提高了照护的覆盖面,并降低了模型标记为最高风险个体的后续与自杀相关事件的风险。虽然先前的工作显示出强大的潜力,但“庆祝生命”项目在某种程度上是独特的,在传统医疗系统之外运作。IHS在美国卫生与公众服务部门内运作,其主要责任是履行联邦单位为美洲印第安人/阿拉斯加土著人提供健康服务的条约义务。
联邦承认的部落成员可以在任何IHS设施免费接受治疗。因此,为IHS开发的工具可能在美洲印第安人/阿拉斯加土著社区中具有广泛的影响。本文旨在描述在美洲印第安人群体中开发和评估的新颖且具有文化特定性的自杀风险模型。该结果可以与服务其他群体的模型以及专门为美洲印第安人/阿拉斯加土著人开发的模型进行比较。在一项平行的努力中,我们在IHS环境中评估了在其他群体中开发的现有模型的性能。
通过创建一个新的文化特定模型,我们力求推动健康公平和文化相关性优先的知识体系的发展,从而为更加有效和具有文化敏感性的干预措施铺路。描述性结果
总共16,835名患者符合我们的纳入标准。这些患者的样本特征在表1中。首次包含访问的患者平均年龄为40岁,51%的患者为女性。报告的主导种族为美洲印第安人/阿拉斯加土著人(85%),其次是白人(9%),其他种族类别中的患者不到3%。
在研究期间,共有324名患者(1.9%)尝试过自杀,其中37人(0.2%)自杀身亡(非互斥)。在数据开始或患者18岁生日后至少90天发生的388次尝试和36次死亡中,280/388次尝试(72%)和18/36次死亡(50%)发生在IHS患者联系的90天内,此时可以采取自杀风险措施。
在未调整的比较中,我们发现,在研究期间的自杀企图或死亡与较年轻的年龄、Medicaid注册、抑郁症、焦虑症、躁郁症、PTSD、TBI或自杀意图的诊断、与酒精、大麻、兴奋剂或其他物质滥用相关的诊断,以及亲密伴侣暴力、自杀风险或抑郁症的过往阳性筛查有关。
仅将数据集减少到可以解决潜在自杀风险的访问(例如急诊或诊所访问与疫苗接种预约相比)时,共有331,588次访问,其中13,761(82%),人口中94%是美洲印第安人/阿拉斯加土著人。模型性能
访问级别的性能指标在表2中,性能图在图1中。
对于90天内尝试或死亡的主要结果,现有筛查的ROC曲线下的面积(AUROC)为0.64 [95% CI 0.60–0.67],灵敏度为32.4% [26.2%–38.6%],阳性预测值(PPV)为2.5% [1.7%–3.2%]。总体而言,逻辑回归和随机森林模型在统计学上难以区分,且都显著改进了基线,AUROC均为0.83 [0.80–0.86]。
在现有筛选的灵敏度(32.4%)下,逻辑回归和随机森林模型分别具有3.4% [1.7%–5.1%]和2.4% [1.6%–3.3%]的风险阳性预测值。其他判定的PPV在表2和图1b中显示。两种模型都被很好地校准,如图1c所示。表1显示了按性别、年龄、访问年份和急诊科分层的模型性能指标。两种模型均基于性别没有表现差异;然而,两种模型在年长患者中的AUROC更高。
两种模型和现有筛选在2020年后增加筛查时AUROC更高,但PPV更低。最后,现有筛选对90天自杀死亡的灵敏度为0%(0%灵敏度的二进制屏幕的AUROC无意义)。相反,逻辑回归和随机森林模型的AUROC分别为0.79 [0.69–0.89]和0.77 [0.66–0.88]。特征重要性
逻辑回归模型的系数和SHAP值见图2和图3。
由于逻辑回归和随机森林模型的表现几乎相同,我们将注意力集中在逻辑模型的特征重要性上。然而,随机森林模型的SHAP值可以在补充图1中找到。基于平均SHAP值的十大最具影响力的特征包括酒精滥用、年龄、Medicaid注册、与精神健康相关的ED访问、受伤、中毒或抑郁的诊断代码和性别。Medicaid注册、年龄、酒精滥用和之前的精神健康ED访问也是具有最大绝对系数的协变量之一,但其系数小于之前意图的指标。
有趣的是,在过去三个月中,精神健康住院访问在十大最大系数中排名,但与风险(比值比=0.65)负相关,表明住院治疗可能具有潜在的保护作用。我们开发了一个机器学习统计模型来评估以美洲印刷人为主的成年人口的90天自杀尝试或死亡风险。结果模型的AUROC高(0.83),并且明显优于现有筛查方法。本研究建立在我们之前的工作基础上,开发和测试机器学习模型以识别与美洲印第安人/阿拉斯加土著社区合作的风险人群。
然而,这是第一篇利用IHS数据的论文,该健康系统每年为220万美国人提供服务,且具有最大的与自杀相关的种族和族裔差异。这些结果大致与其他设置中开发的模型一致,AUROC从0.59到0.93不等,并与我们之前在社区基础设置中的工作一致。特别,这些结果与Simon等人相似(AUROC 0.85),他们使用了一组相似的协变量。
Simon等人使用一个包含仅1%美洲印第安人/阿拉斯加土著患者的患者群体的卫生记录开发了一个逻辑回归模型来预测90天的自杀尝试和死亡。由于我们在模型中重用了许多相同的特征,我们的模型与他们的模型表现相似,表明这些特征非常普遍,能够在人群间良好迁移。与Coley等人提出的相反,Coley等人发现Simon等人开发的模型在美洲印第安人/阿拉斯加土著患者中表现不佳。
Coley等人指出观察到的性能差异可能是由于精神健康诊断中的种族差异。然而,在IHS中,这些差异可能不存在,因为IHS在服务点是免费的,并且主要服务美洲印第安人/阿拉斯加土著患者。值得注意的是,开发的模型明显优于现有筛查。这是尽管我们通过包括90天窗口内累积的筛查结果来增强筛查,包括独立于筛查结果的过往90天的意图诊断,以及患者的整个自杀尝试历史,这对现有筛查的表现是有利的。
显著的是,我们的数据中现有的筛查未标记出任何自杀死亡记录。相反,逻辑回归模型的AUROC为0.79,比尝试或死亡的组合结果略低,但大大优于现有筛查。这一发现表明,我们的模型可能在IHS临床环境中增加值。