加利福尼亚州正在针对保险公司用于做出事先授权和其他承保决策的算法，制定一项新法律，该法律将限制人工智能（AI）生成公式的使用方式。该州还将开始要求医疗服务提供者在人工智能生成患者通信时通知消费者。这些法律反映出，在没有联邦行动的情况下，州立法者越来越倾向于更严格地规范人工智能在医疗保健和其他领域的使用。《医生决策法案》（SB 1120）将于1月1日生效。
它得到了数十个医生组织和医疗团体、加州医院协会和几个患者倡导团体的支持。保险业团体反对该法案。“作为医生，我们认识到人工智能可以成为改善医疗保健的重要工具，但它不应该取代医生的决策，”加州医学协会（CMA）主席Tanya W.Spirtos博士在一份声明中说。支持该法案的州参议员乔希·贝克尔（D-Menlo Park）表示，新法律确保人为因素将始终决定患者的高质量医疗。他说：
“算法不能完全了解和理解患者的病史和需求，并可能导致对医疗的错误或有偏见的决定。”。法律强制实施护栏
新法律要求使用人工智能或任何算法都必须基于患者的病史和个人的临床情况。决策不能仅基于组数据集，不能取代临床医生的决策，必须得到人类医生的批准。根据法律，该算法需要“公平公正地应用”。
加州大学旧金山分校健康部副总裁兼首席健康人工智能官Sara Murray医学博士告诉Medscape医学新闻，算法有可能存在偏见。她引用了《科学》杂志最近的一篇论文，该论文发现，基于卫生系统（而非保险公司）广泛使用的算法的决策意味着，病情比白人患者更严重的黑人患者将获得更少的护理。该法律试图解决用于训练保险公司算法的数据问题。
《健康事务》杂志的Carmel Shachar、JD、MPH、Amy Killelea和Sara Gerke写道：“人工智能工具的准确性取决于输入其中的数据和算法。”。马萨诸塞州剑桥市哈佛法学院助理临床法学教授Shachar告诉Medscape医学新闻：“将哪些数据用作训练集，并确保其与算法实际使用的人群相匹配，这一点非常重要。”。默里说，让人工对人工智能生成的决策进行签字很重要，但“也有风险”。
默里说：“我们可能会过度依赖这些工具，我们也可能有偏见，可能不容易看到偏见，或者如果算法给我们有偏见的输出，我们可能看不到偏见。”。ProPublica在2023年的一项调查称，Cigna算法允许医生在不审查患者档案的情况下，以医疗为由快速拒绝索赔。该出版物报道称，信诺雇佣的医生在两个月内否认了30多万起索赔，平均每起索赔花费1.2秒。她说，加州正在“对真正的恐惧做出反应”。
缺乏联邦监督
虽然用于检测疾病和改善诊断和治疗的人工智能受到美国食品和药物管理局的监管，但SB 1120中立法者针对的人工智能工具“没有受到同样的审查，几乎没有独立的监督，”萨克拉门托急诊医学博士Anna Yap在2024年初代表CMA作证支持SB 1120时说。Shachar说，加利福尼亚州的法律“是良好的第一步”。她说，算法“一直是我们监管体系中的一个盲点”。
她说，新法律“授权州监管机构采取行动，并为保险公司如何实施人工智能提供了某种问责制和要求”。Shachar及其同事指出，人工智能有可能简化和加快事先授权决策。纽约大学格罗斯曼医学院的神经学家Neil Busis博士在《美国医学会杂志·神经病学》的一篇论文中对此表示赞同。他写道：
“如果可以用适当的数据进行训练，人工智能可以通过减少行政负担、提高效率、增强患者、临床医生和付款人的整体体验来改善事先授权。”。在2022年的一份报告中，麦肯锡公司吹捧了人工智能提高事先授权效率的潜力。但作者指出，需要对人工智能进行监测，以确保它不会从有偏见的数据集中学习，这些数据集“可能会导致意外或不恰当的决定”，特别是对于社会经济地位较低的患者。
报告总结称，“经验丰富的临床医生仍将是PA的最终决策者。”虽然美国医学协会（AMA）没有对SB 1120采取立场，但在2023年，该组织采取了类似的政策，呼吁基于人工智能的算法使用临床标准，并包括医生和其他具有所审查服务专业知识的卫生专业人员的审查，并且没有拒绝护理的动机。AMA董事会成员Marilyn Heine医学博士当时表示，即使人工智能简化了事先授权，数量也在增长。她说：“底线是一样的：
我们必须减少需要事先授权的东西的数量。”。Shachar及其同事写道，人工智能可能会激励更多的评论。他们写道：“我们可能会看到‘评论蠕变’。”。保险公司因使用人工智能而面临诉讼
在缺乏监管的情况下，已经对保险公司使用基于人工智能的算法提起了几起诉讼。
据哥伦比亚广播公司新闻报道，居住在明尼苏达州的两名已故Medicare Advantage受助人的家属于2023年起诉联合健康公司，称该公司的算法错误率为90%，并且是非法使用的。
美国参议院常设调查小组委员会于10月报告称，其深入调查发现，保险公司正在使用自动事先授权算法系统地拒绝为Medicare Advantage参保人提供急性期后护理服务，拒绝率远高于拒绝为其他被保险人提供其他类型护理的比率。3月，一名个人根据ProPublica报告的信息，对信诺使用其算法拒绝索赔提起集体诉讼。Shachar表示，诉讼并不是处理算法的一种令人满意的方式，部分原因是“你必须等待伤害”。
她补充说，侵权制度仍在制定法律的各个方面将如何适用于保险公司使用的人工智能。Shachar说，更多的州可能会追随加州的脚步。AMA发言人表示同意。美国医学会的R.J.Mills告诉Medscape医学新闻：“美国医学会预计2025年将开展未来的立法活动，因为我们看到越来越多的关于使用人工智能系统地否认索赔的健康计划的报告。”。
人工智能生成的提供商通信新规则
加州州长还签署了AB 3030，该法案要求使用人工智能的患者通信表明它是由人工智能生成的，除非通信首先由持有执照或认证的医疗保健提供者阅读和审查。默里说，加州大学旧金山分校健康中心已经在这样做了。卫生系统一直在测试使用人工智能来帮助起草医生对患者信息的回应，目的是帮助他们更快地做出回应。这些消息有文本通知患者AI被用来协助医生。它还指出，医生仍然会审查每一份沟通。
默里说：“我们只是想对患者保持高度透明。”。她说，人工智能“将对医疗保健非常有益”。但加利福尼亚州的新法律是提供“护栏”所必需的
Shachar和Murray没有相关的财务关系。Alicia Ault是佛罗里达州圣彼得堡的自由撰稿人，她的作品曾出现在《美国医学会杂志》和史密森尼安网站等出版物上。你可以在X@aliciaault上找到她。