使用AWS HealthScribe和Amazon Q Business从患者咨询中获取洞察

随着生成性人工智能和机器学习的兴起,各行业和流程获得了新的提升机遇。在2023年的re:Invent大会上,我们推出了AWS HealthScribe,这是一项符合HIPAA标准的服务,使医疗软件供应商能够构建其临床应用程序,利用语音识别和生成性AI自动创建初步的临床医生文档。

除了AWS HealthScribe之外,我们还推出了Amazon Q Business,这是一款由生成性AI支持的助手,能够执行回答问题、提供摘要、生成内容以及安全完成基于企业系统数据和信息的任务等功能。AWS HealthScribe结合了专为医疗文档训练的语音识别和生成性AI,以加速临床文档生成并增强咨询体验。AWS HealthScribe的关键特性包括:带有字级时间戳的丰富咨询记录。

发言者角色识别(例如医生或患者)。将记录分段为相关部分,如主观、客观、评估和计划。为主诉、现病史、评估和计划等部分提供总结性临床笔记。引用原记录的证据映射,以确保每句话均在AI生成笔记中有所反映。提取结构化医学术语,如病情、药物和治疗。AWS HealthScribe提供了一套由AI驱动的功能来简化临床文档生成,同时保持安全性和隐私性。

它不会保存音频或输出文本,用户可以通过传输和静态数据加密控制数据存储。借助Amazon Q Business,我们提供了一种新的生成性AI助手,专为企业和工作场合的使用案例设计。它可以根据组织的数据、系统和存储库进行定制和集成。Amazon Q允许用户通过其AI功能进行对话、帮助解决问题、生成内容、获取洞察并采取行动。Amazon Q提供基于用户的定价计划,针对产品使用方式量身定制。

它可以根据组织内个人用户身份、角色和权限调整交互。重要的是,AWS从不使用Amazon Q的客户内容来训练其基础AI模型,确保公司信息保持私密和安全。在这篇文章中,我们将向您展示如何利用AWS HealthScribe和Amazon Q Business共同分析患者咨询,以从医生对话中提供总结和趋势,简化文档工作流程。

这种自动化和机器学习应用于医生和患者互动中,可以通过改善沟通提高患者结果,从而提供更具个性化的护理并提高医生的效率。益处和使用案例
从患者和医生的互动中获得洞察,通过聊天助手可以在多种方式上提供帮助,例如:增强沟通:通过分析咨询,医生使用AWS HealthScribe可以更容易识别大患者数据集中的模式和趋势,有助于改善医生和患者之间的沟通。

例如,医生能够理解其患者症状中的常见趋势,可以考虑用于新咨询。个性化护理:利用机器学习,医生可以通过分析每个患者的具体需求和担忧,来定制个性化的护理。这可以导致更个性化和有效的护理。简化工作流程:医生可以使用机器学习来帮助简化其工作流程,通过自动化任务如预约安排和咨询总结。这可以为医生留下更多时间来专注于为患者提供高质量护理。例如,使用医生总结结合智能工作流程来例行执行这些任务。

架构图
在我们为此展示的架构图中,展示了两个用户工作流程。为了启动该过程,医生将咨询记录上传到Amazon Simple Storage Service (Amazon S3)。AWS HealthScribe随后会分析这些咨询对话并生成两个文件,也存储在Amazon S3上。

在第二个工作流程中,认证用户通过AWS IAM Identity Center登录到由Amazon Q Business托管的Amazon Q Web前端。在这种情况下,Amazon Q Business将Amazon S3桶的输出设为其Web应用的数据源。前提条件
AWS IAM Identity Center将用作符合SAML 2.0标准的身份提供商 (IdP)。

您需要启用一个IAM Identity Center实例。在此实例下,确保为用户提供一个有效的电子邮件地址,因为这将是您用于登录Amazon Q Business的用户。有关详细信息,请参阅Configuring user access with the default IAM Identity Center directory。

输入和输出桶中将有存储医生和患者对话以及AWS HealthScribe的Amazon Simple Storage Service (Amazon S3)。实施
要开始使用AWS HealthScribe,您必须首先启动一个转录作业以处理源音频文件,并输出带有分析对话内容的摘要和转录JSON文件。然后,您需要将这些输出文件连接到Amazon Q。

创建AWS HealthScribe作业
在AWS HealthScribe控制台中选择导航窗格中的Transcription jobs,然后选择Create job以开始。为作业输入名称,这一示例中使用FatigueConsult,并选择S3桶,其中存储着医生和患者对话的音频文件。接下来,使用S3 URI搜索字段寻找并指向想要将输出文件保存到的Amazon S3桶。

保持音频设置、定制和内容删除的默认选项。通过选择Create an IAM role为AWS HealthScribe创建一个新的AWS Identity and Access Management (IAM)角色,以用于访问S3的输入桶和输出桶。此示例中我们输入的角色名称为HealthScribeRole。完成作业创建,选择Create job。这将需要几分钟时间。

当完成后,您将看到状态从In Progress变为Complete,并可以通过选择作业名称检查结果。AWS HealthScribe将创建两个文件:一份带有后缀/transcript.json的逐字记录的对话以及带有后缀/summary.json的对话摘要。此摘要利用生成性AI的底层能力突出对话中的关键主题、提取医学术语等。

在此工作流程中,AWS HealthScribe分析患者与医生的对话音频,以:转录咨询内容
识别发言者角色(例如,医生和患者)
将记录分段(例如,闲聊、访问流程管理、评估和治疗计划)
提取医学术语(例如,药物名称和医学条件名称)
为临床文件的关键部分总结笔记(例如,现病史和治疗计划)
创建证据映射(将AI生成笔记中的每一句话与相应对话记录链接)。

将AWS HealthScribe作业连接到Amazon Q
要将AWS HealthScribe总结笔记和转录与Amazon Q一起使用,我们首先需要创建一个Amazon Q商业应用,并设置S3桶为HealthScribe作业工作流程中输出文件的数据源。这将允许Amazon Q索引文件,并使用户能够对数据提出问题。

在Amazon Q Business控制台中选择Get Started,然后选择Create Application。为您的应用输入名称并选择Create and use a new service-linked role (SLR)。当您准备好选择数据源时,选择Create。在Add data source窗格中选择Amazon S3。

要将S3桶配置为Amazon Q的数据源,请输入数据源的名称。此示例中我们使用的名称为my-s3-bucket。接下来,使用Browse S3按钮定位HealthScribe生成的JSON输出所在的S3桶。选择Full sync为同步模式,并选择您偏好的同步节奏。完成这些步骤后,Amazon Q Business将对您S3桶中的对象进行全同步,并准备就绪使用。

在主要应用仪表板中,导航到Web experience URL下的URL。这就是您将访问Amazon Q Web前端与助手进行互动的方式。用户登录Web体验后,可以开始直接在聊天框中提问,如以下示例前端所示。示例前端工作流程
通过将AWS HealthScribe结果整合到Amazon Q Business中,用户可以进入Web体验,从患者对话中获取洞察。

例如,您可以使用Q来确定患者症状的趋势,检查患者正在服用的药物等等,如下图所示。该工作流程从关于患者问题的问答开始,如下图所示。在上面的示例中,医生询问那些投诉胃痛的患者的症状是什么。Q使用其访问的数据回答常见症状,如腹胀和肠道问题。生成的答案引用了Amazon S3的源文件,选择Sources可以查看。在以下示例中,医生询问患膝痛的患者正在服用什么药物。

使用我们为膝痛进行过多次咨询的样本数据,Q告知我们患者正在服用非处方布洛芬,但通常并未有效缓解患者的症状。该应用还可以帮助医生了解其患者数据中的常见趋势,例如询问患有胸痛的患者的常见症状是什么。在此帖的最后一个示例中,医生询问Q是否有抱怨膝盖和手肘疼痛的患者的常见症状。Q回答了两组患者都描述他们的疼痛因运动而加剧,但无法明确指出两种咨询类型都有的共同症状。

在这种情况下,Amazon Q正确地使用源数据以防止出现幻觉。注意事项
Amazon Q的界面具有有限的自定义。目前,Amazon Q前端无法嵌入其他工具。支持的Web体验自定义包括添加标题和副标题、增加欢迎信息以及显示样本提示。有关Web体验自定义的更新,请参阅Customizing an Amazon Q Business web experience。

如果这种自定义对您的应用和业务需求至关重要,您可以探索使用Amazon Bedrock或Amazon SageMaker设计自定义的大语言模型聊天机器人。AWS HealthScribe使用对话式和生成性AI来转录患者和医生的对话并生成临床笔记。

由于各种因素,包括音频质量、背景噪声、发言者的清晰度、医学术语的复杂性和上下文特定的语言细微差异,AWS HealthScribe产生的结果是概率性的,可能并不总是准确。AWS HealthScribe旨在为医生和医学抄写员的辅助角色服务,而非替代他们的临床专业知识。因此,AWS HealthScribe的输出不应用于完全自动化临床文档工作流程,而是提供额外的帮助给医生或医学抄写员在其文档过程中。

请确保您的应用提供查看AWS HealthScribe生成的临床笔记的工作流程,并在最终确定临床笔记之前设立需要人工审查的预期。Amazon Q Business使用机器学习模型生成基于数据模式的预测,从您的内容中生成洞察和建议。输出是概率性的,应该根据您的用例通过人工审核来评估准确性。您和您的用户需对使用这些功能所作出的所有决策、建议、采取的行动以及未采取行动承担责任。

此概念验证还可以扩展为创建面向患者的应用,前提是患者可以查看其与医生的对话,并被赋予访问其医疗记录和咨询笔记的权限,以便更方便地对其自身的医疗历史趋势和数据提出问题。目前AWS HealthScribe仅在美国东部(弗吉尼亚北部)地区提供英语-美式服务。而Amazon Q Business仅在美国东部(弗吉尼亚北部)和美国西部(俄勒冈州)提供。

清理步骤
为确保您不会因此解决方案继续产生费用,必须完成以下清理步骤。AWS HealthScribe
进入AWS HealthScribe控制台并选择Transcription jobs。选择要清理的HealthScribe作业并在控制台页面右上角选择Delete。Amazon S3
要清理您的Amazon S3资源,请进入Amazon S3控制台并选择您在阅读此文档时使用或创建的存储桶。

要清空存储桶,请按照Emptying a bucket的说明操作。清空存储桶后,删除整个存储桶。Amazon Q Business
要删除您的Amazon Q Business应用程序,请按照Managing Amazon Q Business applications中的说明操作。