随着生成性人工智能和机器学习的兴起，各行业和流程获得了新的提升机遇。在2023年的re:Invent大会上，我们推出了AWS HealthScribe，这是一项符合HIPAA标准的服务，使医疗软件供应商能够构建其临床应用程序，利用语音识别和生成性AI自动创建初步的临床医生文档。
除了AWS HealthScribe之外，我们还推出了Amazon Q Business，这是一款由生成性AI支持的助手，能够执行回答问题、提供摘要、生成内容以及安全完成基于企业系统数据和信息的任务等功能。AWS HealthScribe结合了专为医疗文档训练的语音识别和生成性AI，以加速临床文档生成并增强咨询体验。AWS HealthScribe的关键特性包括：带有字级时间戳的丰富咨询记录。
发言者角色识别（例如医生或患者）。将记录分段为相关部分，如主观、客观、评估和计划。为主诉、现病史、评估和计划等部分提供总结性临床笔记。引用原记录的证据映射，以确保每句话均在AI生成笔记中有所反映。提取结构化医学术语，如病情、药物和治疗。AWS HealthScribe提供了一套由AI驱动的功能来简化临床文档生成，同时保持安全性和隐私性。
它不会保存音频或输出文本，用户可以通过传输和静态数据加密控制数据存储。借助Amazon Q Business，我们提供了一种新的生成性AI助手，专为企业和工作场合的使用案例设计。它可以根据组织的数据、系统和存储库进行定制和集成。Amazon Q允许用户通过其AI功能进行对话、帮助解决问题、生成内容、获取洞察并采取行动。Amazon Q提供基于用户的定价计划，针对产品使用方式量身定制。
它可以根据组织内个人用户身份、角色和权限调整交互。重要的是，AWS从不使用Amazon Q的客户内容来训练其基础AI模型，确保公司信息保持私密和安全。在这篇文章中，我们将向您展示如何利用AWS HealthScribe和Amazon Q Business共同分析患者咨询，以从医生对话中提供总结和趋势，简化文档工作流程。
这种自动化和机器学习应用于医生和患者互动中，可以通过改善沟通提高患者结果，从而提供更具个性化的护理并提高医生的效率。益处和使用案例
从患者和医生的互动中获得洞察，通过聊天助手可以在多种方式上提供帮助，例如：增强沟通：通过分析咨询，医生使用AWS HealthScribe可以更容易识别大患者数据集中的模式和趋势，有助于改善医生和患者之间的沟通。
例如，医生能够理解其患者症状中的常见趋势，可以考虑用于新咨询。个性化护理：利用机器学习，医生可以通过分析每个患者的具体需求和担忧，来定制个性化的护理。这可以导致更个性化和有效的护理。简化工作流程：医生可以使用机器学习来帮助简化其工作流程，通过自动化任务如预约安排和咨询总结。这可以为医生留下更多时间来专注于为患者提供高质量护理。例如，使用医生总结结合智能工作流程来例行执行这些任务。
架构图
在我们为此展示的架构图中，展示了两个用户工作流程。为了启动该过程，医生将咨询记录上传到Amazon Simple Storage Service (Amazon S3)。AWS HealthScribe随后会分析这些咨询对话并生成两个文件，也存储在Amazon S3上。
在第二个工作流程中，认证用户通过AWS IAM Identity Center登录到由Amazon Q Business托管的Amazon Q Web前端。在这种情况下，Amazon Q Business将Amazon S3桶的输出设为其Web应用的数据源。前提条件
AWS IAM Identity Center将用作符合SAML 2.0标准的身份提供商 (IdP)。
您需要启用一个IAM Identity Center实例。在此实例下，确保为用户提供一个有效的电子邮件地址，因为这将是您用于登录Amazon Q Business的用户。有关详细信息，请参阅Configuring user access with the default IAM Identity Center directory。
输入和输出桶中将有存储医生和患者对话以及AWS HealthScribe的Amazon Simple Storage Service (Amazon S3)。实施
要开始使用AWS HealthScribe，您必须首先启动一个转录作业以处理源音频文件，并输出带有分析对话内容的摘要和转录JSON文件。然后，您需要将这些输出文件连接到Amazon Q。
创建AWS HealthScribe作业
在AWS HealthScribe控制台中选择导航窗格中的Transcription jobs，然后选择Create job以开始。为作业输入名称，这一示例中使用FatigueConsult，并选择S3桶，其中存储着医生和患者对话的音频文件。接下来，使用S3 URI搜索字段寻找并指向想要将输出文件保存到的Amazon S3桶。
保持音频设置、定制和内容删除的默认选项。通过选择Create an IAM role为AWS HealthScribe创建一个新的AWS Identity and Access Management (IAM)角色，以用于访问S3的输入桶和输出桶。此示例中我们输入的角色名称为HealthScribeRole。完成作业创建，选择Create job。这将需要几分钟时间。
当完成后，您将看到状态从In Progress变为Complete，并可以通过选择作业名称检查结果。AWS HealthScribe将创建两个文件：一份带有后缀/transcript.json的逐字记录的对话以及带有后缀/summary.json的对话摘要。此摘要利用生成性AI的底层能力突出对话中的关键主题、提取医学术语等。
在此工作流程中，AWS HealthScribe分析患者与医生的对话音频，以：转录咨询内容
识别发言者角色（例如，医生和患者）
将记录分段（例如，闲聊、访问流程管理、评估和治疗计划）
提取医学术语（例如，药物名称和医学条件名称）
为临床文件的关键部分总结笔记（例如，现病史和治疗计划）
创建证据映射（将AI生成笔记中的每一句话与相应对话记录链接）。
将AWS HealthScribe作业连接到Amazon Q
要将AWS HealthScribe总结笔记和转录与Amazon Q一起使用，我们首先需要创建一个Amazon Q商业应用，并设置S3桶为HealthScribe作业工作流程中输出文件的数据源。这将允许Amazon Q索引文件，并使用户能够对数据提出问题。
在Amazon Q Business控制台中选择Get Started，然后选择Create Application。为您的应用输入名称并选择Create and use a new service-linked role (SLR)。当您准备好选择数据源时，选择Create。在Add data source窗格中选择Amazon S3。
要将S3桶配置为Amazon Q的数据源，请输入数据源的名称。此示例中我们使用的名称为my-s3-bucket。接下来，使用Browse S3按钮定位HealthScribe生成的JSON输出所在的S3桶。选择Full sync为同步模式，并选择您偏好的同步节奏。完成这些步骤后，Amazon Q Business将对您S3桶中的对象进行全同步，并准备就绪使用。
在主要应用仪表板中，导航到Web experience URL下的URL。这就是您将访问Amazon Q Web前端与助手进行互动的方式。用户登录Web体验后，可以开始直接在聊天框中提问，如以下示例前端所示。示例前端工作流程
通过将AWS HealthScribe结果整合到Amazon Q Business中，用户可以进入Web体验，从患者对话中获取洞察。
例如，您可以使用Q来确定患者症状的趋势，检查患者正在服用的药物等等，如下图所示。该工作流程从关于患者问题的问答开始，如下图所示。在上面的示例中，医生询问那些投诉胃痛的患者的症状是什么。Q使用其访问的数据回答常见症状，如腹胀和肠道问题。生成的答案引用了Amazon S3的源文件，选择Sources可以查看。在以下示例中，医生询问患膝痛的患者正在服用什么药物。
使用我们为膝痛进行过多次咨询的样本数据，Q告知我们患者正在服用非处方布洛芬，但通常并未有效缓解患者的症状。该应用还可以帮助医生了解其患者数据中的常见趋势，例如询问患有胸痛的患者的常见症状是什么。在此帖的最后一个示例中，医生询问Q是否有抱怨膝盖和手肘疼痛的患者的常见症状。Q回答了两组患者都描述他们的疼痛因运动而加剧，但无法明确指出两种咨询类型都有的共同症状。
在这种情况下，Amazon Q正确地使用源数据以防止出现幻觉。注意事项
Amazon Q的界面具有有限的自定义。目前，Amazon Q前端无法嵌入其他工具。支持的Web体验自定义包括添加标题和副标题、增加欢迎信息以及显示样本提示。有关Web体验自定义的更新，请参阅Customizing an Amazon Q Business web experience。
如果这种自定义对您的应用和业务需求至关重要，您可以探索使用Amazon Bedrock或Amazon SageMaker设计自定义的大语言模型聊天机器人。AWS HealthScribe使用对话式和生成性AI来转录患者和医生的对话并生成临床笔记。
由于各种因素，包括音频质量、背景噪声、发言者的清晰度、医学术语的复杂性和上下文特定的语言细微差异，AWS HealthScribe产生的结果是概率性的，可能并不总是准确。AWS HealthScribe旨在为医生和医学抄写员的辅助角色服务，而非替代他们的临床专业知识。因此，AWS HealthScribe的输出不应用于完全自动化临床文档工作流程，而是提供额外的帮助给医生或医学抄写员在其文档过程中。
请确保您的应用提供查看AWS HealthScribe生成的临床笔记的工作流程，并在最终确定临床笔记之前设立需要人工审查的预期。Amazon Q Business使用机器学习模型生成基于数据模式的预测，从您的内容中生成洞察和建议。输出是概率性的，应该根据您的用例通过人工审核来评估准确性。您和您的用户需对使用这些功能所作出的所有决策、建议、采取的行动以及未采取行动承担责任。
此概念验证还可以扩展为创建面向患者的应用，前提是患者可以查看其与医生的对话，并被赋予访问其医疗记录和咨询笔记的权限，以便更方便地对其自身的医疗历史趋势和数据提出问题。目前AWS HealthScribe仅在美国东部（弗吉尼亚北部）地区提供英语-美式服务。而Amazon Q Business仅在美国东部（弗吉尼亚北部）和美国西部（俄勒冈州）提供。
清理步骤
为确保您不会因此解决方案继续产生费用，必须完成以下清理步骤。AWS HealthScribe
进入AWS HealthScribe控制台并选择Transcription jobs。选择要清理的HealthScribe作业并在控制台页面右上角选择Delete。Amazon S3
要清理您的Amazon S3资源，请进入Amazon S3控制台并选择您在阅读此文档时使用或创建的存储桶。
要清空存储桶，请按照Emptying a bucket的说明操作。清空存储桶后，删除整个存储桶。Amazon Q Business
要删除您的Amazon Q Business应用程序，请按照Managing Amazon Q Business applications中的说明操作。