普华永道咨询于9月19日宣布将推出“AI红队”服务，旨在识别并改善AI服务的业务风险。AI安全专家将对客户企业的AI服务进行模拟攻击，帮助识别并改进其脆弱性、潜在威胁以及业务风险。普华永道咨询的高级执行官合伙人林和洋（左）和执行官合伙人村上纯一。
普华永道日本集团的网络安全与数字运营韧性领导者、普华永道咨询高级执行官合伙人林和洋指出，鉴于最新的地缘政治风险，面向海外开展业务的日本企业需要考虑经济安全保障，并需要应对网络安全和AI监管法律等海外法规的要求。根据普华永道日本集团的调查，最令人担忧的地缘政治风险连续三年都是“网络攻击/网络恐怖主义”。
林和洋补充说，随着业务数字化的推进，AI的应用正在稳步普及，为了管理和应对网络风险，AI红队服务将发挥重要作用。2024年的十大地缘政治风险
接下来，执行官合伙人村上纯一详细介绍了AI红队服务。他指出，从2022年到2023年，对话生成AI迅速普及，AI的使用案例发生了重大改变并且呈现出普及化的趋势。
过去AI主要由程序员、工程师和科学家等专业用户使用，但随着生成AI的普及，非专业用户也可以通过自然语言互动来使用AI。然而，这也带来了生成AI特有的风险。村上纯一还提到AI相关事件的年度趋势，并指出这些事件自2023年起急剧增加，很多与心理、声誉和经济等方面相关，尽管数量较少，但也有涉及身体伤害、损害和死亡等物理伤害的案例被报道。村上强调了应对这些风险的重要性。
AI风险周围的图像
AI红队的使用设想包括在AI服务正式上线前或已经运行中的服务诊断。村上指出，服务的差异化要素包括：“识别因AI滥用带来的业务风险”、“由熟悉AI安全的工程师进行独特研究和测试”、“提供设计、实施和运营等各方面的改进建议”。尤其强调了在测试前准备阶段的周密对待的重要性。此外，村上还提到，由于AI系统的特性，即使实施相同的测试，结果也可能不同，可能无法检测到潜在问题。
因此，在实施测试之前，彻底揭示AI服务中潜在的风险是十分关键的。此外，该公司将利用其独特的情报以及与以色列Adversa AI等的技术合作，提供针对特定AI服务的风险解决方案。关于改进建议，村上强调，“仅对输入输出进行过滤等对症治疗并不能从根本上解决问题，我们可以支持根本性的AI改进”。
普华永道的AI红队服务目标广泛，起初主要针对提供消费者AI服务的企业，但也可以为希望在内部实现AI红队的企业提供内制化支持等服务。