降低生成式人工智能的风险

了解风险因素及其管理方法

当公司将敏感数据委托给其软件系统时，人们期望所有信息都受到充分保护，防止未经授权的访问、修改或泄露。虽然传统的漏洞仍然令人担忧，但生成人工智能的独特性质带来了必须防范的额外风险。

除了保护敏感数据之外，生成人工智能满足其服务水平协议 (SLA)（包括可用性、可扩展性、性能、可靠性和灾难恢复）也很重要。还必须证明生成式人工智能不会对下游系统的 SLA 产生负面影响。了解这些漏洞并防止它们造成安全隐患，为实现生成人工智能的巨大前景铺平了道路。

需要注意的一些关键漏洞包括：

• 及时注射。精心设计的输入可以诱骗生成式人工智能应用程序泄露机密数据或执行有害操作。
• 不安全的输出处理。盲目使用人工智能输出而不进行审查会为未经授权的数据访问等系统漏洞打开大门。
• 训练数据中毒。操纵的训练数据可能会破坏人工智能组件，引入危险的偏见或后门。
• 模型拒绝服务。攻击者可以通过复杂的请求压垮生成式人工智能应用程序，从而降低或禁用服务。
• 代理权过大。赋予人工智能组件不受控制的自主权可能会使它们基于错误的推理做出破坏性的决定。
• 不安全的插件设计。第三方人工智能组件可能会通过不安全的数据处理引入严重的漏洞。
• 供应链妥协。如果任何第三方工具或数据源遭到黑客攻击，这些事件都会给生成式人工智能应用程序带来风险。
• 敏感数据泄露。生成式人工智能可能会泄露其在训练期间接触到的敏感客户或商业数据。

幸运的是，预防措施可以减轻多种类型的人工智能漏洞。例如，防止即时注入和训练数据中毒也有助于减少敏感信息泄露的机会。强大的身份和访问框架以及深思熟虑的访问控制实施是防止过度代理攻击的先决条件。自计算机诞生以来我们一直在实践的传统安全措施为生成式人工智能保护提供了基础。

通过警惕的安全态势和深度防御措施，公司可以实现生成人工智能的巨大潜力，同时保护系统和敏感信息。确保生成式人工智能的安全需要采取多层次的方法，涵盖数据、模型训练和微调、基础设施、身份、访问控制，以及重要的评估供应商时的尽职调查。公司还需要实施全面的治理、严格的访问控制、输入和输出控制、监控、沙盒以及明确的开发和运营协议。

在深入研究之前，先评估你的生成式人工智能安全状况

无论公司是将生成性人工智能直接纳入内部构建的解决方案，还是从供应商处获取这些功能，提出正确的问题对于确保严格的安全性至关重要。正确的问题可以帮助引导对话，以确定是否实施了充分的保护措施。考虑涵盖以下主题领域：

• 供应链安全。公司应该要求第三方审计、渗透测试和代码审查，以确保供应链安全。他们需要了解第三方供应商的评估方式，包括初始评估和持续评估。
• 数据安全。组织需要了解如何根据敏感度对数据进行分类和保护，包括个人和专有业务数据。如何管理用户权限？有哪些保障措施？
• 访问控制。通过警惕的安全态势（包括基于特权的访问控制和深度防御措施），公司可以实现生成人工智能的巨大潜力，同时保护系统和敏感信息。
• 培训管道安全。对训练数据治理、管道、模型和算法进行严格控制至关重要。有哪些保护措施可以防止数据中毒？
• 输入和输出安全。在实施生成式人工智能之前，组织应该评估输入验证方法，以及如何过滤、清理和批准输出。
• 基础设施安全。供应商多久进行一次弹性测试？他们的 SLA 在可用性、可扩展性和性能方面是什么？这对于评估基础设施的安全性和稳定性至关重要。
• 监测和响应。公司需要充分了解工作流程、监控和响应是如何自动化、记录和审计的。任何审计记录都必须是安全的，特别是当它们可能包含机密或个人信息时。  
• 遵守。企业应确认供应商遵守 GDPR 和 CCPA 等法规，并且已获得 SOC2 和 ISO 27001 等认证。他们必须了解数据将在何处收集、存储和使用，以确保满足特定国家或特定州的要求。

安全地实现生成式人工智能的承诺

生成式人工智能具有巨大的潜力，几乎每天都会发现新的应用。虽然目前的能力已经很强大，但未来还有更大的潜力。

然而，这一承诺也伴随着风险，需要谨慎、持续的治理。 

安全建立信任并促进进步——本博客文章中的指导为组织评估和应对这些风险提供了一个起点。通过勤奋努力，公司可以尽早、安全地采用生成式人工智能，从而抢占先机，实现生成式人工智能现在和将来的优势。关键是通过安全和人工智能团队之间的持续合作来平衡创新和治理。

Blue Yonder 正在应用业界生成式人工智能安全的黄金标准——大型语言模型的 OWASP Top 10，来保护我们的解决方案。这意味着我们的客户可以自信地充分利用最新的技术创新，使他们的业务运行得更快、更智能。联系我们，讨论在您的供应链中实现安全生成 AI 的潜力。