使用Amazon Bedrock Guardrails保护你的DeepSeek模型部署

生成式AI的快速发展带来了强大的公开可用大型语言模型（LLMs），例如DeepSeek-R1，使其成为创新的前沿。DeepSeek-R1模型现已通过Amazon Bedrock Marketplace和Amazon SageMaker JumpStart提供访问，其精炼变体则通过Amazon Bedrock Custom Model Import提供。根据DeepSeek AI的说法，这些模型在推理、编码和自然语言理解方面表现出色。然而，与所有模型一样，在生产环境中部署它们需要仔细考虑数据隐私要求、适当地管理输出中的偏见，以及建立强大的监控和控制机制。

采用开源、开放权重模型（如DeepSeek-R1）的组织有机会解决几个关键问题：

• 加强安全措施以防止潜在的滥用，可参考资源如OWASP LLM Top 10和MITRE Atlas
• 确保保护敏感信息
• 促进负责任的内容生成实践
• 努力遵守相关行业法规

在医疗、金融和政府服务等高度监管的行业中，这些问题尤为关键，因为数据隐私和内容准确性至关重要。
这篇博文提供了使用Amazon Bedrock Guardrails为DeepSeek-R1及其他开放权重模型实施强大安全保护的全面指南。我们将探讨：

• 如何利用Amazon Bedrock提供的安全功能保护你的数据和应用程序
• 实施防护措施以防止提示攻击并过滤有害内容的实用方法
• 实施强大的纵深防御策略

通过遵循本指南，你将学习如何利用DeepSeek模型的先进功能，同时保持强大的安全控制并促进道德AI实践。无论你是开发面向客户的生成式AI应用程序还是内部工具，这些实施模式都将帮助你满足安全和负责任AI的要求。通过遵循这一步步方法，组织可以按照AI安全和安保的最佳实践部署开放权重LLMs（如DeepSeek-R1）。

DeepSeek模型及其在Amazon Bedrock上的部署

专注于开放权重基础AI模型的公司DeepSeek AI最近推出了其DeepSeek-R1模型，根据其paper，这些模型在推理能力和行业基准测试中表现出色。根据第三方评估，这些模型在多个指标中始终名列前三，包括质量指数、科学推理和知识、定量推理以及编码（HumanEval）。
该公司进一步通过发布基于Llama和Qwen架构的六种密集模型扩展了其产品组合，这些模型已成为开放权重模型。这些模型现已通过亚马逊云科技的生成式AI解决方案提供访问：DeepSeek-R1可通过Amazon Bedrock Marketplace和SageMaker Jumpstart使用，而基于Llama的精炼版本可通过Amazon Bedrock Custom Model Import实施。可以注册亚马逊云科技账号进行体验：点击注册

Amazon Bedrock提供了全面的security features，以帮助保护开源和开放权重模型的托管和运行，同时保持数据隐私和法规遵从。主要功能包括静态和传输中的数据加密、细粒度访问控制、安全连接选项以及各种compliance认证。此外，Amazon Bedrock提供内容过滤和敏感信息保护的防护措施，以支持负责任的AI使用。亚马逊云科技通过广泛的平台级安全和合规措施增强了这些功能：

• 使用Amazon Key Management Service (Amazon KMS)进行静态和传输中的数据加密
• 通过Amazon Identity and Access Management (IAM)进行访问管理
• 通过Amazon Virtual Private Cloud (Amazon VPC)部署、VPC endpoints和Amazon Network Firewall进行网络安全，以进行TLS检查和严格的政策规则
• Service control policies (SCPs)用于亚马逊云科技账户级治理
• Security groups和network access control lists（NACLs）用于访问限制
• Compliance certifications，包括HIPAA、SOC、ISO和GDPR
• 在Amazon GovCloud (US-West)中的Amazon Bedrock获得FedRAMP High授权
• 通过Amazon CloudWatch和Amazon CloudTrail进行监控和日志记录

组织应根据其特定的合规性和安全需求定制这些安全设置，以部署到生产环境。亚马逊云科技作为其安全流程的一部分，对所有模型容器进行漏洞扫描，并仅接受Safetensors格式的模型，以帮助防止不安全的代码执行。

Amazon Bedrock Guardrails

Amazon Bedrock Guardrails提供了可配置的防护措施，以帮助大规模安全地构建生成式AI应用程序。Amazon Bedrock Guardrails还可以与其他Amazon Bedrock工具集成，包括Amazon Bedrock Agents和Amazon Bedrock Knowledge Bases，以构建更安全、更符合负责任AI政策的生成式AI应用程序。要了解更多信息，请参阅Amazon Responsible AI页面。

核心功能

Amazon Bedrock Guardrails可以通过两种方式使用。首先，它可以直接与InvokeModel和Converse API调用集成，在推理过程中对输入提示和模型输出应用防护措施。这种方法适用于通过Amazon Bedrock Marketplace和Amazon Bedrock Custom Model Import托管在Amazon Bedrock上的模型。或者，ApplyGuardrail API提供了更灵活的方法，允许independent evaluation of content，无需调用模型。这种第二种方法适用于在应用程序的各个阶段评估输入或输出，适用于Amazon Bedrock之外的自定义或第三方模型。这两种方法使开发人员能够实施定制的防护措施，以适应其用例并与负责任的AI政策保持一致，确保生成式AI应用程序中的安全和合规交互。

关键Amazon Bedrock Guardrails策略

Amazon Bedrock Guardrails提供了以下可配置的防护策略，以帮助大规模安全地构建生成式AI应用程序：

• 内容过滤器
  • 可调节的有害内容过滤强度
  • 预定义类别：Hate、Insults、Sexual Content、Violence、Misconduct和Prompt Attacks
  • 多模态内容，包括文本和图像（预览）
• 主题过滤器
  • 限制特定主题的能力
  • 防止查询和响应中出现未经授权的主题
• 词语过滤器
  • 屏蔽特定词语、短语和亵渎语言
  • 针对冒犯性语言或竞争对手提及的自定义过滤器
• 敏感信息过滤器
  • 个人身份信息（PII）屏蔽或掩码
  • 支持自定义正则表达式模式
  • 对标准格式（如SSN、DOB和地址）的概率检测
• 上下文基础检查
  • 通过来源验证检测幻觉
  • 查询相关性验证
• 防止幻觉的自动化推理检查（受限预览）

其他功能

与模型无关的实施：

• 兼容所有Amazon Bedrock基础模型
• 支持微调模型
• 通过ApplyGuardrail API扩展到外部自定义和第三方模型

这一全面框架帮助客户实施负责任的AI，在各种生成式AI应用程序中保持内容安全和用户隐私。

解决方案概述

1. 防护配置
   • 创建针对你的用例定制的特定策略的防护，并配置这些策略。

2. 与InvokeModel API集成
   • 在你的请求中调用带有防护标识符的Amazon Bedrock InvokeModel API。
   • 当你进行API调用时，Amazon Bedrock会对输入和输出应用指定的防护。

3. 防护评估过程

1. 1. 输入评估：在将提示发送给模型之前，防护会根据配置的策略评估用户输入。
   2. 并行策略检查：为了改善延迟，输入会针对每个配置的策略并行评估。
   3. 输入干预：如果输入违反任何防护策略，将返回预配置的屏蔽消息，并丢弃模型推理。
   4. 模型推理：如果输入通过防护检查，提示将被发送到指定的模型进行推理。
   5. 输出评估：在模型生成响应后，防护会根据配置的策略评估输出。
   6. 输出干预：如果模型响应违反任何防护策略，将根据策略屏蔽并返回预配置消息，或掩盖敏感信息。
   7. 响应交付：如果输出通过所有防护检查，响应将不经修改地返回给应用程序

先决条件

在使用Amazon Bedrock Custom Model Import功能导入模型之前设置防护，确保满足以下先决条件：

• 拥有访问Amazon Bedrock的亚马逊云科技账户，以及具有所需权限的必要IAM角色。为集中访问管理，我们建议你使用Amazon IAM Identity Center。
• 确保已使用Amazon Bedrock Custom Model Import服务导入自定义模型。为说明，我们将使用DeepSeek-R1-Distill-Llama-8B，它可以通过Amazon Bedrock Custom Model Import导入。你有以下两种部署此模型的选项：
  • 按照Deploy DeepSeek-R1 distilled Llama models中的说明部署DeepSeek的精炼Llama模型。
  • 使用Amazon-samples提供的笔记本进行部署。

你可以使用Amazon Management Console创建防护，如本blog post中所述。或者，你可以按照此notebook提供程序化示例，了解如何在此解决方案中创建防护。此笔记本执行以下操作：

1. 安装所需的依赖项
2. 使用boto3 API和过滤器创建防护，以满足前面提到的用例。
3. 为导入的模型配置分词器。
4. 使用提示测试Amazon Bedrock Guardrails，展示各种Amazon Bedrock防护过滤器的作用。

这种方法将防护集成到用户输入和模型输出中，确保在交互的两个阶段拦截任何潜在有害或不当内容。对于使用Amazon Bedrock Custom Model Import、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart导入的开放权重精炼模型，需实施的关键过滤器包括提示攻击、内容审核、主题限制和敏感信息保护。

使用亚马逊云科技服务实施纵深防御策略

虽然Amazon Bedrock Guardrails提供了必要的内容和提示安全控制，但在部署任何基础模型（特别是像DeepSeek-R1这样的开放权重模型）时，实施全面的纵深防御策略至关重要。有关与OWASP Top 10 for LLMs一致的纵深防御方法的详细指导，请参阅我们之前的blog post，关于构建安全的生成式AI应用程序。
关键亮点包括：

• 通过从安全角度出发，发展组织的韧性
• 使用亚马逊云科技服务构建安全的云基础
• 在多个信任边界应用分层防御策略
• 解决LLM应用程序的OWASP Top 10风险
• 在整个AI/ML生命周期中实施安全最佳实践
• 结合AI和机器学习（AI/ML）特定功能使用亚马逊云科技安全服务
• 考虑不同视角并将安全与业务目标对齐
• 准备并缓解提示注入和数据污染等风险

模型级控制（防护）与纵深防御策略的结合创造了一个强大的安全态势，可以帮助防范：

• 数据泄露尝试
• 未经授权访问微调模型或训练数据
• 模型实施中的潜在漏洞
• AI代理和集成的恶意使用

我们建议在部署任何新的AI/ML解决方案之前，使用Amazon guidance for generative AI workloads进行彻底的威胁建模练习。这有助于将安全控制与特定风险场景和业务需求对齐。

结论

为包括DeepSeek-R1模型在内的LLMs实施安全保护对于维护安全和道德的AI环境至关重要。通过结合Amazon Bedrock InvokeModel API和ApplyGuardrails API使用Amazon Bedrock Guardrails，你可以帮助减轻与高级语言模型相关的风险，同时仍利用其强大功能。然而，重要的是要认识到，模型级保护只是全面安全策略的一个组成部分。
本文概述的策略解决了使用Amazon Bedrock Custom Model Import、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart托管在Amazon Bedrock上的各种开放权重模型常见的几个关键安全问题。这些包括对提示注入攻击的潜在漏洞、有害内容的生成以及最近评估中识别的其他风险。通过结合防护措施和纵深防御方法，组织可以显著降低滥用风险，并更好地使其AI应用程序与道德标准和法规要求保持一致。

随着AI技术的不断发展，优先考虑生成式AI的安全和负责任使用至关重要。Amazon Bedrock Guardrails提供了一个可配置且强大的框架，用于实施这些防护措施，使开发人员能够根据其特定用例和组织政策定制保护措施。我们强烈建议使用亚马逊云科技指导对你的AI工作负载进行彻底的威胁建模，以评估安全风险，并在整个技术堆栈中实施适当的控制。

请记住，定期审查和更新不仅是你的防护措施，还有所有安全控制，以应对新的潜在漏洞，并帮助防范AI安全快速发展的环境中不断出现的新威胁。虽然今天我们关注的是DeepSeek-R1模型，但AI领域在不断发展，新的模型定期出现。Amazon Bedrock Guardrails结合亚马逊云科技安全服务和最佳实践，提供了一个一致的安全框架，可以适应保护你当前的和未来的各种开放权重模型的生成式AI应用程序。通过将安全视为评估、改进和适应的持续过程，组织可以自信地部署创新AI解决方案，同时保持强大的安全控制。如需访问更多产品，请访问亚马逊云科技官网。