马春杰杰 Exit Reader Mode

使用Amazon Bedrock Guardrails保护你的DeepSeek模型部署

马春杰杰

生成式AI的快速发展带来了强大的公开可用大型语言模型（LLMs），例如DeepSeek-R1，使其成为创新的前沿。DeepSeek-R1模型现已通过Amazon Bedrock Marketplace和Amazon SageMaker JumpStart提供访问，其精炼变体则通过Amazon Bedrock Custom Model Import提供。根据DeepSeek AI的说法，这些模型在推理、编码和自然语言理解方面表现出色。然而，与所有模型一样，在生产环境中部署它们需要仔细考虑数据隐私要求、适当地管理输出中的偏见，以及建立强大的监控和控制机制。

采用开源、开放权重模型（如DeepSeek-R1）的组织有机会解决几个关键问题：

在医疗、金融和政府服务等高度监管的行业中，这些问题尤为关键，因为数据隐私和内容准确性至关重要。
这篇博文提供了使用Amazon Bedrock Guardrails为DeepSeek-R1及其他开放权重模型实施强大安全保护的全面指南。我们将探讨：

通过遵循本指南，你将学习如何利用DeepSeek模型的先进功能，同时保持强大的安全控制并促进道德AI实践。无论你是开发面向客户的生成式AI应用程序还是内部工具，这些实施模式都将帮助你满足安全和负责任AI的要求。通过遵循这一步步方法，组织可以按照AI安全和安保的最佳实践部署开放权重LLMs（如DeepSeek-R1）。

DeepSeek模型及其在Amazon Bedrock上的部署

专注于开放权重基础AI模型的公司DeepSeek AI最近推出了其DeepSeek-R1模型，根据其paper，这些模型在推理能力和行业基准测试中表现出色。根据第三方评估，这些模型在多个指标中始终名列前三，包括质量指数、科学推理和知识、定量推理以及编码（HumanEval）。
该公司进一步通过发布基于Llama和Qwen架构的六种密集模型扩展了其产品组合，这些模型已成为开放权重模型。这些模型现已通过亚马逊云科技的生成式AI解决方案提供访问：DeepSeek-R1可通过Amazon Bedrock Marketplace和SageMaker Jumpstart使用，而基于Llama的精炼版本可通过Amazon Bedrock Custom Model Import实施。可以注册亚马逊云科技账号进行体验：点击注册

Amazon Bedrock提供了全面的security features，以帮助保护开源和开放权重模型的托管和运行，同时保持数据隐私和法规遵从。主要功能包括静态和传输中的数据加密、细粒度访问控制、安全连接选项以及各种compliance认证。此外，Amazon Bedrock提供内容过滤和敏感信息保护的防护措施，以支持负责任的AI使用。亚马逊云科技通过广泛的平台级安全和合规措施增强了这些功能：

组织应根据其特定的合规性和安全需求定制这些安全设置，以部署到生产环境。亚马逊云科技作为其安全流程的一部分，对所有模型容器进行漏洞扫描，并仅接受Safetensors格式的模型，以帮助防止不安全的代码执行。

Amazon Bedrock Guardrails

Amazon Bedrock Guardrails提供了可配置的防护措施，以帮助大规模安全地构建生成式AI应用程序。Amazon Bedrock Guardrails还可以与其他Amazon Bedrock工具集成，包括Amazon Bedrock Agents和Amazon Bedrock Knowledge Bases，以构建更安全、更符合负责任AI政策的生成式AI应用程序。要了解更多信息，请参阅Amazon Responsible AI页面。

核心功能

Amazon Bedrock Guardrails可以通过两种方式使用。首先，它可以直接与InvokeModel和Converse API调用集成，在推理过程中对输入提示和模型输出应用防护措施。这种方法适用于通过Amazon Bedrock Marketplace和Amazon Bedrock Custom Model Import托管在Amazon Bedrock上的模型。或者，ApplyGuardrail API提供了更灵活的方法，允许independent evaluation of content，无需调用模型。这种第二种方法适用于在应用程序的各个阶段评估输入或输出，适用于Amazon Bedrock之外的自定义或第三方模型。这两种方法使开发人员能够实施定制的防护措施，以适应其用例并与负责任的AI政策保持一致，确保生成式AI应用程序中的安全和合规交互。

关键Amazon Bedrock Guardrails策略

Amazon Bedrock Guardrails提供了以下可配置的防护策略，以帮助大规模安全地构建生成式AI应用程序：

其他功能

与模型无关的实施：

这一全面框架帮助客户实施负责任的AI，在各种生成式AI应用程序中保持内容安全和用户隐私。

解决方案概述

  1. 防护配置
    • 创建针对你的用例定制的特定策略的防护，并配置这些策略。
  1. 与InvokeModel API集成
    • 在你的请求中调用带有防护标识符的Amazon Bedrock InvokeModel API。
    • 当你进行API调用时，Amazon Bedrock会对输入和输出应用指定的防护。
  1. 防护评估过程
    1. 输入评估：在将提示发送给模型之前，防护会根据配置的策略评估用户输入。
    2. 并行策略检查：为了改善延迟，输入会针对每个配置的策略并行评估。
    3. 输入干预：如果输入违反任何防护策略，将返回预配置的屏蔽消息，并丢弃模型推理。
    4. 模型推理：如果输入通过防护检查，提示将被发送到指定的模型进行推理。
    5. 输出评估：在模型生成响应后，防护会根据配置的策略评估输出。
    6. 输出干预：如果模型响应违反任何防护策略，将根据策略屏蔽并返回预配置消息，或掩盖敏感信息。
    7. 响应交付：如果输出通过所有防护检查，响应将不经修改地返回给应用程序

先决条件

在使用Amazon Bedrock Custom Model Import功能导入模型之前设置防护，确保满足以下先决条件：

你可以使用Amazon Management Console创建防护，如本blog post中所述。或者，你可以按照此notebook提供程序化示例，了解如何在此解决方案中创建防护。此笔记本执行以下操作：

  1. 安装所需的依赖项
  2. 使用boto3 API和过滤器创建防护，以满足前面提到的用例。
  3. 为导入的模型配置分词器。
  4. 使用提示测试Amazon Bedrock Guardrails，展示各种Amazon Bedrock防护过滤器的作用。

这种方法将防护集成到用户输入和模型输出中，确保在交互的两个阶段拦截任何潜在有害或不当内容。对于使用Amazon Bedrock Custom Model Import、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart导入的开放权重精炼模型，需实施的关键过滤器包括提示攻击、内容审核、主题限制和敏感信息保护。

使用亚马逊云科技服务实施纵深防御策略

虽然Amazon Bedrock Guardrails提供了必要的内容和提示安全控制，但在部署任何基础模型（特别是像DeepSeek-R1这样的开放权重模型）时，实施全面的纵深防御策略至关重要。有关与OWASP Top 10 for LLMs一致的纵深防御方法的详细指导，请参阅我们之前的blog post，关于构建安全的生成式AI应用程序。
关键亮点包括：

模型级控制（防护）与纵深防御策略的结合创造了一个强大的安全态势，可以帮助防范：

我们建议在部署任何新的AI/ML解决方案之前，使用Amazon guidance for generative AI workloads进行彻底的威胁建模练习。这有助于将安全控制与特定风险场景和业务需求对齐。

结论

为包括DeepSeek-R1模型在内的LLMs实施安全保护对于维护安全和道德的AI环境至关重要。通过结合Amazon Bedrock InvokeModel API和ApplyGuardrails API使用Amazon Bedrock Guardrails，你可以帮助减轻与高级语言模型相关的风险，同时仍利用其强大功能。然而，重要的是要认识到，模型级保护只是全面安全策略的一个组成部分。
本文概述的策略解决了使用Amazon Bedrock Custom Model Import、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart托管在Amazon Bedrock上的各种开放权重模型常见的几个关键安全问题。这些包括对提示注入攻击的潜在漏洞、有害内容的生成以及最近评估中识别的其他风险。通过结合防护措施和纵深防御方法，组织可以显著降低滥用风险，并更好地使其AI应用程序与道德标准和法规要求保持一致。

随着AI技术的不断发展，优先考虑生成式AI的安全和负责任使用至关重要。Amazon Bedrock Guardrails提供了一个可配置且强大的框架，用于实施这些防护措施，使开发人员能够根据其特定用例和组织政策定制保护措施。我们强烈建议使用亚马逊云科技指导对你的AI工作负载进行彻底的威胁建模，以评估安全风险，并在整个技术堆栈中实施适当的控制。

请记住，定期审查和更新不仅是你的防护措施，还有所有安全控制，以应对新的潜在漏洞，并帮助防范AI安全快速发展的环境中不断出现的新威胁。虽然今天我们关注的是DeepSeek-R1模型，但AI领域在不断发展，新的模型定期出现。Amazon Bedrock Guardrails结合亚马逊云科技安全服务和最佳实践，提供了一个一致的安全框架，可以适应保护你当前的和未来的各种开放权重模型的生成式AI应用程序。通过将安全视为评估、改进和适应的持续过程，组织可以自信地部署创新AI解决方案，同时保持强大的安全控制。如需访问更多产品，请访问亚马逊云科技官网。

 收藏 (0)