Code Velocity
AI安全

NVIDIA NemoClaw:安全、常驻本地AI智能体

·7 分钟阅读·NVIDIA·原始来源
分享
运行OpenClaw和NemoClaw的NVIDIA DGX Spark系统,用于安全本地AI智能体部署

搭载NVIDIA的安全、常驻本地AI智能体崛起

人工智能的格局正迅速超越简单的问答系统。如今的AI智能体正在转变为复杂、长期运行的自主助手,能够读取文件、调用API并编排复杂的多步骤工作流。这种前所未有的能力虽然强大,但也带来了显著的安全和隐私挑战,尤其是在依赖第三方云基础设施时。NVIDIA通过其创新的开源堆栈NVIDIA NemoClaw,正面解决了这些问题。该解决方案利用NVIDIA OpenShell和OpenClaw,实现了安全、常驻本地AI智能体的部署,提供了对运行时环境的完全控制,并确保在您的私有硬件(例如NVIDIA DGX Spark)上的数据隐私。

本文将深入探讨开发者如何构建这样一个强大的AI助手,引导您完成从环境配置到将安全、沙盒化智能体与Telegram等外部通信平台集成的部署过程。核心重点是保持AI操作的隔离性和可信性,确保敏感数据永远不会离开您的本地设备。

理解NVIDIA NemoClaw的安全智能体架构

NVIDIA NemoClaw的核心是一个开源参考堆栈,经过精心设计,旨在编排和管理自主AI智能体,重点关注安全和本地部署。它汇集了多个强大组件,为您的AI创建了一个“围墙花园”,确保操作受限和受控。该生态系统围绕OpenShell构建,OpenShell提供关键的安全运行时,而OpenClaw则是在此安全环境中运行的多通道智能体框架。

NemoClaw不仅简化了从模型推理到交互式智能体功能的部署管道,还提供了引导式入门、生命周期管理、镜像强化和版本化蓝图。这种整体方法确保开发者能够自信地部署AI智能体,这些智能体可以执行代码和使用工具,而无需承担暴露敏感信息或启用无限制网络访问所带来的固有风险。NVIDIA Nemotron等开放模型的集成进一步巩固了对透明和可控AI未来的承诺。


组件是什么做什么何时使用
NVIDIA NemoClaw具有编排层和安装程序的参考堆栈安装带有策略和推理功能的OpenClaw和OpenShell。在更安全的沙盒中创建常驻助手的最快方式。
NVIDIA OpenShell安全运行时和网关强制执行安全边界(沙盒),管理凭据,并代理网络/API调用。当您需要一个“围墙花园”来运行智能体,而又不暴露敏感信息或启用无限制网络访问时。
OpenClaw多通道智能体框架驻留于沙盒内。管理聊天平台(Slack/Discord)、内存和工具集成。当您需要创建连接到消息应用和持久内存的长期运行智能体时。
NVIDIA Nemotron 3 Super 120B智能体优化型LLM(120B参数)提供“大脑”,具有高指令遵循和多步推理能力。适用于需要使用工具并遵循复杂工作流的生产级助手。
NVIDIA NIM / Ollama推理部署本地运行Nemotron模型如果您有GPU并希望本地运行LLM

表1. NVIDIA NemoClaw堆栈的架构组件

这种架构设计确保了即使AI智能体变得更加复杂和自主,其操作仍保持在明确定义的安全边界内,从而降低了数据泄露或未经授权访问等风险。

为本地AI设置您的DGX Spark环境

在NVIDIA DGX Spark (GB10)等强大平台上部署NVIDIA NemoClaw,需要特定的环境配置才能充分发挥其本地AI潜力。这确保了系统已为GPU加速的容器化工作负载做好准备,这对于高效安全地运行大型语言模型和智能体框架至关重要。

最初的步骤包括准备您的操作系统、Docker和NVIDIA容器运行时。您需要一个运行Ubuntu 24.04 LTS并带有最新NVIDIA驱动程序的DGX Spark系统。Docker,特别是28.x或更高版本,必须安装并配置为与NVIDIA的容器运行时无缝协作。这种集成对于允许Docker容器访问DGX Spark上强大的GPU至关重要。关键命令包括向Docker注册NVIDIA容器运行时,并将cgroup命名空间模式配置为'host',这是DGX Spark上最佳性能的要求。重启Docker并验证NVIDIA运行时功能是必要的验证步骤。此外,将您的用户添加到Docker组可以简化后续命令执行,无需使用sudo。这些基础步骤可确保您的安全本地AI智能体拥有稳定且高性能的环境。

本地部署Ollama和NVIDIA Nemotron 3 Super

NemoClaw本地AI智能体体验的基石是部署像Ollama这样的本地模型服务引擎,并结合强大的大型语言模型,如NVIDIA Nemotron 3 Super 120B。Ollama是一个轻量级、高效的平台,用于直接在您的硬件上运行LLM,这与NemoClaw强调本地推理和数据隐私的理念完美契合。

整个过程首先使用Ollama的官方安装程序安装Ollama。安装后,至关重要的是将Ollama配置为监听所有接口(0.0.0.0),而不仅仅是localhost。这是因为NemoClaw智能体在其沙盒内的自身网络命名空间中运行,需要跨这些网络边界与Ollama通信。验证Ollama的可访问性并确保它通过systemd启动是避免连接问题的关键步骤。下一个重要步骤是拉取NVIDIA Nemotron 3 Super 120B模型——这是一个大约87 GB的大型下载。下载完成后,通过运行一个快速会话ollama run nemotron-3-super:120b将模型权重预加载到GPU内存中,有助于消除冷启动延迟,确保您的AI智能体从首次交互开始就能迅速响应。这种本地部署策略保证了AI的“大脑”完全在您的本地运行,从而保持最大的控制和安全性。

使用OpenShell沙盒增强AI智能体安全性

能够执行代码并与外部系统交互的自主AI智能体存在固有的风险,因此需要强大的安全措施。NVIDIA OpenShell是NemoClaw安全架构的关键,提供重要的沙盒功能,为您的AI智能体创建一个强化的环境。OpenShell充当安全运行时和网关,对智能体强制执行严格的安全边界。这种“围墙花园”方法确保即使智能体尝试未经授权的操作,其功能也受到限制,不会危及主机系统或敏感数据。

OpenShell不仅安全地管理凭据,还智能地代理网络和API调用。这意味着智能体任何访问外部资源或执行操作的尝试都由预定义的策略进行调解和控制。它阻止智能体暴露敏感信息或获得不受限制的网络访问,这些是部署生成式AI时常见的担忧。尽管OpenShell提供了强大的隔离,但重要的是要记住,没有任何沙盒能绝对免疫于高级提示注入等复杂攻击。因此,NVIDIA建议在隔离系统上部署这些智能体,尤其是在尝试新工具或复杂工作流时。这种从本地推理到运行时沙盒的多层安全策略对于构建值得信赖和有弹性的AI应用程序至关重要。您可以了解更多关于如何通过设计智能体以抵抗提示注入的最佳实践来保护智能体AI的信息。

将您的自主AI智能体与Telegram连接

一个“常驻”AI智能体必须能够通过熟悉的通信渠道进行访问和响应。借助NVIDIA NemoClaw,将您安全沙盒化的自主AI助手与Telegram等消息平台集成是一个简化的过程。OpenClaw在OpenShell的安全范围内运行,充当了促进这种连接的多通道智能体框架。

要启用Telegram连接,用户通常会在Telegram的@BotFather上注册一个机器人,获得一个唯一的令牌,允许OpenClaw建立安全连接。一旦配置完成,您的本地AI智能体就可以从任何Telegram客户端访问,将其变成一个功能强大的交互式工具,能够直接从您偏好的消息应用执行多步工作流、检索信息和自动化任务。这种集成展示了NemoClaw如何弥合强大、安全的本地AI处理与便捷、现实世界实用性之间的鸿沟,同时保持您数据的完整性和隐私。

本地AI智能体为何对数据隐私和控制至关重要

在DGX Spark上使用NVIDIA NemoClaw和OpenClaw构建安全、常驻本地AI智能体的历程,突显了AI范式中的一个关键转变:数据隐私和操作控制的必要性。在一个数据泄露和专有信息担忧至关重要的时代,仅仅依赖基于云的AI解决方案可能会带来不可接受的风险。通过实现完整的本地推理,NemoClaw确保您的AI模型及其处理的敏感数据永远不会离开您的物理控制。这种本地部署方法从根本上最大限度地减少了攻击面,并消除了将您最有价值的资产委托给第三方云提供商的需求。

NVIDIA强大的硬件(如DGX Spark)与NemoClaw、OpenShell和OpenClaw精心设计的软件堆栈相结合,提供了无与伦比的安全级别。开发者可以完全掌控并定制其AI环境,从而能够实施特定的安全策略、管理访问控制并适应不断演变的威胁。这种能力不仅仅关乎安全;它关乎赋能。它使企业和个人能够部署功能强大、真正自主且至关重要的是完全受其掌控的尖端AI智能体。对于那些对智能体AI更广泛影响感兴趣的人,可以查阅智能体AI的运营化相关资源,以获取有关战略部署的进一步见解。AI的未来不仅智能,而且本质上是私密和可控的,本地AI智能体正引领着这一潮流。

常见问题

What is NVIDIA NemoClaw and how does it ensure AI agent security?
NVIDIA NemoClaw is an open-source reference stack designed to deploy secure, always-on local AI agents. It orchestrates NVIDIA OpenShell to run OpenClaw, a self-hosted gateway connecting messaging platforms to AI coding agents powered by models like NVIDIA Nemotron. Security is paramount, with NemoClaw enabling full local inference, meaning no data leaves the device. Furthermore, it incorporates robust sandboxing and isolation managed by OpenShell, which enforces safety boundaries, manages credentials, and proxies network/API calls, creating a 'walled garden' for agent execution and protecting sensitive information from external exposure.
What are the key components of the NemoClaw stack and their functions?
The NemoClaw stack comprises several critical components: NVIDIA NemoClaw acts as the orchestrator and installer for the entire system. NVIDIA OpenShell provides the security runtime and gateway, enforcing sandboxing and managing external interactions securely. OpenClaw is the multi-channel agent framework that operates within this secure sandbox, managing chat platforms (like Telegram), agent memory, and tool integration. The AI's 'brain' is provided by an agent-optimized Large Language Model, such as NVIDIA Nemotron 3 Super 120B, offering high instruction-following and multi-step reasoning capabilities. Finally, inference deployments like NVIDIA NIM or Ollama run the LLM locally on your GPU.
Why is local deployment on hardware like DGX Spark important for AI agents?
Local deployment on dedicated hardware like NVIDIA DGX Spark offers crucial advantages for AI agents, primarily centered around data privacy, security, and control. When agents operate locally, all inference happens on-premises, eliminating the need to send sensitive data to third-party cloud infrastructure. This minimizes privacy risks and ensures compliance with strict data governance policies. Furthermore, local deployment grants users full control over their runtime environment, allowing for custom security configurations, hardware-level isolation, and real-time policy management, which is essential for deploying autonomous agents that interact with local files or APIs securely.
What are the essential prerequisites for setting up NemoClaw on a DGX Spark system?
To deploy NemoClaw on an NVIDIA DGX Spark system, several prerequisites must be met. You need a DGX Spark (GB10) system running Ubuntu 24.04 LTS with the latest NVIDIA drivers. Docker version 28.x or higher is required, specifically configured with the NVIDIA container runtime to enable GPU acceleration. Ollama must be installed as the local model-serving engine. Lastly, for remote access, a Telegram bot token needs to be created through Telegram's @BotFather service. Proper configuration of these components ensures a smooth and secure setup process for your autonomous AI agent.
How does NemoClaw handle external connectivity and tool integration while maintaining security?
NemoClaw, through its OpenClaw component, manages external connectivity and tool integration while maintaining a high level of security. OpenClaw resides within a secure sandbox enforced by NVIDIA OpenShell. This sandboxing ensures that while the agent can connect to external messaging platforms like Telegram and utilize tools, its access to the underlying system resources and sensitive information is strictly controlled. OpenShell acts as a proxy, managing credentials and enforcing network and filesystem isolation. This means agents can interact with the outside world and execute code, but only within predefined, monitored, and real-time approved policy boundaries, preventing unrestricted access and potential data leakage.

保持更新

将最新AI新闻发送到您的收件箱。

分享