Omniverse 库：将物理 AI 集成到现有应用中

title: "Omniverse 库：将物理 AI 集成到现有应用中" slug: "integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries" date: "2026-04-11" lang: "zh" source: "https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/" category: "开发者工具" keywords:

NVIDIA Omniverse
物理AI
数字孪生
机器人仿真
模块化架构
ovrtx
ovphysx
ovstorage
C API
Python绑定
智能体编排
Isaac Lab meta_description: "NVIDIA Omniverse 库提供模块化架构，可将物理 AI 功能集成到现有应用中。利用 ovrtx、ovphysx 和 ovstorage 实现高保真模拟、实时物理和统一数据管道，从而赋能数字孪生创建和智能体编排。" image: "/images/articles/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries.png" image_alt: "NVIDIA Omniverse 模块化库将物理 AI 功能集成到现有应用中，以实现实时数字孪生仿真。" quality_score: 94 content_score: 93 seo_score: 95 companies:
NVIDIA schema_type: "NewsArticle" reading_time: 7 faq:
question: "NVIDIA Omniverse 库是什么？它们为开发者解决了哪些问题？" answer: "NVIDIA Omniverse 库代表了一种全新的模块化架构，它将 Omniverse 的核心组件（如 RTX 渲染 (ovrtx)、基于 PhysX 的仿真 (ovphysx) 和数据存储管道 (ovstorage)）作为独立的 C API 暴露出来，并提供 C++ 和 Python 绑定。这种方法允许开发者将特定的高保真物理 AI 功能直接集成到他们现有的工业和机器人软件堆栈中，而无需采用整个 Omniverse 平台。这解决了单体运行时面临的挑战，实现了更好的可扩展性、无头部署以及与现有 CI/CD 系统和应用框架的无缝集成，显著减少了对大量架构重写的需求。"
question: "‘ovrtx’、‘ovphysx’ 和 ‘ovstorage’ 如何通过物理 AI 功能增强现有应用？" answer: "‘ovrtx’、‘ovphysx’ 和 ‘ovstorage’ 三者为物理 AI 集成提供了独特而互补的功能。‘ovrtx’ 提供高保真、实时路径追踪渲染和传感器仿真，这对于多模态机器人感知和合成数据生成至关重要。‘ovphysx’ 提供高速、USD 原生物理仿真，这对于机器人训练和实时控制循环必不可少。‘ovstorage’ 建立统一的物理 AI 数据管道，允许将现有 PLM/PDM 基础设施无缝连接到 Omniverse，从而促进大规模分布式数据管理并避免耗费巨大的人工数据迁移成本。这些库共同实现了高级仿真和数据管理的精细化、高性能集成。"
question: "模型上下文协议 (MCP) 是什么？它如何在 Omniverse 中促进智能体编排？" answer: "模型上下文协议 (MCP) 是 Omniverse 中的一个关键机制，它使基于 LLM 的智能体能够与物理 AI 仿真进行交互和编排。MCP 服务器以机器可读的模式描述操作（例如，加载 USD 场景、编辑基元、步进仿真）。这使得由大型语言模型驱动的智能体能够根据高级描述浏览可用 API、生成场景代码和操纵仿真元素。通过处理对 Omniverse 的低级远程过程调用 (RPC)，MCP 使开发者能够专注于定义复杂的智能体行为和防护措施，从而显著扩展和自动化物理 AI 的复杂仿真工作流程。"
question: "NVIDIA Isaac Lab 如何从向模块化、基于库的架构转型中受益？" answer: "NVIDIA Isaac Lab 作为用于强化学习的高性能机器人仿真框架，在 3.0 Beta 版本中通过转向由 ovphysx 和 ovrtx 支持的模块化架构，显著受益。这一转变实现了显式执行控制、确定性仿真，以及在不依赖 UI 的情况下运行高密度无头物理的能力。开发者现在可以根据其仿真需求灵活选择 ‘ovphysx’ 或无 Kit 的 Newton 后端，并可利用支持 OVRTX、Isaac RTX 和其他可视化工具的可插拔渲染器系统。这种模块化确保了 Isaac Lab 能够满足高级机器人训练对极致可扩展性和确定性控制的要求。"
question: "哪些主要工业公司目前正在试用 NVIDIA Omniverse 库，目的是什么？" answer: "ABB Robotics、PTC、Siemens 和 Synopsys 等领先工业公司目前正在试用 NVIDIA Omniverse 库。这些公司正在利用模块化架构，将高保真仿真、先进数字孪生创建和可扩展物理 AI 功能直接集成到其现有的设计、工程和制造工作流程中。这使他们能够在实际原型构建之前验证机器人设计、优化工业系统并增强产品生命周期管理 (PLM/PDM) 和持续集成/持续部署 (CI/CD) 系统，这标志着向 AI 驱动的工业转型迈出了重要一步。"
question: "与针对现有应用的完整 Omniverse 容器堆栈相比，使用 Omniverse 库有哪些直接优势？" answer: "与针对现有应用的完整容器堆栈相比，使用 Omniverse 库的直接优势包括显著减少架构摩擦和加快集成速度。开发者可以有选择地将特定的 Omniverse 功能（如高级渲染或物理仿真）嵌入到他们当前的软件中，而无需进行重大改造。这种方法允许无头部署、更好的仿真可扩展性以及直接的张量化数据交换。它解决了以前的瓶颈，例如框架锁定、UI 依赖和架构僵化，为在已建立的工业和机器人生态系统中利用 NVIDIA 强大的物理 AI 技术提供了一条简化路径。"


## NVIDIA Omniverse 库亮相：赋能物理 AI 集成

在 GTC 2026 大会上，NVIDIA 宣布其 Omniverse 平台实现重大演进，引入了模块化、基于库的架构，旨在将先进的物理 AI 功能无缝集成到现有应用中。这一范式转变解决了工业和机器人开发中的一个关键需求，即单体运行时经常阻碍可扩展性、无头部署以及与既有 CI/CD 系统的集成。通过将 Omniverse 的核心组件——RTX 渲染、基于 PhysX 的仿真和数据存储管道——作为带有 C++ 和 Python 绑定的独立 C API 暴露出来，NVIDIA 使开发者能够嵌入强大的实时数字孪生和物理 AI 功能，而无需进行彻底的架构改造。这种模块化使高保真仿真变得普及，让更广泛的企业能够实现物理 AI。

物理 AI 被定义为在物理基础的模拟环境中感知、推理和行动的 AI 系统，它正在迅速改变各行业设计和验证复杂系统的方式。从机械臂运动到整个工厂布局，在数字孪生环境中训练和验证 AI 策略可以显著降低成本并加速开发周期。包括 'ovrtx'、'ovphysx' 和 'ovstorage' 在内的新 Omniverse 库将成为这一转型的基石，使企业能够将 NVIDIA 的尖端仿真技术融入其专有软件中。

## 用于无缝物理 AI 集成的模块化架构

以库为优先的架构的引入，从根本上改变了开发者与 NVIDIA Omniverse 生态系统互动的方式。团队现在可以从他们自己的进程和服务中直接选择性地调用 Omniverse 的渲染、物理和存储 API，而不是采用一个全面的应用框架。这种方法消除了与框架锁定、UI 依赖和架构僵化相关的挑战，这些挑战经常伴随着大规模软件的采用。

这种模块化设计对拥有成熟软件堆栈的开发者尤其有利，使他们能够利用 Omniverse 强大的功能，而无需进行颠覆性的架构重写。这些库专为无头优先部署而设计，确保了对要求严苛的工业和机器人应用的最佳性能和可扩展性。NVIDIA 的这一战略举措强调了对灵活性和以开发者为中心的解决方案的承诺，将 Omniverse 定位为面向 AI 未来的一种适应性工具集。

## 核心 Omniverse 库：ovrtx、ovphysx 和 ovstorage

新发布的库提供了独特但相互关联的功能，每个都旨在解决工业软件开发中的特定集成挑战。它们利用现有的 Omniverse 组件，例如 [OpenUSD](https://www.nvidia.com/zh-cn/glossary/openusd/) 进行场景描述，以及 SimReady 资产以提供高质量的仿真环境，从而确保提供一个内聚且强大的开发体验。

| 库      | 关键功能                                                     | 工程影响                                                                                                                                                                                                                                                                                       |
| :----------- | :------------------------------------------------------------------- | :------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **ovrtx**    | 高保真、高性能实时路径追踪和传感器仿真 | 将最先进的 RTX 渲染直接集成到现有应用中，支持多模态机器人感知、高级合成数据生成，以及为数字孪生和仿真环境提供高度真实的视觉反馈。                                                                  |
| **ovphysx**  | 高速、USD 原生物理仿真                            | 为应用添加轻量级、硬件加速的物理仿真，促进机器人训练的高速数据交换、实时控制循环集成，以及复杂工业场景中的精确物理交互。                                                                     |
| **ovstorage**| 统一的物理 AI 数据管道                                   | 通过 API 驱动的库将现有存储和 PLM/PDM 基础设施直接连接到 Omniverse 生态系统。这实现了大规模分布式数据管理和高性能，关键是避免了企业级部署中耗时费力的人工数据迁移。 |

这些库目前已在 GitHub 和 NGC 上提供抢先体验，NVIDIA 正在积极收集反馈，并计划于今年晚些时候发布具有 API 稳定性的生产版本。在 [NVIDIA Isaac Lab](https://developer.nvidia.com/zh/isaac/lab) 和 Omniverse DSX Blueprint 等高性能堆栈中的内部测试确保了它们在普遍可用之前能够满足严苛的企业需求。

## 通过模型上下文协议 (MCP) 进行智能体编排

为了进一步增强这些库的实用性，特别是在新兴的 AI 智能体领域，Omniverse 引入了通过模型上下文协议 (MCP) 服务器进行智能体编排的功能。这些服务器旨在通过以机器可读的模式描述操作（例如加载 USD 场景、编辑基元或逐步进行仿真），使基于 LLM 的智能体能够使用仿真。这使得像高级 LLM 这样的 AI 工具能够安全有效地调用 Omniverse 功能。

例如，Kit USD 智能体是一组用于 Kit、USD 和 OmniUI 的 MCP 服务器，它使智能体能够根据高级文本描述浏览 API、生成场景代码并操纵 UI 元素或层级结构。这使得开发者能够定义复杂的智能体行为和防护措施，从而减轻了手动连接每个仿真 API 调用的复杂性。为了扩展这些高级工作流程，开发者可以利用 [NemoClaw](https://nvidianews.nvidia.com/news/nvidia-announces-nemoclaw)——一个为 OpenClaw 社区提供的基础设施堆栈，它在隔离的、受策略保护的沙箱中部署安全的自主智能体。这一发展为日益自主和智能的仿真环境铺平了道路，加速了复杂物理 AI 系统的开发，并支持强大的[评估生产环境中的 AI 智能体：Strands 评估实用指南](/zh/evaluating-ai-agents-for-production-a-practical-guide-to-strands-evals)。

通过 Docker 快速启动 MCP 服务器简化了部署，允许开发者在没有本地 GPU 的情况下使用 NVIDIA 云托管的嵌入器和重排器服务，仅需要一个 NVIDIA API 密钥。

## 案例研究：使用模块化库优化 NVIDIA Isaac Lab

NVIDIA Isaac Lab 持续的工程演进生动地展示了这种模块化方法的实际优势。作为对[强化学习](https://www.nvidia.com/zh-cn/glossary/reinforcement-learning/) (RL) 至关重要的高性能机器人仿真框架，Isaac Lab 要求极高的可扩展性和确定性控制。

随着 Isaac Lab 3.0 Beta 的发布，NVIDIA 已成功将其基础层从传统的单体 Kit 框架过渡到多后端模块化架构。这使得开发者可以根据其特定的仿真需求，选择 'ovphysx'（一个封装了 PhysX SDK 的独立库）或由 MuJoCo-Warp 支持的无 Kit Newton 后端。同样，渲染端现在具有一个可插拔系统，支持 OVRTX、Isaac RTX、Newton Warp 以及 Rerun 和 Viser 等轻量级可视化工具。这种灵活性确保了 Isaac Lab 能够满足机器人研究人员和工程师的严苛需求，提供显式执行控制、确定性仿真和高密度、无头物理能力，这对于尖端 AI 开发至关重要。这种控制水平对于创建强大的[利用统一服务和实时 AI 加速 AI 工厂中的令牌生产](/zh/accelerate-token-production-in-ai-factories-using-unified-services-and-real-time-ai)至关重要。

## 物理 AI 集成的未来

NVIDIA Omniverse 库的发布标志着工业和机器人企业的一个关键时刻。通过提供一条精细化、高性能的物理 AI 功能集成路径，NVIDIA 正在赋能企业加速其数字化转型之旅。ABB Robotics、PTC、Siemens 和 Synopsys 等行业领导者已经在使用这些库进行试用，将高级仿真和数字孪生创建集成到他们现有的 PLM/PDM 和 CI/CD 系统中。这种广泛采用预示着一种向更灵活、可扩展和智能的开发工作流程发展的明确趋势，其中物理 AI 不再仅仅是一种愿望，而是一个可访问的、集成的现实。随着这些库走向全面可用，它们有望在设计、工程和制造领域解锁前所未有的创新水平。

原始来源

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

常见问题

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

保持更新

将最新AI新闻发送到您的收件箱。