Библиотеки Omniverse: интеграция физического ИИ в существующие приложения

Представлены библиотеки NVIDIA Omniverse: расширение возможностей интеграции физического ИИ

На GTC 2026 NVIDIA анонсировала значительное развитие своей платформы Omniverse, представив модульную, основанную на библиотеках архитектуру, разработанную для бесшовной интеграции передовых возможностей физического ИИ в существующие приложения. Этот парадигматический сдвиг отвечает на критическую потребность в промышленной и робототехнической разработке, где монолитные среды выполнения часто препятствуют масштабируемости, безголовому развертыванию и интеграции с установленными системами CI/CD. Предоставляя основные компоненты Omniverse — рендеринг RTX, симуляцию на базе PhysX и конвейеры хранения данных — в виде автономных C API с привязками C++ и Python, NVIDIA позволяет разработчикам встраивать мощные функции цифровых двойников в реальном времени и физического ИИ без необходимости полной архитектурной переработки. Эта модульность демократизирует доступ к высокоточному моделированию, делая физический ИИ достижимой реальностью для более широкого круга предприятий.

Физический ИИ, определяемый как системы ИИ, которые воспринимают, рассуждают и действуют в физически обоснованных симулированных средах, быстро трансформирует то, как отрасли проектируют и валидируют сложные системы. От движений роботизированных манипуляторов до целых фабричных комплексов, обучение и валидация политик ИИ в среде цифрового двойника значительно сокращает затраты и ускоряет циклы разработки. Новые библиотеки Omniverse, включая 'ovrtx', 'ovphysx' и 'ovstorage', призваны стать краеугольным камнем этой трансформации, позволяя компаниям внедрять в свое проприетарное программное обеспечение передовые технологии симуляции NVIDIA.

Модульная архитектура для бесшовной интеграции физического ИИ

Введение архитектуры, ориентированной на библиотеки, кардинально меняет то, как разработчики взаимодействуют с экосистемой NVIDIA Omniverse. Вместо того чтобы использовать комплексную прикладную среду, команды теперь могут выборочно вызывать API рендеринга, физики и хранения данных Omniverse непосредственно из своих собственных процессов и служб. Такой подход устраняет проблемы, связанные с привязкой к фреймворку, зависимостями от пользовательского интерфейса и архитектурной жесткостью, которые часто сопутствуют внедрению крупномасштабного программного обеспечения.

Этот модульный дизайн особенно полезен для разработчиков с установленными программными стеками, позволяя им использовать мощные возможности Omniverse без разрушительных архитектурных переработок. Библиотеки спроектированы для безголового развертывания, обеспечивая оптимальную производительность и масштабируемость для требовательных промышленных и робототехнических приложений. Этот стратегический шаг NVIDIA подчеркивает приверженность гибкости и ориентированным на разработчиков решениям, позиционируя Omniverse как адаптируемый набор инструментов для будущего ИИ.

Основные библиотеки Omniverse: ovrtx, ovphysx и ovstorage

Недавно анонсированные библиотеки предоставляют отдельные, но взаимосвязанные возможности, каждая из которых разработана для решения конкретных интеграционных задач в разработке промышленного программного обеспечения. Они используют существующие компоненты Omniverse, такие как OpenUSD для описания сцен и активы SimReady для высококачественных сред симуляции, обеспечивая цельный и мощный опыт разработки.

Библиотека	Ключевые возможности	Инженерное влияние
ovrtx	Высокоточная, высокопроизводительная трассировка лучей в реальном времени и симуляция датчиков	Интегрирует передовой рендеринг RTX непосредственно в существующие приложения, обеспечивая мультимодальное восприятие робототехники, расширенную генерацию синтетических данных и высокореалистичную визуальную обратную связь для цифровых двойников и симулированных сред.
ovphysx	Высокоскоростное физическое моделирование, нативное для USD	Добавляет легкое, аппаратно-ускоренное физическое моделирование в приложения, облегчая высокоскоростной обмен данными для обучения робототехники, интеграцию контуров управления в реальном времени и точные физические взаимодействия в сложных промышленных сценариях.
ovstorage	Унифицированные конвейеры данных физического ИИ	Подключает существующую инфраструктуру хранения данных и PLM/PDM непосредственно к экосистеме Omniverse через библиотеку, управляемую API. Это обеспечивает крупномасштабное распределенное управление данными и высокую производительность, что крайне важно для избежания дорогостоящих и трудоемких ручных миграций данных для развертываний корпоративного уровня.

Эти библиотеки в настоящее время находятся в раннем доступе на GitHub и NGC, при этом NVIDIA активно собирает отзывы и планирует выпуск производственной версии со стабильным API позднее в этом году. Внутреннее тестирование в высокопроизводительных стеках, таких как NVIDIA Isaac Lab и Omniverse DSX Blueprint, гарантирует, что они соответствуют строгим требованиям предприятий до их общей доступности.

Агентская оркестровка с использованием Model Context Protocol (MCP)

Чтобы ещё больше повысить полезность этих библиотек, особенно в развивающейся области ИИ-агентов, Omniverse внедряет возможности агентской оркестровки через серверы Model Context Protocol (MCP). Эти серверы предназначены для того, чтобы сделать симуляцию пригодной для использования агентами на основе LLM, описывая операции — такие как загрузка USD-сцен, редактирование примитивов или выполнение шагов симуляции — в машиночитаемой схеме. Это позволяет инструментам ИИ, таким как продвинутые LLM, безопасно и эффективно вызывать функции Omniverse.

Агенты Kit USD, например, представляют собой набор серверов MCP для Kit, USD и OmniUI, позволяя агентам просматривать API, генерировать код сцен и манипулировать элементами пользовательского интерфейса или иерархиями слоев на основе высокоуровневых текстовых описаний. Это дает разработчикам возможность определять сложное поведение агентов и защитные механизмы, снимая сложность ручной настройки каждого вызова API симуляции. Для масштабирования этих передовых рабочих процессов разработчики могут использовать NemoClaw, инфраструктурный стек для сообщества OpenClaw, который развертывает безопасных автономных агентов в изолированных, защищенных политиками песочницах. Это развитие прокладывает путь к всё более автономным и интеллектуальным средам симуляции, ускоряя разработку сложных систем физического ИИ и поддерживая мощные оценки ИИ-агентов для производства: практическое руководство по Strands Evals.

Быстрый старт с Docker для серверов MCP упрощает развертывание, позволяя разработчикам использовать облачные сервисы встраивания и переранжирования NVIDIA без локальных графических процессоров, требуя только ключ NVIDIA API.

Пример: оптимизация NVIDIA Isaac Lab с помощью модульных библиотек

Практические преимущества этого модульного подхода ярко демонстрируются текущим инженерным развитием NVIDIA Isaac Lab. Как высокопроизводительная среда симуляции робототехники, критически важная для обучения с подкреплением (RL), Isaac Lab требует экстремальной масштабируемости и детерминированного контроля.

С выходом Isaac Lab 3.0 Beta NVIDIA успешно перевела свой базовый слой с традиционного монолитного фреймворка Kit на мультибэкендную модульную архитектуру. Это позволяет разработчикам выбирать между 'ovphysx' — автономной библиотекой, обёртывающей PhysX SDK — или безкомплектным бэкендом Newton на базе MuJoCo-Warp, в зависимости от их специфических требований к симуляции. Аналогично, сторона рендеринга теперь включает подключаемую систему, поддерживающую OVRTX, Isaac RTX, Newton Warp и легковесные визуализаторы, такие как Rerun и Viser. Эта гибкость гарантирует, что Isaac Lab может удовлетворить высокие потребности исследователей и инженеров в области робототехники, обеспечивая явное управление выполнением, детерминированную симуляцию и высокоплотные, безголовые физические возможности, критически важные для передовой разработки ИИ. Этот уровень контроля необходим для создания надежных систем ускорения производства токенов на фабриках ИИ с использованием унифицированных сервисов и ИИ в реальном времени.

Будущее интеграции физического ИИ

Выпуск библиотек NVIDIA Omniverse знаменует собой поворотный момент для промышленных и робототехнических предприятий. Предлагая гранулированный, высокопроизводительный путь для интеграции возможностей физического ИИ, NVIDIA дает компаниям возможность ускорить свой путь цифровой трансформации. Лидеры отрасли, такие как ABB Robotics, PTC, Siemens и Synopsys, уже тестируют эти библиотеки, интегрируя передовую симуляцию и создание цифровых двойников в свои существующие системы PLM/PDM и CI/CD. Это широкое внедрение сигнализирует о четкой тенденции к более гибким, масштабируемым и интеллектуальным рабочим процессам разработки, где физический ИИ является не просто стремлением, а доступной, интегрированной реальностью. По мере того как эти библиотеки приближаются к общей доступности, они обещают открыть беспрецедентные уровни инноваций в области проектирования, инженерии и производства.

Первоисточник

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Часто задаваемые вопросы

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Будьте в курсе

Получайте последние новости ИИ на почту.