Бібліотеки Omniverse: інтеграція фізичного ШІ в існуючі додатки

Бібліотеки NVIDIA Omniverse: представлення інтеграції фізичного ШІ

На GTC 2026 NVIDIA анонсувала значну еволюцію своєї платформи Omniverse, представивши модульну, бібліотечно-орієнтовану архітектуру, розроблену для безшовної інтеграції розширених можливостей фізичного ШІ в існуючі додатки. Ця зміна парадигми відповідає на критичну потребу в промисловій та робототехнічній розробці, де монолітні середовища виконання часто перешкоджають масштабованості, безголовій розгортці та інтеграції з усталеними системами CI/CD. Представляючи основні компоненти Omniverse — рендеринг RTX, моделювання на базі PhysX та конвеєри зберігання даних — як окремі C API з прив'язками C++ та Python, NVIDIA дозволяє розробникам вбудовувати потужні функції цифрового двійника в реальному часі та фізичного ШІ без необхідності повної архітектурної переробки. Ця модульність демократизує доступ до високоточного моделювання, роблячи фізичний ШІ реальною можливістю для ширшого кола підприємств.

Фізичний ШІ, визначений як системи ШІ, які сприймають, міркують та діють у фізично обґрунтованих змодельованих середовищах, швидко трансформує способи проектування та валідації складних систем у галузях. Від рухів роботизованих рук до цілих заводських макетів, навчання та валідація політик ШІ в середовищі цифрового двійника значно зменшує витрати та прискорює цикли розробки. Нові бібліотеки Omniverse, включаючи 'ovrtx', 'ovphysx' та 'ovstorage', стануть наріжним каменем цієї трансформації, дозволяючи компаніям наповнювати своє власне програмне забезпечення передовою технологією моделювання від NVIDIA.

Модульна архітектура для безшовної інтеграції фізичного ШІ

Впровадження архітектури "спочатку бібліотеки" докорінно змінює те, як розробники взаємодіють з екосистемою NVIDIA Omniverse. Замість того, щоб впроваджувати комплексний фреймворк додатків, команди тепер можуть вибірково викликати API рендерингу, фізики та зберігання даних Omniverse безпосередньо зі своїх власних процесів та служб. Такий підхід усуває проблеми, пов'язані з блокуванням фреймворку, залежностями від інтерфейсу користувача та архітектурною жорсткістю, які часто супроводжують широкомасштабне впровадження програмного забезпечення.

Цей модульний дизайн особливо корисний для розробників з усталеними програмними стеками, дозволяючи їм використовувати потужні можливості Omniverse без руйнівних архітектурних переробок. Бібліотеки розроблені для безголової розгортки, забезпечуючи оптимальну продуктивність та масштабованість для вимогливих промислових та робототехнічних додатків. Цей стратегічний крок NVIDIA підкреслює прихильність до гнучкості та рішень, орієнтованих на розробників, позиціонуючи Omniverse як адаптивний набір інструментів для майбутнього ШІ.

Основні бібліотеки Omniverse: ovrtx, ovphysx та ovstorage

Новоанонсовані бібліотеки надають відмінні, але взаємопов'язані можливості, кожна з яких розроблена для вирішення конкретних інтеграційних проблем у розробці промислового програмного забезпечення. Вони використовують існуючі компоненти Omniverse, такі як OpenUSD для опису сцен та активи SimReady для високоякісних середовищ моделювання, забезпечуючи цілісний та потужний досвід розробки.

Бібліотека	Ключові можливості	Інженерний вплив
ovrtx	Високоточне, високопродуктивне трасування шляхів та моделювання датчиків у реальному часі	Інтегрує найсучасніший рендеринг RTX безпосередньо в існуючі програми, дозволяючи мультимодальне сприйняття робототехнікою, розширену генерацію синтетичних даних та високий реалістичний візуальний зворотний зв'язок для цифрових двійників та змодельованих середовищ.
ovphysx	Високошвидкісне, USD-нативне моделювання фізики	Додає легке, апаратно-прискорене моделювання фізики до додатків, сприяючи високошвидкісному обміну даними для навчання робототехніки, інтеграції контуру керування в реальному часі та точним фізичним взаємодіям у складних промислових сценаріях.
ovstorage	Уніфіковані конвеєри даних фізичного ШІ	Підключає існуючу інфраструктуру зберігання та PLM/PDM безпосередньо до екосистеми Omniverse через бібліотеку на основі API. Це забезпечує широкомасштабне розподілене управління даними та високу продуктивність, що дозволяє уникнути дорогих та трудомістких ручних міграцій даних для розгортань корпоративного рівня.

Ці бібліотеки наразі знаходяться на ранньому доступі на GitHub та NGC, NVIDIA активно збирає відгуки та планує виробничий реліз зі стабільним API пізніше цього року. Внутрішнє тестування у високопродуктивних стеках, таких як NVIDIA Isaac Lab та Omniverse DSX Blueprint, гарантує, що вони відповідають суворим корпоративним вимогам перед загальною доступністю.

Агентна оркестровка за допомогою Model Context Protocol (MCP)

Для подальшого покращення корисності цих бібліотек, особливо в галузі агентів ШІ, що розвивається, Omniverse впроваджує можливості для агентної оркестровки через сервери Model Context Protocol (MCP). Ці сервери розроблені для того, щоб зробити моделювання доступним для агентів на основі LLM шляхом опису операцій — таких як завантаження USD-сцен, редагування примітивів або покрокове виконання симуляцій — у машинозчитуваній схемі. Це дозволяє інструментам ШІ, таким як розширені LLM, безпечно та ефективно викликати функціональні можливості Omniverse.

Агенти Kit USD, наприклад, є колекцією серверів MCP для Kit, USD та OmniUI, що дозволяє агентам переглядати API, генерувати код сцени та маніпулювати елементами інтерфейсу користувача або ієрархіями шарів на основі високорівневих текстових описів. Це дає розробникам можливість визначати складні поведінки агентів та захисні механізми, знімаючи складність ручного налаштування кожного виклику API моделювання. Для масштабування цих передових робочих процесів розробники можуть використовувати NemoClaw, інфраструктурний стек для спільноти OpenClaw, який розгортає безпечних, автономних агентів в ізольованих, захищених політиками пісочницях. Ця розробка відкриває шлях до все більш автономних та інтелектуальних середовищ моделювання, прискорюючи розробку складних систем фізичного ШІ та підтримуючи потужні оцінка-агентів-штучного-інтелекту-для-виробництва-практичний-посібник-із-оцінок-strands.

Швидкий старт з Docker для серверів MCP спрощує розгортання, дозволяючи розробникам використовувати хмарні послуги вбудовування та переранжування NVIDIA без локальних GPU, вимагаючи лише ключа API NVIDIA.

Приклад: оптимізація NVIDIA Isaac Lab за допомогою модульних бібліотек

Практичні переваги цього модульного підходу яскраво демонструє поточна інженерна еволюція NVIDIA Isaac Lab. Будучи високопродуктивним фреймворком для моделювання робототехніки, критично важливим для навчання з підкріпленням (RL), Isaac Lab вимагає екстремальної масштабованості та детермінованого контролю.

З Isaac Lab 3.0 Beta NVIDIA успішно перевела свій базовий рівень з традиційного монолітного фреймворку Kit на багатокомпонентну модульну архітектуру. Це дозволяє розробникам вибирати між 'ovphysx' — окремою бібліотекою, що обгортає SDK PhysX, — або бекендом Newton без Kit на базі MuJoCo-Warp, залежно від їхніх конкретних вимог до моделювання. Подібним чином, сторона рендерингу тепер має підключаєму систему, що підтримує OVRTX, Isaac RTX, Newton Warp та легкі візуалізатори, такі як Rerun та Viser. Ця гнучкість гарантує, що Isaac Lab може задовольнити високі вимоги дослідників та інженерів робототехніки, забезпечуючи явний контроль виконання, детерміноване моделювання та високощільні, безголові фізичні можливості, критично важливі для передової розробки ШІ. Цей рівень контролю є важливим для створення надійних прискорення-виробництва-токенів-на-фабриках-штучного-інтелекту-за-допомогою-уніфікованих-сервісів-та-штучного-інтелекту-в-реальному-часі.

Майбутнє інтеграції фізичного ШІ

Випуск бібліотек NVIDIA Omniverse знаменує переломний момент для промислових та робототехнічних підприємств. Пропонуючи деталізований, високопродуктивний шлях інтеграції можливостей фізичного ШІ, NVIDIA надає компаніям можливість прискорити свій шлях цифрової трансформації. Лідери галузі, такі як ABB Robotics, PTC, Siemens та Synopsys, вже тестують ці бібліотеки, інтегруючи розширене моделювання та створення цифрових двійників у свої існуючі системи PLM/PDM та CI/CD. Це широке впровадження свідчить про чітку тенденцію до більш гнучких, масштабованих та інтелектуальних робочих процесів розробки, де фізичний ШІ є не просто прагненням, а доступною, інтегрованою реальністю. Оскільки ці бібліотеки рухаються до загальної доступності, вони обіцяють розблокувати безпрецедентні рівні інновацій у дизайні, інженерії та виробництві.

Першоджерело

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Поширені запитання

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Будьте в курсі

Отримуйте найсвіжіші новини ШІ на пошту.

Поділитися