Библиотеките на Omniverse: Интеграция на физически ИИ в съществуващи приложения

NVIDIA Omniverse библиотеки представени: Овластяване на интеграцията на физически ИИ

На GTC 2026, NVIDIA обяви значителна еволюция за своята платформа Omniverse, представяйки модулна, базирана на библиотеки архитектура, предназначена за безпроблемно интегриране на напреднали възможности за физически ИИ в съществуващи приложения. Тази промяна на парадигмата отговаря на критична нужда в индустриалното и робототехническото развитие, където монолитните среди за изпълнение често възпрепятстват мащабируемостта, безглавото разгръщане и интеграцията с утвърдени CI/CD системи. Чрез излагане на основните компоненти на Omniverse – RTX рендериране, симулация, базирана на PhysX, и потоци за съхранение на данни – като самостоятелни C API с C++ и Python връзки, NVIDIA дава възможност на разработчиците да вградят мощни функционалности за цифрови близнаци в реално време и физически ИИ, без да е необходимо цялостно архитектурно преработване. Тази модулност демократизира достъпа до висококачествена симулация, превръщайки физическия ИИ в постижима реалност за по-широк кръг предприятия.

Физическият ИИ, дефиниран като ИИ системи, които възприемат, разсъждават и действат във физически обосновани симулирани среди, бързо трансформира начина, по който индустриите проектират и валидират сложни системи. От движения на роботизирани ръце до цели фабрични оформления, обучението и валидирането на ИИ политики в среда на цифров близнак драстично намалява разходите и ускорява циклите на разработка. Новите библиотеки на Omniverse, включително 'ovrtx', 'ovphysx' и 'ovstorage', са настроени да бъдат крайъгълен камък на тази трансформация, позволявайки на бизнеса да насити своя собствен софтуер с авангардната симулационна технология на NVIDIA.

Модулна архитектура за безпроблемна интеграция на физически ИИ

Въвеждането на архитектура, ориентирана към библиотеки, фундаментално променя начина, по който разработчиците взаимодействат с екосистемата на NVIDIA Omniverse. Вместо да приемат цялостна рамка за приложения, екипите вече могат избирателно да извикват Omniverse API за рендиране, физика и съхранение директно от собствените си процеси и услуги. Този подход елиминира предизвикателствата, свързани със заключване към рамка, UI зависимости и архитектурна твърдост, които често съпътстват широкомащабни софтуерни внедрявания.

Този модулен дизайн е особено полезен за разработчици с утвърдени софтуерни стекове, позволявайки им да използват мощните възможности на Omniverse без разрушителни архитектурни пренаписвания. Библиотеките са проектирани за разполагане без глава (headless-first), осигурявайки оптимална производителност и мащабируемост за взискателни индустриални и роботизирани приложения. Този стратегически ход на NVIDIA подчертава ангажимента към гъвкавост и решения, ориентирани към разработчиците, позиционирайки Omniverse като адаптивен набор от инструменти за бъдещето на ИИ.

Основните библиотеки на Omniverse: ovrtx, ovphysx и ovstorage

Новообявените библиотеки предоставят отделни, но взаимосвързани възможности, всяка от които е предназначена да решава специфични предизвикателства при интеграцията в разработката на индустриален софтуер. Те използват съществуващи компоненти на Omniverse като OpenUSD за описание на сцени и SimReady активи за висококачествени симулационни среди, осигурявайки кохезивно и мощно изживяване при разработката.

Библиотека	Основни възможности	Инженерен ефект
ovrtx	Висококачествено, високопроизводително проследяване на лъчи в реално време и симулация на сензори	Интегрира съвременно RTX рендиране директно в съществуващи приложения, позволявайки мултимодално възприятие на роботиката, генериране на напреднали синтетични данни и изключително реалистична визуална обратна връзка за цифрови близнаци и симулирани среди.
ovphysx	Високоскоростна, USD-нативна физическа симулация	Добавя лека, хардуерно ускорена физическа симулация към приложенията, улеснявайки високоскоростния обмен на данни за обучение по роботика, интеграция на контролни цикли в реално време и точни физически взаимодействия в сложни индустриални сценарии.
ovstorage	Единни потоци от данни за физически ИИ	Свързва съществуваща инфраструктура за съхранение и PLM/PDM директно към екосистемата на Omniverse чрез управлявана от API библиотека. Това позволява широкомащабно разпределено управление на данни и висока производителност, като критично избягва скъпи и отнемащи време ръчни миграции на данни за внедрявания на корпоративно ниво.

Тези библиотеки в момента са в ранен достъп на GitHub и NGC, като NVIDIA активно събира обратна връзка и планира продуктово издание със стабилност на API по-късно тази година. Вътрешното тестване във високопроизводителни стекове като NVIDIA Isaac Lab и Omniverse DSX Blueprint гарантира, че те отговарят на строгите корпоративни изисквания преди общата наличност.

Агентна оркестрация с Model Context Protocol (MCP)

За допълнително подобряване на полезността на тези библиотеки, особено в развиващата се област на ИИ агентите, Omniverse въвежда възможности за агентна оркестрация чрез сървъри на Model Context Protocol (MCP). Тези сървъри са проектирани да направят симулацията използваема от базирани на LLM агенти, като описват операции – като зареждане на USD сцени, редактиране на примитиви или преминаване през симулации – в машинночетима схема. Това позволява на ИИ инструменти, като напреднали LLM, безопасно и ефективно да извикват функционалности на Omniverse.

Агентите на Kit USD, например, са колекция от MCP сървъри за Kit, USD и OmniUI, позволяващи на агентите да преглеждат API, да генерират сценичен код и да манипулират UI елементи или йерархии на слоеве въз основа на високоуровневи текстови описания. Това дава възможност на разработчиците да дефинират сложни поведения на агенти и защитни механизми, премахвайки сложността от ръчно свързване на всяко API повикване за симулация. За мащабиране на тези напреднали работни процеси, разработчиците могат да използват NemoClaw, инфраструктурен стек за общността на OpenClaw, който разгръща сигурни, автономни агенти в изолирани, защитени с политики пясъчници. Това развитие проправя пътя за все по-автономни и интелигентни симулационни среди, ускорявайки развитието на сложни физически ИИ системи и подкрепяйки мощни оценяване-на-ии-агенти-за-производство-практическо-ръководство-за-strands-evals.

Бързият старт с Docker за MCP сървъри опростява разгръщането, позволявайки на разработчиците да използват облачно хостваните услуги за вграждане и пренареждане на NVIDIA без локални графични процесори, изисквайки само NVIDIA API ключ.

Казус: Оптимизиране на NVIDIA Isaac Lab с модулни библиотеки

Практическите ползи от този модулен подход са ярко демонстрирани от текущата инженерна еволюция на NVIDIA Isaac Lab. Като рамка за високопроизводителна робототехническа симулация, критична за обучение чрез подсилване (RL), Isaac Lab изисква екстремна мащабируемост и детерминистичен контрол.

С Isaac Lab 3.0 Beta, NVIDIA успешно премина от традиционната монолитна Kit рамка към многобекендова модулна архитектура. Това позволява на разработчиците да избират между 'ovphysx' – самостоятелна библиотека, обвиваща PhysX SDK – или бекенд Newton без Kit, задвижван от MuJoCo-Warp, в зависимост от техните специфични изисквания за симулация. Подобно на това, страната на рендирането сега разполага с плъгин система, поддържаща OVRTX, Isaac RTX, Newton Warp и леки визуализатори като Rerun и Viser. Тази гъвкавост гарантира, че Isaac Lab може да отговори на взискателните нужди на изследователите и инженерите по роботика, осигурявайки изричен контрол на изпълнението, детерминистична симулация и възможности за физика с висока плътност без глава, решаващи за авангардното развитие на ИИ. Това ниво на контрол е от съществено значение за създаване на стабилни ускорете-производството-на-токени-в-ии-фабрики-използвайки-унифицирани-услуги-и-ии-в-реално-време.

Бъдещето на интеграцията на физически ИИ

Пускането на библиотеките на NVIDIA Omniverse отбелязва ключов момент за индустриалните и робототехнически предприятия. Предлагайки детайлен, високопроизводителен път за интегриране на възможности за физически ИИ, NVIDIA дава възможност на компаниите да ускорят своето пътуване към цифрова трансформация. Индустриални лидери като ABB Robotics, PTC, Siemens и Synopsys вече пилотират тези библиотеки, интегрирайки напреднала симулация и създаване на цифрови близнаци в съществуващите си PLM/PDM и CI/CD системи. Това широко разпространение сигнализира за ясна тенденция към по-гъвкави, мащабируеми и интелигентни работни процеси за разработка, където физическият ИИ не е просто стремеж, а достъпна, интегрирана реалност. Докато тези библиотеки се движат към обща наличност, те обещават да отключат безпрецедентни нива на иновации в дизайна, инженеринга и производството.

Оригинален източник

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Често задавани въпроси

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Бъдете информирани

Получавайте последните AI новини по имейл.

Сподели