Библиотеки Omniverse: Интеграција на физичка вештачка интелигенција за постоечки апликации

Откриени библиотеките на NVIDIA Omniverse: Овозможување интеграција на физичка вештачка интелигенција

На GTC 2026, NVIDIA објави значајна еволуција за својата Omniverse платформа, воведувајќи модуларна архитектура базирана на библиотеки, дизајнирана беспрекорно да ги интегрира напредните физички AI способности во постоечките апликации. Оваа промена на парадигмата се осврнува на критична потреба во индустрискиот и роботскиот развој, каде што монолитните извршни околини често ја попречуваат скалабилноста, headless распоредувањето и интеграцијата со воспоставените CI/CD системи. Со изложување на основните Omniverse компоненти — RTX рендерирање, симулација базирана на PhysX и цевководи за складирање податоци — како самостојни C API-и со C++ и Python врски, NVIDIA им овозможува на развивачите да вградат моќни функции за дигитални близнаци во реално време и физичка вештачка интелигенција без да бараат целосна архитектонска преработка. Оваа модуларност го демократизира пристапот до симулација со висока верност, правејќи ја физичката вештачка интелигенција остварлива реалност за поширок опсег на претпријатија.

Физичката вештачка интелигенција, дефинирана како AI системи кои перцепираат, расудуваат и дејствуваат во физички втемелени симулирани средини, брзо го трансформира начинот на кој индустриите дизајнираат и валидираат сложени системи. Од движења на роботски раце до цели распореди на фабрики, обуката и валидацијата на AI политики во дигитална близначка средина драстично ги намалува трошоците и ги забрзува развојните циклуси. Новите Omniverse библиотеки, вклучувајќи ги 'ovrtx', 'ovphysx' и 'ovstorage', се поставени да бидат камен-темелник на оваа трансформација, овозможувајќи им на бизнисите да го инфузираат својот комерцијален софтвер со најсовремената симулациска технологија на NVIDIA.

Модуларна архитектура за беспрекорна интеграција на физичка вештачка интелигенција

Воведувањето на архитектурата 'библиотека-најпрво' фундаментално го менува начинот на кој развивачите комуницираат со екосистемот NVIDIA Omniverse. Наместо да прифаќаат сеопфатна рамка за апликации, тимовите сега можат селективно да повикуваат Omniverse API-и за рендерирање, физика и складирање директно од нивните сопствени процеси и услуги. Овој пристап ги елиминира предизвиците поврзани со заклучување на рамката, зависности од корисничкиот интерфејс и архитектонска ригидност кои често го придружуваат прифаќањето на софтвер од големи размери.

Овој модуларен дизајн е особено корисен за развивачи со воспоставени софтверски стекови, овозможувајќи им да ги искористат моќните способности на Omniverse без деструктивни архитектонски преправки. Библиотеките се дизајнирани за headless-first распоредување, обезбедувајќи оптимални перформанси и скалабилност за бараните индустриски и роботски апликации. Овој стратешки потег од страна на NVIDIA ја нагласува посветеноста на флексибилноста и решенијата ориентирани кон развивачите, позиционирајќи го Omniverse како приспособлив сет на алатки за иднината на вештачката интелигенција.

Основните Omniverse библиотеки: ovrtx, ovphysx и ovstorage

Новонајавените библиотеки обезбедуваат посебни, но меѓусебно поврзани способности, секоја дизајнирана да реши специфични предизвици за интеграција во развојот на индустриски софтвер. Тие ги користат постоечките Omniverse компоненти како OpenUSD за опис на сцени и SimReady средства за висококвалитетни симулациски средини, обезбедувајќи кохезивно и моќно развојно искуство.

Библиотека	Клучни способности	Инженерско влијание
ovrtx	Висококвалитетно, високо-перформансно рендерирање со следење на патеката во реално време и симулација на сензори	Интегрира најсовремено RTX рендерирање директно во постоечките апликации, овозможувајќи мултимодална перцепција на роботиката, напредно генерирање синтетички податоци и високореалистични визуелни повратни информации за дигитални близнаци и симулирани средини.
ovphysx	Брза симулација на физика, изворно на USD	Додава лесна, хардверски забрзана симулација на физика во апликациите, олеснувајќи брза размена на податоци за обука по роботика, интеграција на контролна јамка во реално време и прецизни физички интеракции во сложени индустриски сценарија.
ovstorage	Унифицирани цевководи за физички AI податоци	Ги поврзува постоечките инфраструктури за складирање и PLM/PDM директно со Omniverse екосистемот преку библиотека управувана од API. Ова овозможува управување со дистрибуирани податоци од големи размери и високи перформанси, клучно избегнувајќи скапи и долготрајни рачни миграции на податоци за распоредувања на корпоративно ниво.

Овие библиотеки моментално се во ран пристап на GitHub и NGC, при што NVIDIA активно собира повратни информации и планира продукциско издание со API стабилност подоцна оваа година. Внатрешното тестирање во стекови со високи перформанси како NVIDIA Isaac Lab и Omniverse DSX Blueprint осигурува дека тие ги исполнуваат строгите корпоративни барања пред општата достапност.

Агентна оркестрација со Model Context Protocol (MCP)

За дополнително подобрување на корисноста на овие библиотеки, особено во полето на AI агенти во подем, Omniverse воведува способности за агентна оркестрација преку сервери на Model Context Protocol (MCP). Овие сервери се дизајнирани да ја направат симулацијата употреблива од агенти базирани на LLM со опишување на операциите — како вчитување USD сцени, уредување примитиви или чекорење низ симулации — во машински читлива шема. Ова им овозможува на AI алатките, како напредните LLM, безбедно и ефикасно да ги повикуваат Omniverse функционалностите.

Kit USD агентите, на пример, се збирка на MCP сервери за Kit, USD и OmniUI, овозможувајќи им на агентите да пребаруваат API-и, да генерираат код за сцени и да манипулираат со UI елементи или хиерархии на слоеви врз основа на текстуални описи на високо ниво. Ова им овозможува на развивачите да дефинираат софистицирани однесувања на агентите и заштитни мерки, ослободувајќи ја сложеноста на рачно поврзување на секој API повик за симулација. За скалирање на овие напредни работни текови, развивачите можат да го искористат NemoClaw, инфраструктурен стек за заедницата OpenClaw кој распоредува безбедни, автономни агенти во изолирани, политички заштитени sandbox-и. Овој развој го отвора патот за сè поавтономни и интелигентни симулациски средини, забрзувајќи го развојот на сложени физички AI системи и поддржувајќи моќни проценка на AI агенти за производство - практичен водич за евалите на Strands.

Брзиот почеток со Docker за MCP сервери го поедноставува распоредувањето, овозможувајќи им на развивачите да ги користат услугите за облачно хостирани embedder и reranker на NVIDIA без локални графички процесори, барајќи само NVIDIA API клуч.

Студија на случај: Оптимизирање на NVIDIA Isaac Lab со модуларни библиотеки

Практичните придобивки од овој модуларен пристап живописно се демонстрирани со тековната инженерска еволуција на NVIDIA Isaac Lab. Како рамка за симулација на роботика со високи перформанси, критична за засилено учење (RL), Isaac Lab бара екстремна скалабилност и детерминистичка контрола.

Со Isaac Lab 3.0 Beta, NVIDIA успешно го префрли својот основен слој од традиционалната монолитна Kit рамка на повеќе-бекенд модуларна архитектура. Ова им овозможува на развивачите да избираат помеѓу 'ovphysx' — самостојна библиотека која го обвиткува PhysX SDK — или Newton backend без Kit, напојуван од MuJoCo-Warp, во зависност од нивните специфични симулациски барања. Слично на тоа, страната за рендерирање сега располага со приклучен систем кој ги поддржува OVRTX, Isaac RTX, Newton Warp и лесни визуелизатори како Rerun и Viser. Оваа флексибилност осигурува дека Isaac Lab може да ги задоволи бараните потреби на истражувачите и инженерите по роботика, испорачувајќи експлицитна контрола на извршувањето, детерминистичка симулација и физички способности со висока густина, без глава, клучни за развој на најсовремена вештачка интелигенција. Ова ниво на контрола е од суштинско значење за создавање робустни забрзување на производството на токени во фабриките за вештачка интелигенција користејќи унифицирани услуги и вештачка интелигенција во реално време.

Иднината на интеграцијата на физичка вештачка интелигенција

Објавувањето на NVIDIA Omniverse библиотеките означува клучен момент за индустриските и роботските претпријатија. Со нудење детална патека со високи перформанси за интегрирање на физички AI способности, NVIDIA ги овластува компаниите да го забрзаат нивното патување кон дигитална трансформација. Индустриските лидери како ABB Robotics, PTC, Siemens и Synopsys веќе ги пилотираат овие библиотеки, интегрирајќи напредна симулација и создавање дигитални близнаци во нивните постоечки PLM/PDM и CI/CD системи. Ова широко распространето прифаќање сигнализира јасен тренд кон пофлексибилни, скалабилни и интелигентни развојни работни текови, каде што физичката вештачка интелигенција не е само аспирација, туку достапна, интегрирана реалност. Како што овие библиотеки се движат кон општа достапност, тие ветуваат дека ќе отклучат невидени нивоа на иновации низ дизајнот, инженерството и производството.

Оригинален извор

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Често поставувани прашања

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Бидете информирани

Добивајте ги најновите AI вести на е-пошта.

Сподели