Omniverse bibliotekos: fizinio dirbtinio intelekto integravimas į esamas programas

NVIDIA Omniverse bibliotekos pristatomos: fizinio AI integravimo įgalinimas

2026 m. GTC konferencijoje NVIDIA paskelbė apie reikšmingą savo Omniverse platformos evoliuciją, pristatydama modulinę, bibliotekomis pagrįstą architektūrą, skirtą sklandžiai integruoti pažangias fizinio AI galimybes į esamas programas. Šis paradigmos poslinkis sprendžia kritinį poreikį pramonės ir robotikos plėtroje, kur monolitinės vykdymo aplinkos dažnai trukdo mastelio keitimui, veikimui be grafinės sąsajos (headless deployment) ir integravimui su nusistovėjusiomis CI/CD sistemomis. Atskleisdama pagrindinius Omniverse komponentus – RTX atvaizdavimą, PhysX pagrįstą modeliavimą ir duomenų saugojimo srautus – kaip atskirus C API su C++ ir Python susiejimais, NVIDIA leidžia kūrėjams įterpti galingas realaus laiko skaitmeninių dvynių ir fizinio AI funkcijas, nereikalaujant visiško architektūrinio pertvarkymo. Šis modularumas demokratizuoja prieigą prie aukšto tikslumo modeliavimo, paversdamas fizinį AI pasiekiama realybe platesniam įmonių ratui.

Fizinis AI, apibrėžiamas kaip AI sistemos, kurios suvokia, samprotauja ir veikia fiziškai pagrįstose modeliavimo aplinkose, sparčiai keičia, kaip pramonės šakos projektuoja ir patvirtina sudėtingas sistemas. Nuo robotų rankų judesių iki visų gamyklų išdėstymo, AI politikos mokymas ir patvirtinimas skaitmeninių dvynių aplinkoje drastiškai sumažina išlaidas ir pagreitina kūrimo ciklus. Naujosios Omniverse bibliotekos, įskaitant 'ovrtx', 'ovphysx' ir 'ovstorage', taps šios transformacijos pagrindu, leidžiančiu įmonėms į savo nuosavą programinę įrangą įdiegti pažangiausias NVIDIA modeliavimo technologijas.

Modulinė architektūra sklandžiam fizinio AI integravimui

Bibliotekomis pagrįstos architektūros įvedimas iš esmės keičia tai, kaip kūrėjai sąveikauja su NVIDIA Omniverse ekosistema. Vietoj to, kad priimtų visapusį programų karkasą, komandos dabar gali pasirinktinai iškviesti Omniverse atvaizdavimo, fizikos ir saugojimo API tiesiogiai iš savo procesų ir paslaugų. Šis metodas pašalina problemas, susijusias su priklausomybe nuo karkaso, UI priklausomybėmis ir architektūriniu standumu, kurios dažnai lydi didelio masto programinės įrangos diegimus.

Šis modulinis dizainas ypač naudingas kūrėjams, turintiems nusistovėjusias programinės įrangos sistemas, leidžiantis jiems pasinaudoti galingomis Omniverse galimybėmis be žalingų architektūrinių perrašymų. Bibliotekos sukurtos veikimui be grafinės sąsajos (headless-first deployment), užtikrinant optimalų našumą ir mastelį reiklioms pramonės ir robotikos programoms. Šis strateginis NVIDIA žingsnis pabrėžia įsipareigojimą lankstumui ir į kūrėją orientuotiems sprendimams, pozicionuojant Omniverse kaip adaptyvią įrankių rinkinį AI ateičiai.

Pagrindinės Omniverse bibliotekos: ovrtx, ovphysx ir ovstorage

Naujai paskelbtos bibliotekos teikia atskiras, bet tarpusavyje susijusias galimybes, kurių kiekviena sukurta spręsti konkrečias integravimo problemas pramoninės programinės įrangos kūrimo procese. Jos naudoja esamus Omniverse komponentus, tokius kaip OpenUSD scenos aprašymui ir SimReady turtą aukštos kokybės modeliavimo aplinkoms, užtikrindamos vientisą ir galingą kūrimo patirtį.

Biblioteka	Pagrindinės galimybės	Inžinerinis poveikis
ovrtx	Aukšto tikslumo, didelio našumo realaus laiko spindulių sekimo ir jutiklių modeliavimas	Integruoja pažangiausią RTX atvaizdavimą tiesiogiai į esamas programas, įgalindamas multimodalinį robotikos suvokimą, pažangų sintetinio duomenų generavimą ir labai realistišką vizualinį atsiliepimą skaitmeniniams dvyniams ir modeliuojamoms aplinkoms.
ovphysx	Didelės spartos, USD giminingas fizikos modeliavimas	Prideda lengvą, aparatinės įrangos pagreitintą fizikos modeliavimą programoms, palengvinantį spartų duomenų mainus robotikos mokymui, realaus laiko valdymo kilpos integravimą ir tikslias fizines sąveikas sudėtinguose pramoniniuose scenarijuose.
ovstorage	Unifikuoti fizinio AI duomenų srautai	Prijungia esamą saugyklos ir PLM/PDM infrastruktūrą tiesiogiai prie Omniverse ekosistemos per API valdomą biblioteką. Tai leidžia didelio masto paskirstytą duomenų valdymą ir aukštą našumą, kritiškai išvengiant brangių ir daug laiko reikalaujančių rankinių duomenų migracijų įmonių lygio diegimams.

Šios bibliotekos šiuo metu yra ankstyvos prieigos stadijoje GitHub ir NGC, o NVIDIA aktyviai renka atsiliepimus ir planuoja gamybos versiją su API stabilumu vėliau šiais metais. Vidinis testavimas didelio našumo sistemose, tokiose kaip NVIDIA Isaac Lab ir Omniverse DSX Blueprint, užtikrina, kad jos atitiks griežtus įmonių poreikius prieš tai, kai taps visuotinai prieinamos.

Agentinis orkestravimas su Model Context Protocol (MCP)

Siekdami dar labiau padidinti šių bibliotekų naudingumą, ypač besiformuojančioje AI agentų srityje, Omniverse pristato agentinio orkestravimo galimybes per Model Context Protocol (MCP) serverius. Šie serveriai skirti padaryti modeliavimą naudojamą LLM pagrįstais agentais, aprašant operacijas – tokias kaip USD scenų įkėlimas, primų redagavimas arba žingsniavimas per modeliavimus – mašininiu būdu skaitomoje schemoje. Tai leidžia AI įrankiams, tokiems kaip pažangūs LLM, saugiai ir efektyviai iškviesti Omniverse funkcijas.

Pavyzdžiui, Kit USD agentai yra MCP serverių rinkinys, skirtas Kit, USD ir OmniUI, leidžiantis agentams naršyti API, generuoti scenos kodą ir manipuliuoti UI elementais ar sluoksnių hierarchijomis, remiantis aukšto lygio tekstiniais aprašymais. Tai suteikia kūrėjams galimybę apibrėžti sudėtingą agentų elgesį ir apsaugos mechanizmus, sumažinant kiekvieno modeliavimo API iškvietimo rankinio programavimo sudėtingumą. Norėdami mastelio didinti šiuos pažangius darbo srautus, kūrėjai gali pasinaudoti NemoClaw, infrastruktūros sistema, skirta OpenClaw bendruomenei, kuri diegia saugius, autonominius agentus izoliuotose, politika apsaugotose smėlio dėžėse. Ši plėtra atveria kelią vis autonomiškesnėms ir išmanesnėms modeliavimo aplinkoms, pagreitindama sudėtingų fizinio AI sistemų kūrimą ir palaikydama galingą evaluating-ai-agents-for-production-a-practical-guide-to-strands-evals.

Greitas startas su Docker, skirtas MCP serveriams, supaprastina diegimą, leidžiant kūrėjams naudoti NVIDIA debesyje hostinamas įterpimo ir pertvarkymo paslaugas be vietinių GPU, reikalaujant tik NVIDIA API rakto.

Atvejo analizė: NVIDIA Isaac Lab optimizavimas su modulinėmis bibliotekomis

Praktinė šio modulinio požiūrio nauda aiškiai parodoma tebesitęsiančioje NVIDIA Isaac Lab inžinerinėje evoliucijoje. Kaip didelio našumo robotikos modeliavimo sistema, kritiškai svarbi mokymuisi su pastiprinimu (RL), Isaac Lab reikalauja ekstremalaus mastelio ir deterministinio valdymo.

Su Isaac Lab 3.0 Beta, NVIDIA sėkmingai perkėlė savo pagrindinį sluoksnį iš tradicinės monolitinės Kit sistemos į kelių backendų modulinę architektūrą. Tai leidžia kūrėjams pasirinkti tarp 'ovphysx' – atskiros bibliotekos, apgaubiančios PhysX SDK – arba Newton (be Kit) backend'o, varomo MuJoCo-Warp, atsižvelgiant į jų konkrečius modeliavimo reikalavimus. Panašiai, atvaizdavimo pusė dabar pasižymi prijungiama sistema, palaikančia OVRTX, Isaac RTX, Newton Warp ir lengvus vizualizatorius, tokius kaip Rerun ir Viser. Šis lankstumas užtikrina, kad Isaac Lab gali patenkinti griežtus robotikos tyrinėtojų ir inžinierių poreikius, suteikdamas aiškų vykdymo valdymą, deterministinį modeliavimą ir didelio tankio, be grafinės sąsajos fizikos galimybes, kritiškai svarbias pažangiam AI kūrimui. Toks valdymo lygis yra būtinas kuriant tvirtus accelerate-token-production-in-ai-factories-using-unified-services-and-real-time-ai.

Fizinio AI integravimo ateitis

NVIDIA Omniverse bibliotekų išleidimas žymi esminį momentą pramonės ir robotikos įmonėms. Siūlydama granuliuotą, didelio našumo kelią integruoti fizinio AI galimybes, NVIDIA įgalina įmones paspartinti savo skaitmeninės transformacijos kelionę. Pramonės lyderiai, tokie kaip ABB Robotics, PTC, Siemens ir Synopsys, jau bando šias bibliotekas, integruodami pažangų modeliavimą ir skaitmeninių dvynių kūrimą į savo esamas PLM/PDM ir CI/CD sistemas. Šis plačiai paplitęs diegimas signalizuoja aiškią tendenciją lankstesnių, keičiamo mastelio ir išmanesnių kūrimo darbo srautų link, kur fizinis AI yra ne tik siekiamybė, bet ir prieinama, integruota realybė. Artėjant šioms bibliotekoms prie visuotinio prieinamumo, jos žada atverti precedento neturinčius inovacijų lygius projektavimo, inžinerijos ir gamybos srityse.

Originalus šaltinis

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Dažniausiai užduodami klausimai

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Būkite informuoti

Gaukite naujausias AI naujienas el. paštu.

Dalintis