Omniverse-biblioteker: Fysisk AI-integration for eksisterende apps

NVIDIA Omniverse-biblioteker afsløret: Muliggør fysisk AI-integration

På GTC 2026 annoncerede NVIDIA en betydelig udvikling for sin Omniverse-platform, der introducerede en modulær, biblioteksbaseret arkitektur designet til problemfrit at integrere avancerede fysiske AI-kapaciteter i eksisterende applikationer. Dette paradigmeskift adresserer et kritisk behov inden for industriel og robotikudvikling, hvor monolitiske runtimes ofte hindrer skalerbarhed, headless udrulning og integration med etablerede CI/CD-systemer. Ved at eksponere kernen i Omniverse-komponenter – RTX-rendering, PhysX-baseret simulering og datalagrings-pipelines – som selvstændige C API'er med C++- og Python-bindinger, muliggør NVIDIA udviklere at indlejre kraftfulde realtids digitale tvilling- og fysiske AI-funktionaliteter uden at kræve en komplet arkitektonisk revision. Denne modularitet demokratiserer adgangen til højpræcisionssimulering, hvilket gør fysisk AI til en opnåelig virkelighed for en bredere vifte af virksomheder.

Fysisk AI, defineret som AI-systemer, der opfatter, ræsonnerer og handler inden for fysisk funderede simulerede miljøer, transformerer hurtigt, hvordan industrier designer og validerer komplekse systemer. Fra robotarmbevægelser til komplette fabrikslayout reducerer træning og validering af AI-politikker i et digitalt tvillingmiljø drastisk omkostninger og fremskynder udviklingscyklusser. De nye Omniverse-biblioteker, herunder 'ovrtx', 'ovphysx' og 'ovstorage', er sat til at være hjørnestenen i denne transformation, hvilket giver virksomheder mulighed for at tilføre deres proprietære software NVIDIAs banebrydende simuleringsteknologi.

Modulær arkitektur for problemfri fysisk AI-integration

Introduktionen af en biblioteksfokuseret arkitektur ændrer grundlæggende, hvordan udviklere interagerer med NVIDIA Omniverse-økosystemet. I stedet for at adoptere et omfattende applikationsrammeværk, kan teams nu selektivt kalde Omniverse-rendering-, fysik- og lager-API'er direkte fra deres egne processer og tjenester. Denne tilgang eliminerer udfordringerne forbundet med framework-låsning, UI-afhængigheder og arkitektonisk stivhed, der ofte ledsager storstilede softwareadoptioner.

Dette modulære design er særligt fordelagtigt for udviklere med etablerede softwarestakke, hvilket gør det muligt for dem at udnytte Omniverse's kraftfulde kapaciteter uden forstyrrende arkitektoniske omskrivninger. Bibliotekerne er designet til headless-først udrulning, hvilket sikrer optimal ydeevne og skalerbarhed for krævende industrielle og robotik-applikationer. Dette strategiske træk fra NVIDIA understreger en forpligtelse til fleksibilitet og udviklercentrerede løsninger, hvilket positionerer Omniverse som et tilpasningsdygtigt værktøjssæt for fremtidens AI.

Kernen i Omniverse-bibliotekerne: ovrtx, ovphysx og ovstorage

De nyligt annoncerede biblioteker leverer distinkte, men indbyrdes forbundne kapaciteter, der hver især er designet til at løse specifikke integrationsudfordringer inden for industriel softwareudvikling. De udnytter eksisterende Omniverse-komponenter som OpenUSD til scenebeskrivelse og SimReady-aktiver til simuleringsmiljøer af høj kvalitet, hvilket sikrer en sammenhængende og kraftfuld udviklingsoplevelse.

Bibliotek	Nøglekapaciteter	Ingeniørmæssig Indvirkning
ovrtx	Højpræcisions, højtydende realtids path-tracing og sensorsimulering	Integrerer topmoderne RTX-rendering direkte i eksisterende applikationer, hvilket muliggør multimodal robotik-perception, avanceret syntetisk datagenerering og yderst realistisk visuel feedback til digitale tvillinger og simulerede miljøer.
ovphysx	Højhastigheds, USD-native fysiksimulering	Tilføjer letvægts, hardware-accelereret fysiksimulering til applikationer, hvilket letter højhastighedsdataudveksling til robotiktræning, realtids-kontrolsløjfeintegration og nøjagtige fysiske interaktioner i komplekse industrielle scenarier.
ovstorage	Forenede fysiske AI-datastrømme	Forbinder eksisterende lager- og PLM/PDM-infrastruktur direkte til Omniverse-økosystemet via et API-drevet bibliotek. Dette muliggør storskala distribueret datastyring og høj ydeevne, hvilket afgørende undgår kostbare og tidskrævende manuelle datamigrationer for implementeringer på virksomhedsniveau.

Disse biblioteker er i øjeblikket i tidlig adgang på GitHub og NGC, hvor NVIDIA aktivt indsamler feedback og planlægger en produktionsudgivelse med API-stabilitet senere på året. Intern test i højtydende stakke som NVIDIA Isaac Lab og Omniverse DSX Blueprint sikrer, at de opfylder strenge virksomhedskrav før generel tilgængelighed.

Agentisk orkestrering med Model Context Protocol (MCP)

For yderligere at forbedre brugbarheden af disse biblioteker, især inden for det spirende felt af AI-agenter, introducerer Omniverse kapaciteter for agentisk orkestrering via Model Context Protocol (MCP)-servere. Disse servere er designet til at gøre simulering brugbar fra LLM-baserede agenter ved at beskrive operationer – såsom indlæsning af USD-scener, redigering af prims eller gennemgang af simuleringer – i et maskinlæsbart skema. Dette gør det muligt for AI-værktøjer, som avancerede LLM'er, sikkert og effektivt at kalde Omniverse-funktionaliteter.

Kit USD-agenterne er for eksempel en samling af MCP-servere for Kit, USD og OmniUI, der gør det muligt for agenter at gennemse API'er, generere scenekode og manipulere UI-elementer eller laghierarkier baseret på højniveau tekstbeskrivelser. Dette giver udviklere mulighed for at definere sofistikerede agentadfærd og beskyttelsesforanstaltninger, hvilket aflaster kompleksiteten ved manuelt at forbinde hvert simulerings-API-kald. For at skalere disse avancerede arbejdsgange kan udviklere udnytte NemoClaw, en infrastrukturstak for OpenClaw-fællesskabet, der implementerer sikre, autonome agenter inden for isolerede, politikbeskyttede sandkasser. Denne udvikling baner vejen for stadig mere autonome og intelligente simuleringsmiljøer, hvilket accelererer udviklingen af komplekse fysiske AI-systemer og understøtter kraftfulde evaluating-ai-agents-for-production-a-practical-guide-to-strands-evals.

Hurtig start med Docker for MCP-servere forenkler udrulningen, hvilket gør det muligt for udviklere at udnytte NVIDIAs skybaserede embedder- og reranker-tjenester uden lokale GPU'er, og kun kræver en NVIDIA API-nøgle.

Casestudie: Optimering af NVIDIA Isaac Lab med modulære biblioteker

De praktiske fordele ved denne modulære tilgang demonstreres levende af den igangværende ingeniørmæssige udvikling af NVIDIA Isaac Lab. Som et højtydende robotiksimuleringsrammeværk, der er afgørende for forstærkningslæring (RL), kræver Isaac Lab ekstrem skalerbarhed og deterministisk kontrol.

Med Isaac Lab 3.0 Beta har NVIDIA succesfuldt overført sit fundamentale lag fra det traditionelle monolitiske Kit-rammeværk til en multi-backend modulær arkitektur. Dette gør det muligt for udviklere at vælge mellem 'ovphysx' – et selvstændigt bibliotek, der indkapsler PhysX SDK – eller en Kit-løs Newton-backend drevet af MuJoCo-Warp, afhængigt af deres specifikke simuleringskrav. På samme måde har rendersiden nu et pluggbart system, der understøtter OVRTX, Isaac RTX, Newton Warp og letvægtsvisualisatorer som Rerun og Viser. Denne fleksibilitet sikrer, at Isaac Lab kan imødekomme de krævende behov hos robotikforskere og -ingeniører, ved at levere eksplicit eksekveringskontrol, deterministisk simulering og høj-densitets, headless fysik-kapaciteter, der er afgørende for banebrydende AI-udvikling. Dette kontrolniveau er essentielt for at skabe robuste accelerate-token-production-in-ai-factories-using-unified-services-and-real-time-ai.

Fremtiden for fysisk AI-integration

Udgivelsen af NVIDIA Omniverse-biblioteker markerer et afgørende øjeblik for industrielle og robotikvirksomheder. Ved at tilbyde en granulær, højtydende vej til at integrere fysiske AI-kapaciteter, giver NVIDIA virksomheder mulighed for at accelerere deres digitale transformationsrejse. Industrilede som ABB Robotics, PTC, Siemens og Synopsys pilottester allerede disse biblioteker og integrerer avanceret simulering og oprettelse af digitale tvillinger i deres eksisterende PLM/PDM- og CI/CD-systemer. Denne udbredte adoption signalerer en klar tendens mod mere fleksible, skalerbare og intelligente udviklingsarbejdsgange, hvor fysisk AI ikke kun er en ambition, men en tilgængelig, integreret virkelighed. Når disse biblioteker bevæger sig mod generel tilgængelighed, lover de at frigøre hidtil usete innovationsniveauer inden for design, ingeniørarbejde og produktion.

Original kilde

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Ofte stillede spørgsmål

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Hold dig opdateret

Få de seneste AI-nyheder i din indbakke.

Del