Code Velocity
Utvecklarverktyg

Omniverse-bibliotek: Fysisk AI-integration för befintliga appar

·7 min läsning·NVIDIA·Originalkälla
Dela
NVIDIA Omniverse modulära bibliotek integrerar fysiska AI-funktioner i befintliga applikationer för realtids simulering av digitala tvillingar.

NVIDIA Omniverse-bibliotek avslöjas: Möjliggör fysisk AI-integration

Vid GTC 2026 tillkännagav NVIDIA en betydande utveckling för sin Omniverse-plattform, genom att introducera en modulär, biblioteksbaserad arkitektur designad för att sömlöst integrera avancerade fysiska AI-funktioner i befintliga applikationer. Detta paradigmskifte adresserar ett kritiskt behov inom industri- och robotikutveckling, där monolitiska körtider ofta hindrar skalbarhet, huvudlös driftsättning och integration med etablerade CI/CD-system. Genom att exponera Omniverse-kärnkomponenter – RTX-rendering, PhysX-baserad simulering och datalagringspipelines – som fristående C API:er med C++- och Python-bindningar, möjliggör NVIDIA för utvecklare att bädda in kraftfulla realtidsbaserade digitala tvillingar och fysiska AI-funktioner utan att kräva en fullständig arkitektonisk omvandling. Denna modularitet demokratiserar tillgången till högfientlig simulering, vilket gör fysisk AI till en uppnåelig verklighet för ett bredare spektrum av företag.

Fysisk AI, definierad som AI-system som uppfattar, resonerar och agerar inom fysiskt förankrade simulerade miljöer, förändrar snabbt hur industrier designar och validerar komplexa system. Från robotarmrörelser till hela fabrikslayouter, träning och validering av AI-policys i en digital tvillingmiljö minskar drastiskt kostnader och påskyndar utvecklingscyklerna. De nya Omniverse-biblioteken, inklusive 'ovrtx', 'ovphysx' och 'ovstorage', är inställda på att vara hörnstenen i denna transformation, vilket gör det möjligt för företag att infoga sin egenutvecklade programvara med NVIDIAs banbrytande simuleringsteknik.

Modulär arkitektur för sömlös fysisk AI-integration

Introduktionen av en biblioteksförst-arkitektur förändrar i grunden hur utvecklare interagerar med NVIDIA Omniverse-ekosystemet. Istället för att anta ett omfattande applikationsramverk kan team nu selektivt anropa Omniverse renderings-, fysik- och lagrings-API:er direkt från sina egna processer och tjänster. Detta tillvägagångssätt eliminerar de utmaningar som är förknippade med ramverkslåsning, UI-beroenden och arkitektonisk stelhet som ofta följer med storskaliga mjukvaruadoptioner.

Denna modulära design är särskilt fördelaktig för utvecklare med etablerade mjukvarustackar, vilket gör att de kan dra nytta av Omniverse kraftfulla funktioner utan störande arkitektoniska omskrivningar. Biblioteken är konstruerade för huvudlös driftsättning, vilket säkerställer optimal prestanda och skalbarhet för krävande industriella och robotikapplikationer. Detta strategiska drag från NVIDIA understryker ett engagemang för flexibilitet och utvecklarcentrerade lösningar, vilket positionerar Omniverse som en anpassningsbar verktygsuppsättning för framtidens AI.

De viktigaste Omniverse-biblioteken: ovrtx, ovphysx och ovstorage

De nyligen tillkännagivna biblioteken tillhandahåller distinkta men sammanlänkade funktioner, var och en utformad för att lösa specifika integrationsutmaningar inom industriell mjukvaruutveckling. De använder befintliga Omniverse-komponenter som OpenUSD för scenbeskrivning och SimReady-tillgångar för högkvalitativa simuleringsmiljöer, vilket säkerställer en sammanhängande och kraftfull utvecklingsupplevelse.

BibliotekViktiga funktionerTeknisk inverkan
ovrtxHögfientlig, högpresterande realtids path-tracing och sensimuleringIntegrerar toppmodern RTX-rendering direkt i befintliga applikationer, vilket möjliggör multimodal robotikuppfattning, avancerad syntetisk datagenerering och mycket realistisk visuell feedback för digitala tvillingar och simulerade miljöer.
ovphysxHöghastighets, USD-inbyggd fysiksimuleringLägger till lättviktig, hårdvaruaccelererad fysiksimulering till applikationer, vilket underlättar höghastighetsdatautbyte för robotikträning, realtids kontrollslingeintegration och exakta fysiska interaktioner i komplexa industriella scenarier.
ovstorageEnhetliga fysiska AI-datapipelinesAnsluter befintlig lagrings- och PLM/PDM-infrastruktur direkt till Omniverse-ekosystemet via ett API-drivet bibliotek. Detta möjliggör storskalig distribuerad datahantering och hög prestanda, vilket är avgörande för att undvika kostsamma och tidskrävande manuella datamigreringar för företagsnivåimplementeringar.

Dessa bibliotek är för närvarande i tidig åtkomst på GitHub och NGC, med NVIDIA som aktivt samlar in feedback och planerar en produktionsversion med API-stabilitet senare i år. Interna tester i högpresterande stackar som NVIDIA Isaac Lab och Omniverse DSX Blueprint säkerställer att de uppfyller stränga företagskrav före allmän tillgänglighet.

Agentisk orkestrering med Model Context Protocol (MCP)

För att ytterligare förbättra användbarheten av dessa bibliotek, särskilt inom det framväxande fältet av AI-agenter, introducerar Omniverse funktioner för agentisk orkestrering via Model Context Protocol (MCP)-servrar. Dessa servrar är utformade för att göra simulering användbar från LLM-baserade agenter genom att beskriva operationer – såsom att ladda USD-scener, redigera prims eller stega genom simuleringar – i ett maskinläsbart schema. Detta gör att AI-verktyg, som avancerade LLM:er, säkert och effektivt kan anropa Omniverse-funktioner.

Kit USD-agenterna, till exempel, är en samling MCP-servrar för Kit, USD och OmniUI, vilket gör det möjligt för agenter att bläddra bland API:er, generera scenkod och manipulera UI-element eller lagerhierarkier baserat på högnivåtextuella beskrivningar. Detta ger utvecklare möjlighet att definiera sofistikerade agentbeteenden och skyddsräcken, vilket avlastar komplexiteten med att handkoppla varje simulerings-API-anrop. För att skala dessa avancerade arbetsflöden kan utvecklare dra nytta av NemoClaw, en infrastrukturstack för OpenClaw-communityn som distribuerar säkra, autonoma agenter inom isolerade, policy-skyddade sandlådor. Denna utveckling banar väg för allt mer autonoma och intelligenta simuleringsmiljöer, vilket påskyndar utvecklingen av komplexa fysiska AI-system och stöder kraftfull evaluating-ai-agents-for-production-a-practical-guide-to-strands-evals.

En snabbstart med Docker för MCP-servrar förenklar driftsättningen, vilket gör det möjligt för utvecklare att använda NVIDIAs molnbaserade embedder- och reranker-tjänster utan lokala GPU:er, vilket endast kräver en NVIDIA API-nyckel.

Fallstudie: Optimering av NVIDIA Isaac Lab med modulära bibliotek

De praktiska fördelarna med detta modulära tillvägagångssätt demonstreras tydligt av den pågående tekniska utvecklingen av NVIDIA Isaac Lab. Som ett högpresterande ramverk för robotsimulering, avgörande för förstärkningsinlärning (RL), kräver Isaac Lab extrem skalbarhet och deterministisk kontroll.

Med Isaac Lab 3.0 Beta har NVIDIA framgångsrikt övergått sin grundläggande lager från det traditionella monolitiska Kit-ramverket till en modulär arkitektur med flera backends. Detta gör det möjligt för utvecklare att välja mellan 'ovphysx' – ett fristående bibliotek som omsluter PhysX SDK – eller en kit-lös Newton-backend driven av MuJoCo-Warp, beroende på deras specifika simuleringskrav. På renderingssidan finns nu ett pluggbart system som stöder OVRTX, Isaac RTX, Newton Warp och lättviktsvisualiserare som Rerun och Viser. Denna flexibilitet säkerställer att Isaac Lab kan möta de krävande behoven hos robotikforskare och ingenjörer, genom att leverera explicit exekveringskontroll, deterministisk simulering och högtäthets, huvudlösa fysikfunktioner som är avgörande för banbrytande AI-utveckling. Denna nivå av kontroll är avgörande för att skapa robusta accelerate-token-production-in-ai-factories-using-unified-services-and-real-time-ai.

Framtiden för fysisk AI-integration

Frisläppandet av NVIDIA Omniverse-biblioteken markerar ett avgörande ögonblick för industri- och robotikföretag. Genom att erbjuda en granulär, högpresterande väg för att integrera fysiska AI-funktioner, ger NVIDIA företag möjlighet att accelerera sin digitala transformationsresa. Branschledare som ABB Robotics, PTC, Siemens och Synopsys piloterar redan dessa bibliotek, och integrerar avancerad simulering och skapande av digitala tvillingar i sina befintliga PLM/PDM- och CI/CD-system. Denna utbredda adoption signalerar en tydlig trend mot mer flexibla, skalbara och intelligenta utvecklingsarbetsflöden, där fysisk AI inte bara är en strävan utan en tillgänglig, integrerad verklighet. När dessa bibliotek närmar sig allmän tillgänglighet lovar de att låsa upp oöverträffade nivåer av innovation inom design, ingenjörskonst och tillverkning.

Vanliga frågor

What are NVIDIA Omniverse libraries and what problem do they solve for developers?
NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.
How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?
The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.
What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?
The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.
How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?
NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.
Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?
Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.
What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?
The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Håll dig uppdaterad

Få de senaste AI-nyheterna i din inkorg.

Dela