Thư viện Omniverse: Tích hợp AI Vật lý vào Ứng dụng Hiện có

Ra mắt Thư viện NVIDIA Omniverse: Nâng cao khả năng Tích hợp AI Vật lý

Tại GTC 2026, NVIDIA đã công bố một sự phát triển đáng kể cho nền tảng Omniverse của mình, giới thiệu một kiến trúc mô-đun, dựa trên thư viện được thiết kế để tích hợp liền mạch các khả năng AI vật lý tiên tiến vào các ứng dụng hiện có. Sự thay đổi mô hình này giải quyết một nhu cầu quan trọng trong phát triển công nghiệp và robot, nơi các môi trường chạy (runtime) nguyên khối thường cản trở khả năng mở rộng, triển khai không đầu (headless deployment) và tích hợp với các hệ thống CI/CD đã được thiết lập. Bằng cách phơi bày các thành phần cốt lõi của Omniverse—kết xuất RTX, mô phỏng dựa trên PhysX và các kênh lưu trữ dữ liệu—dưới dạng API C độc lập với các liên kết C++ và Python, NVIDIA đang cho phép các nhà phát triển nhúng các chức năng bản sao số thời gian thực và AI vật lý mạnh mẽ mà không yêu cầu đại tu kiến trúc hoàn chỉnh. Tính mô-đun này dân chủ hóa quyền truy cập vào mô phỏng độ chân thực cao, biến AI vật lý thành một thực tế có thể đạt được cho nhiều doanh nghiệp hơn.

AI vật lý, được định nghĩa là các hệ thống AI nhận thức, suy luận và hành động trong các môi trường mô phỏng có cơ sở vật lý, đang nhanh chóng thay đổi cách các ngành công nghiệp thiết kế và xác thực các hệ thống phức tạp. Từ các chuyển động của cánh tay robot đến toàn bộ bố cục nhà máy, việc đào tạo và xác thực các chính sách AI trong môi trường bản sao số giúp giảm đáng kể chi phí và tăng tốc chu kỳ phát triển. Các thư viện Omniverse mới, bao gồm 'ovrtx', 'ovphysx' và 'ovstorage', được thiết lập để trở thành nền tảng của sự chuyển đổi này, cho phép các doanh nghiệp tích hợp phần mềm độc quyền của họ với công nghệ mô phỏng tiên tiến của NVIDIA.

Kiến trúc Mô-đun để Tích hợp AI Vật lý Liền mạch

Việc giới thiệu kiến trúc ưu tiên thư viện về cơ bản thay đổi cách các nhà phát triển tương tác với hệ sinh thái NVIDIA Omniverse. Thay vì áp dụng một khung ứng dụng toàn diện, giờ đây các nhóm có thể chọn lọc gọi các API kết xuất, vật lý và lưu trữ của Omniverse trực tiếp từ các quy trình và dịch vụ của riêng họ. Cách tiếp cận này loại bỏ các thách thức liên quan đến khóa khung (framework lock-in), các phụ thuộc giao diện người dùng và độ cứng kiến trúc thường đi kèm với việc áp dụng phần mềm quy mô lớn.

Thiết kế mô-đun này đặc biệt có lợi cho các nhà phát triển có ngăn xếp phần mềm đã được thiết lập, cho phép họ tận dụng các khả năng mạnh mẽ của Omniverse mà không cần viết lại kiến trúc gây gián đoạn. Các thư viện được thiết kế để triển khai ưu tiên không đầu (headless-first deployment), đảm bảo hiệu suất và khả năng mở rộng tối ưu cho các ứng dụng công nghiệp và robot đòi hỏi khắt khe. Động thái chiến lược này của NVIDIA nhấn mạnh cam kết về tính linh hoạt và các giải pháp lấy nhà phát triển làm trung tâm, định vị Omniverse là một bộ công cụ có khả năng thích ứng cho tương lai của AI.

Các Thư viện Omniverse Cốt lõi: ovrtx, ovphysx và ovstorage

Các thư viện mới được công bố cung cấp các khả năng riêng biệt nhưng có liên kết với nhau, mỗi thư viện được thiết kế để giải quyết các thách thức tích hợp cụ thể trong phát triển phần mềm công nghiệp. Chúng tận dụng các thành phần Omniverse hiện có như OpenUSD để mô tả cảnh và tài sản SimReady cho môi trường mô phỏng chất lượng cao, đảm bảo trải nghiệm phát triển mạch lạc và mạnh mẽ.

Thư viện	Khả năng Chính	Tác động Kỹ thuật
ovrtx	Mô phỏng dò tia (path-tracing) và cảm biến thời gian thực, hiệu suất cao, độ chân thực cao	Tích hợp kết xuất RTX tiên tiến trực tiếp vào các ứng dụng hiện có, cho phép nhận thức robot đa phương thức, tạo dữ liệu tổng hợp tiên tiến và phản hồi hình ảnh cực kỳ chân thực cho bản sao số và môi trường mô phỏng.
ovphysx	Mô phỏng vật lý tốc độ cao, nguyên bản USD	Thêm mô phỏng vật lý nhẹ, được tăng tốc phần cứng vào các ứng dụng, tạo điều kiện trao đổi dữ liệu tốc độ cao cho đào tạo robot, tích hợp vòng điều khiển thời gian thực và tương tác vật lý chính xác trong các kịch bản công nghiệp phức tạp.
ovstorage	Các kênh dữ liệu AI vật lý hợp nhất	Kết nối cơ sở hạ tầng lưu trữ và PLM/PDM hiện có trực tiếp với hệ sinh thái Omniverse thông qua một thư viện dựa trên API. Điều này cho phép quản lý dữ liệu phân tán quy mô lớn và hiệu suất cao, quan trọng là tránh các cuộc di chuyển dữ liệu thủ công tốn kém và mất thời gian cho các triển khai cấp doanh nghiệp.

Các thư viện này hiện đang trong giai đoạn truy cập sớm trên GitHub và NGC, với NVIDIA đang tích cực thu thập phản hồi và lên kế hoạch phát hành bản sản xuất với độ ổn định API vào cuối năm nay. Việc thử nghiệm nội bộ trong các ngăn xếp hiệu suất cao như NVIDIA Isaac Lab và Omniverse DSX Blueprint đảm bảo chúng đáp ứng các yêu cầu khắt khe của doanh nghiệp trước khi có sẵn rộng rãi.

Điều phối Tác tử với Giao thức Ngữ cảnh Mô hình (MCP)

Để tăng cường hơn nữa tiện ích của các thư viện này, đặc biệt trong lĩnh vực tác tử AI đang phát triển, Omniverse giới thiệu các khả năng điều phối tác tử thông qua các máy chủ Giao thức Ngữ cảnh Mô hình (MCP). Các máy chủ này được thiết kế để làm cho mô phỏng có thể sử dụng được từ các tác tử dựa trên LLM bằng cách mô tả các hoạt động—chẳng hạn như tải cảnh USD, chỉnh sửa prims hoặc bước qua các mô phỏng—trong một lược đồ máy đọc được. Điều này cho phép các công cụ AI, như các LLM tiên tiến, gọi các chức năng của Omniverse một cách an toàn và hiệu quả.

Ví dụ, các tác tử Kit USD là một tập hợp các máy chủ MCP cho Kit, USD và OmniUI, cho phép các tác tử duyệt API, tạo mã cảnh và thao tác các yếu tố giao diện người dùng hoặc hệ thống phân cấp lớp dựa trên các mô tả văn bản cấp cao. Điều này trao quyền cho các nhà phát triển xác định các hành vi và hàng rào bảo vệ tác tử tinh vi, giảm bớt sự phức tạp của việc kết nối thủ công mọi lệnh gọi API mô phỏng. Để mở rộng các quy trình làm việc tiên tiến này, các nhà phát triển có thể tận dụng NemoClaw, một ngăn xếp cơ sở hạ tầng cho cộng đồng OpenClaw triển khai các tác tử an toàn, tự chủ trong các hộp cát được cách ly, bảo vệ bằng chính sách. Sự phát triển này mở đường cho các môi trường mô phỏng ngày càng tự chủ và thông minh, tăng tốc phát triển các hệ thống AI vật lý phức tạp và hỗ trợ đánh giá các tác tử AI cho sản xuất: hướng dẫn thực tế về các đánh giá theo chuỗi mạnh mẽ.

Bắt đầu nhanh với Docker cho các máy chủ MCP giúp đơn giản hóa việc triển khai, cho phép các nhà phát triển sử dụng các dịch vụ embedder và reranker được lưu trữ trên đám mây của NVIDIA mà không cần GPU cục bộ, chỉ yêu cầu khóa API của NVIDIA.

Nghiên cứu điển hình: Tối ưu hóa NVIDIA Isaac Lab với Thư viện Mô-đun

Những lợi ích thực tế của cách tiếp cận mô-đun này được thể hiện rõ ràng qua sự phát triển kỹ thuật liên tục của NVIDIA Isaac Lab. Là một khung mô phỏng robot hiệu suất cao, rất quan trọng cho học tăng cường (RL), Isaac Lab đòi hỏi khả năng mở rộng cực cao và kiểm soát xác định.

Với Isaac Lab 3.0 Beta, NVIDIA đã chuyển đổi thành công lớp nền tảng của mình từ khung Kit nguyên khối truyền thống sang kiến trúc mô-đun đa backend. Điều này cho phép các nhà phát triển lựa chọn giữa 'ovphysx'—một thư viện độc lập bao bọc PhysX SDK—hoặc backend Newton không Kit được hỗ trợ bởi MuJoCo-Warp, tùy thuộc vào yêu cầu mô phỏng cụ thể của họ. Tương tự, phía kết xuất giờ đây có một hệ thống pluggable hỗ trợ OVRTX, Isaac RTX, Newton Warp và các trình hiển thị nhẹ như Rerun và Viser. Sự linh hoạt này đảm bảo Isaac Lab có thể đáp ứng nhu cầu khắt khe của các nhà nghiên cứu và kỹ sư robot, cung cấp khả năng kiểm soát thực thi rõ ràng, mô phỏng xác định và khả năng vật lý không đầu (headless physics) mật độ cao, rất quan trọng cho phát triển AI tiên tiến. Mức độ kiểm soát này là cần thiết để tạo ra các nhà máy AI mạnh mẽ giúp tăng tốc sản xuất token bằng cách sử dụng các dịch vụ hợp nhất và AI thời gian thực.

Tương lai của Tích hợp AI Vật lý

Việc phát hành các thư viện NVIDIA Omniverse đánh dấu một thời điểm then chốt cho các doanh nghiệp công nghiệp và robot. Bằng cách cung cấp một con đường chi tiết, hiệu suất cao để tích hợp khả năng AI vật lý, NVIDIA đang trao quyền cho các công ty tăng tốc hành trình chuyển đổi số của họ. Các nhà lãnh đạo ngành như ABB Robotics, PTC, Siemens và Synopsys đã và đang thử nghiệm các thư viện này, tích hợp mô phỏng tiên tiến và tạo bản sao số vào các hệ thống PLM/PDM và CI/CD hiện có của họ. Việc áp dụng rộng rãi này báo hiệu một xu hướng rõ ràng hướng tới các quy trình làm việc phát triển linh hoạt hơn, có khả năng mở rộng và thông minh hơn, nơi AI vật lý không chỉ là một khát vọng mà là một thực tế có thể tiếp cận, được tích hợp. Khi các thư viện này tiến tới khả dụng rộng rãi, chúng hứa hẹn sẽ mở khóa các cấp độ đổi mới chưa từng có trong thiết kế, kỹ thuật và sản xuất.

Nguồn gốc

https://developer.nvidia.com/blog/integrate-physical-ai-capabilities-into-existing-apps-with-nvidia-omniverse-libraries/

Câu hỏi thường gặp

What are NVIDIA Omniverse libraries and what problem do they solve for developers?

NVIDIA Omniverse libraries represent a new, modular architecture that exposes core Omniverse components like RTX rendering (ovrtx), PhysX-based simulation (ovphysx), and data storage pipelines (ovstorage) as standalone C APIs with C++ and Python bindings. This approach allows developers to integrate specific, high-fidelity physical AI capabilities directly into their existing industrial and robotics software stacks without the need to adopt the entire Omniverse platform. This solves the challenge of monolithic runtimes, enabling better scalability, headless deployment, and seamless integration with existing CI/CD systems and application frameworks, significantly reducing the need for extensive architectural rewrites.

How do 'ovrtx', 'ovphysx', and 'ovstorage' enhance existing applications with physical AI capabilities?

The trio of 'ovrtx', 'ovphysx', and 'ovstorage' offers distinct yet complementary functionalities for physical AI integration. 'ovrtx' provides high-fidelity, real-time path-traced rendering and sensor simulation, crucial for multimodal robotics perception and synthetic data generation. 'ovphysx' delivers high-speed, USD-native physics simulation, essential for robotics training and real-time control loops. 'ovstorage' establishes unified physical AI data pipelines, allowing seamless connection of existing PLM/PDM infrastructure to Omniverse, facilitating large-scale distributed data management and avoiding costly manual data migrations. Together, these libraries enable granular, performant integration of advanced simulation and data management.

What is the Model Context Protocol (MCP) and how does it facilitate agentic orchestration within Omniverse?

The Model Context Protocol (MCP) is a crucial mechanism within Omniverse that enables LLM-based agents to interact with and orchestrate physical AI simulations. MCP servers describe operations (e.g., loading USD scenes, editing prims, stepping simulation) in a machine-readable schema. This allows intelligent agents, powered by large language models, to browse available APIs, generate scene code, and manipulate simulation elements based on high-level descriptions. By handling the low-level remote procedure calls (RPCs) to Omniverse, MCP empowers developers to focus on defining sophisticated agent behaviors and guardrails, significantly scaling and automating complex simulation workflows for physical AI.

How has NVIDIA Isaac Lab benefited from the transition to a modular, library-based architecture?

NVIDIA Isaac Lab, a high-performance robotics simulation framework for reinforcement learning, has significantly benefited from transitioning to a modular architecture powered by ovphysx and ovrtx in its 3.0 Beta release. This shift enables explicit execution control, deterministic simulation, and the ability to run high-density, headless physics without reliance on UI dependencies. Developers now have the flexibility to choose between 'ovphysx' or a Kit-less Newton backend based on their simulation needs and can leverage a pluggable renderer system that supports OVRTX, Isaac RTX, and other visualizers. This modularity ensures Isaac Lab meets the extreme scalability and deterministic control requirements for advanced robotics training.

Which major industrial companies are currently piloting NVIDIA Omniverse libraries and for what purposes?

Leading industrial companies such as ABB Robotics, PTC, Siemens, and Synopsys are currently piloting NVIDIA Omniverse libraries. These companies are leveraging the modular architecture to integrate high-fidelity simulation, create advanced digital twins, and enable scalable physical AI capabilities directly within their existing design, engineering, and manufacturing workflows. This allows them to validate robot designs, optimize industrial systems, and enhance product lifecycle management (PLM/PDM) and continuous integration/continuous deployment (CI/CD) systems, all before physical prototypes are ever built, signaling a significant shift towards AI-driven industrial transformation.

What are the immediate benefits of using Omniverse libraries compared to the full Omniverse container stack for existing applications?

The immediate benefits of using Omniverse libraries over the full container stack for existing applications include significantly reduced architectural friction and faster integration. Developers can selectively embed specific Omniverse capabilities—like advanced rendering or physics simulation—into their current software without undergoing major overhauls. This approach allows for headless deployment, better scalability of simulations, and direct tensorized data exchange. It addresses previous bottlenecks such as framework lock-in, UI dependencies, and architectural rigidity, offering a streamlined path to leveraging NVIDIA's powerful physical AI technologies within established industrial and robotics ecosystems.

Cập nhật tin tức

Nhận tin tức AI mới nhất qua email.

Chia sẻ