Telinetason tekoälysupertietokoneet: Laitteistosta topologiahuomioivaan aikataulutukseen

Decorative image.

Tekoälyn maisema kehittyy nopeasti, vaatien yhä tehokkaampaa ja tehokkaampaa laskentainfrastruktuuria. Tämän kehityksen eturintamassa ovat telinetason supertietokoneet, jotka on suunniteltu kiihdyttämään monimutkaisimpia tekoäly- ja suurteholaskentatyökuormia (HPC). NVIDIAn GB200 NVL72- ja GB300 NVL72 -järjestelmät, jotka on rakennettu innovatiivisen Blackwell-arkkitehtuurin varaan, edustavat merkittävää harppausta tähän suuntaan, pakaten valtavat GPU-kankaat ja suuren kaistanleveyden verkon yhtenäisiksi, tehokkaiksi yksiköiksi.

Tällaisten edistyneiden laitteistojen käyttöönotto tarjoaa kuitenkin ainutlaatuisen haasteen: miten tämä monimutkainen fyysinen topologia muunnetaan hallittavaksi, suorituskykyiseksi ja saavutettavaksi resurssiksi tekoälykehittäjille ja -tutkijoille? Perusteellinen ero telinetason laitteiston hierarkkisen luonteen ja perinteisten työkuormien aikatauluttajien usein tasaisten abstraktioiden välillä luo pullonkaulan. Juuri tässä kohtaa validoitu ohjelmistopino, kuten NVIDIA Mission Control, astuu kuvaan, täyttäen kuilun muuntaakseen raa'an laskentatehon saumattomaksi, topologiahuomioivaksi tekoälytehtaaksi.

Seuraavan sukupolven telinetason tekoälysuperlaskenta NVIDIA Blackwellin avulla

NVIDIA GB200 NVL72- ja GB300 NVL72 -järjestelmät, jotka perustuvat huippuluokan NVIDIA Blackwell -arkkitehtuuriin, eivät ole vain kokoelmia tehokkaita GPU:ita; ne ovat integroituja, telinetason supertietokoneita, jotka on suunniteltu tekoälyn tulevaisuutta varten. Jokaisessa järjestelmässä on 18 tiiviisti kytkettyä laskentalevyä, jotka muodostavat massiivisen GPU-kankaan, joka on yhdistetty kehittyneillä NVLink-kytkimillä. Nämä järjestelmät tukevat NVIDIA Multi-Node NVLinkiä (MNNVL), mikä mahdollistaa erittäin nopean tiedonsiirron telineen sisällä, ja sisältävät IMEX-yhteensopivia laskentalevyjä, jotka mahdollistavat jaetun GPU-muistin solmujen välillä. Tämä arkkitehtuuri tarjoaa vertaansa vailla olevan perustan suurten tekoälymallien koulutukseen ja käyttöönottoon, siirtäen mahdollisuuksien rajoja tieteellisestä löytötyöstä yritystason tekoälysovelluksiin.

Näiden Blackwell-pohjaisten järjestelmien suunnittelufilosofia keskittyy tiedon läpimenon maksimointiin ja viiveen minimointiin yhteenliitettyjen GPU:iden välillä. Tämä saavutetaan tiheästi integroidun laitteistopinon avulla, jossa jokainen komponentti on optimoitu kollektiiviseen suorituskykyyn, varmistaen, että tekoälytyökuormat voivat skaalautua tehokkaasti ilman tiedonsiirtopullonkauloja.

Laitteiston topologian yhdistäminen tekoälyn aikatauluttajan abstraktioihin

Tekoälyarkkitehdeille ja HPC-alustan operaattoreille todellinen haaste ei ole vain tämän edistyneen laitteiston hankkiminen ja kokoaminen, vaan sen operatiivinen käyttöönotto 'turvalliseksi, suorituskykyiseksi ja helppokäyttöiseksi' resurssiksi. Perinteiset aikatauluttajat toimivat usein oletuksena homogeenisesta, tasaisesta laskentaresurssien joukosta. Tämä paradigma sopii huonosti telinetason supertietokoneisiin, joissa NVLink-kankaiden ja IMEX-alueiden hierarkkinen ja topologiaherkkä suunnittelu on kriittistä suorituskyvyn kannalta. Ilman asianmukaista integrointia aikatauluttajat saattavat vahingossa sijoittaa tehtäviä epäoptimaalisiin paikkoihin, mikä johtaa heikentyneeseen tehokkuuteen ja ennakoimattomaan suorituskykyyn.

Tämän aukon NVIDIA Mission Control on suunniteltu täyttämään. NVIDIA Grace Blackwell NVL72 -järjestelmien vankana telinetason ohjaustasona Mission Controlilla on natiivi ymmärrys taustalla olevista NVIDIA NVLink- ja NVIDIA IMEX -alueista. Tämä syvällinen tietoisuus mahdollistaa sen älykkään integroinnin suosittuihin työkuormien hallinta-alustoihin, kuten Slurmiin ja NVIDIA Run:ai:hin. Kääntämällä monimutkaiset laitteistotopologiat toimiviksi aikataulutusintelligenssiksi Mission Control varmistaa, että Blackwell-arkkitehtuurin edistyneet ominaisuudet hyödynnetään täysimääräisesti, muuttaen kehittyneen laitteistokokoonpanon todella toimivaksi tekoälytehtaaksi. Tämä ominaisuus laajenee tulevaan NVIDIA Vera Rubin -alustaan, mukaan lukien NVIDIA Rubin NVL8, mikä vahvistaa entisestään johdonmukaista lähestymistapaa tehokkaaseen tekoälyinfrastruktuuriin.

NVLink-alueiden ja -osioiden dekoodaus tekoälytyökuormia varten

Blackwell-järjestelmien topologiahuomioivan aikataulutuksen ytimessä ovat NVLink-alueiden ja -osioiden käsitteet, jotka esitetään järjestelmätason tunnisteiden kautta: klusterin UUID ja klikki-tunniste. Nämä tunnisteet ovat ratkaisevan tärkeitä, koska ne tarjoavat loogisen kartan fyysisestä NVLink-kankaasta, mahdollistaen järjestelmäohjelmistojen ja aikatauluttajien päättelyn GPU:n sijainnista ja yhteyksistä.

Kartoitus on suoraviivainen mutta tehokas:

Klusterin UUID vastaa NVLink-aluetta. Jaettu klusterin UUID tarkoittaa, että järjestelmät – ja niiden GPU:t – kuuluvat samaan yleiseen NVLink-alueeseen ja ovat yhteydessä yhteisen NVLink-kankaan kautta. Grace Blackwell NVL72:ssä tämä UUID on yhtenäinen koko telineessä, mikä osoittaa fyysistä läheisyyttä ja jaettua suurikaistaista yhteyttä.
Klikki-tunniste vastaa NVLink-osiota. Klikki-tunniste tarjoaa tarkemman erottelun, identifioiden GPU-ryhmiä, jotka jakavat NVLink-osion suuremman alueen sisällä. Kun teline on loogisesti segmentoitunut useisiin NVLink-osioihin, klusterin UUID pysyy samana, mutta klikki-tunnisteet erottavat nämä pienemmät, eristetyt suurikaistaiset ryhmät.

Tämä erottelu on elintärkeää toiminnallisesta näkökulmasta:

Klusterin UUID vastaa kysymykseen: Mitkä GPU:t jakavat fyysisesti telineen ja kykenevät NVLink-tiedonsiirtoon suurimmilla nopeuksilla?
Klikki-tunniste vastaa: Mitkä GPU:t jakavat NVLink-osion ja on tarkoitettu kommunikoimaan yhdessä tietyn työkuorman tai palvelutason osalta varmistaen optimaalisen suorituskyvyn erittäin rinnakkaisille tehtäville?

Nämä tunnisteet ovat yhdistävä kudos, joka mahdollistaa Slurmin, Kubernetesin ja NVIDIA Run:ain kaltaisten alustojen kohdistaa työn sijoittelun, eristyksen ja suorituskyvyn takeet NVLink-kankaan todelliseen rakenteeseen, kaiken ilman, että taustalla olevaa laitteiston monimutkaisuutta paljastetaan suoraan loppukäyttäjille. NVIDIA Mission Control tarjoaa keskitetyn näkymän näistä tunnisteista, virtaviivaistaen hallintaa.

Laitteistokonsepti	Ohjelmistotunniste	Kuvaus
NVLink-alue	Klusterin UUID	Tunnistaa GPU:t, jotka jakavat fyysisesti telineen ja kykenevät telinetason NVLink-tiedonsiirtoon.
NVLink-osio	Klikki-tunniste	Erottaa GPU:t, jotka on tarkoitettu kommunikoimaan yhdessä NVLink-alueen sisällä tietyn työkuorman tai palvelutason osalta.

Topologiahuomioiva tekoälyn ajoitus Slurmin avulla

Usean solmun työkuormille, jotka ajetaan Blackwell-pohjaisissa NVL72-järjestelmissä, sijoittelusta tulee yhtä kriittistä kuin allokoitujen GPU:iden määrä. Esimerkiksi tekoälykoulutustyö, joka vaatii 16 GPU:ta, suoriutuu hyvin eri tavalla, jos se levitetään satunnaisesti useille huonommin yhdistetyille solmuille verrattuna siihen, että se rajattaisiin yhteen, suurikaistaiseen NVLink-kankaaseen. Juuri tässä Slurmin topologia/lohko-lisäosa osoittautuu korvaamattomaksi, antaen Slurmille mahdollisuuden tunnistaa solmujen väliset vivahteikkaat yhteyseroavaisuudet.

Grace Blackwell NVL72 -järjestelmissä solmulohkot, joilla on pienempi viive, vastaavat suoraan NVLink-osioita – GPU-ryhmiä, jotka on yhdistetty omistetulla, suurikaistaisella NVLink-kankaalla. Ottamalla tämä topologia/lohko-lisäosa käyttöön ja esittämällä nämä NVLink-osiot erillisinä lohkoina, Slurm saa tarvittavan kontekstitiedon parempien aikataulutuspäätösten tekemiseen. Oletusarvoisesti työt sijoitetaan älykkäästi yhteen NVLink-osioon (tai lohkoon), mikä säilyttää kriittisen Multi-Node NVLink (MNNVL) -suorituskyvyn. Vaikka suuremmat työt voivat tarvittaessa ulottua useisiin lohkoihin, tämä lähestymistapa tekee suorituskyvyn kompromisseista nimenomaisia, eikä sattumanvaraisia.

Käytännössä tämä mahdollistaa joustavat käyttöönotto strategiat:

Yksi lohko/solmuryhmä telinettä kohden: Tämä kokoonpano mahdollistaa Slurmin Quality of Service (QoS) -palvelun hallita pääsyä jaettuun, telinetason osioon, mikä on ihanteellinen konsolidoidulle resurssien hallinnalle.
Useita lohkoja/solmuryhmiä telinettä kohden: Tämä lähestymistapa on täydellinen pienempien, eristettyjen, suurikaistaisten GPU-joukkojen tarjoamiseen. Tässä jokainen lohko/solmuryhmä vastaa omistettua Slurm-osiota, tarjoten tehokkaasti erillisen palvelutason. Käyttäjät voivat sitten hyödyntää tiettyä Slurm-osiota, jolloin heidän työnsä sijoittuvat automaattisesti aiottuun NVLink-osioon ilman tarvetta ymmärtää taustalla olevia verkon monimutkaisuuksia. Tämä edistynyt resurssien hallinta on ratkaisevan tärkeää organisaatioille, jotka pyrkivät skaalaamaan tekoälyaloitteitaan, ja se on linjassa laajemman tavoitteen kanssa skaalata tekoälyä kaikille.

MNNVL-työkuormien optimointi IMEXin ja Mission Controlin avulla

Usean solmun NVIDIA CUDA -työkuormat tukeutuvat usein MNNVL:ään maksimaalisen suorituskyvyn saavuttamiseksi, mahdollistaen GPU:iden osallistumisen eri laskentalevyillä yhtenäiseen, jaetun muistin ohjelmointimalliin. Sovelluskehittäjän näkökulmasta MNNVL:n hyödyntäminen voi vaikuttaa harhaanjohtavan yksinkertaiselta, mutta taustalla oleva orkestrointi on monimutkaista.

Juuri tässä NVIDIA Mission Controlilla on keskeinen rooli. Se varmistaa, että kriittiset komponentit ovat täysin linjassa ajettaessa MNNVL-töitä Slurmin kanssa. Erityisesti Mission Control takaa, että IMEX-palvelu – joka helpottaa jaettua GPU-muistia – ajetaan tarkalleen siinä laskentalevyjen joukossa, joka osallistuu MNNVL-työhön. Se varmistaa myös, että tarvittavat NVSwitch-kytkimet on oikein konfiguroitu luomaan ja ylläpitämään näitä suurikaistaisia MNNVL-yhteyksiä. Tämä koordinointi on elintärkeää tasaisen, ennustettavan suorituskyvyn tarjoamiseksi telineen poikki. Ilman Mission Controlin älykästä orkestrointia MNNVL:n ja IMEXin edut olisivat haastavia toteuttaa ja hallita mittakaavassa, korostaen NVIDIAn sitoutumista tarjoamaan täydellisiä ratkaisuja edistyneille GPU:ille ja niiden ekosysteemeille.

Kohti automaattista, skaalautuvaa tekoälyinfrastruktuuria

NVIDIAn Blackwell-arkkitehtuurin integrointi kehittyneisiin ohjelmistokerroksiin, kuten Mission Controliin ja Topographiin, on merkittävä askel kohti todella automatisoidun ja skaalautuvan tekoälyinfrastruktuurin luomista. NVIDIA Topograph automatisoi monimutkaisen NVLink- ja yhteenliitäntähierarkian löytämisen, paljastaen tämän tärkeän tiedon aikatauluttajille, kuten Slurmille, Kubernetesille (NVIDIA DRA:n ja ComputeDomainsin kautta) ja NVIDIA Run:ai:lle. Tämä poistaa topologian hallinnan manuaalisen kuormituksen, antaen organisaatioille mahdollisuuden ottaa käyttöön ja skaalata tekoälytyökuormia ennennäkemättömällä tehokkuudella.

Tarjoamalla aikatauluttajille syvällisen, reaaliaikaisen ymmärryksen laitteiston topologiasta, tämä integroitu lähestymistapa varmistaa, että tekoälysovellukset ajetaan optimaalisilla resursseilla, minimoiden tiedonsiirtoviiveen ja maksimoiden läpimenon. Tuloksena on erittäin suorituskykyinen, joustava ja helppokäyttöinen tekoälytehdas, joka kykenee käsittelemään vaativimpia tekoälykoulutus- ja päättelytehtäviä. Kun tekoälymallit jatkavat kasvamistaan monimutkaisuudessa ja koossa, kyky tehokkaasti hallita ja aikatauluttaa työkuormia telinetason supertietokoneissa on ensiarvoisen tärkeää innovaatioiden edistämiseksi ja kilpailuedun säilyttämiseksi. Tämä kokonaisvaltainen strategia tukee yritystason tekoälyn tulevaisuutta, muuttaen raa'an laskentatehon älykkääksi, responsiiviseksi ja erittäin tehokkaaksi tekoälysuperlaskennaksi.

Alkuperäinen lähde

https://developer.nvidia.com/blog/running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling/

Usein kysytyt kysymykset

What are NVIDIA GB200 and GB300 NVL72 systems, and what role does the Blackwell architecture play?

NVIDIA GB200 and GB300 NVL72 systems represent a new generation of rack-scale supercomputers specifically engineered for demanding AI and HPC workloads. These systems leverage the groundbreaking NVIDIA Blackwell architecture, which integrates massive GPU fabrics with high-bandwidth networking into a single, tightly coupled unit. The Blackwell architecture is designed to deliver unprecedented performance and efficiency for training and inference, featuring advanced NVLink switches, Multi-Node NVLink (MNNVL) for inter-GPU communication, and IMEX-capable compute trays that facilitate shared GPU memory across multiple nodes within the rack. This integrated design aims to overcome the limitations of traditional server-bound GPU deployments, providing a seamless, scalable platform for complex AI models.

What is the primary challenge in scheduling AI workloads on these advanced rack-scale supercomputers?

The core challenge lies in the significant mismatch between the intricate, hierarchical physical topology of rack-scale supercomputers and the often simplistic abstractions presented by conventional workload schedulers. While systems like the NVIDIA GB200/GB300 NVL72 boast sophisticated NVLink fabrics and IMEX domains, schedulers typically perceive a flat pool of GPUs and nodes. This can lead to inefficient resource allocation, sub-optimal performance due to poor data locality or communication bottlenecks, and increased operational complexity for platform operators. Without topology-aware scheduling, the inherent advantages of rack-scale integration, such as high-bandwidth interconnections, cannot be fully leveraged for AI workloads.

How does NVIDIA Mission Control address the operational complexities of rack-scale AI scheduling?

NVIDIA Mission Control acts as a crucial control plane that bridges the gap between the complex hardware topology of NVIDIA Grace Blackwell NVL72 systems and the needs of workload management platforms like Slurm and NVIDIA Run:ai. It provides a native, deep understanding of NVLink and IMEX domains, translating physical hardware relationships into logical identifiers that schedulers can interpret. By centralizing the view of cluster UUIDs and clique IDs, Mission Control enables precise, topology-aware job placement, ensures proper workload isolation, and guarantees consistent performance by aligning computations with the optimal underlying hardware fabric. This effectively transforms raw infrastructure into an efficient, manageable AI factory.

Explain the concepts of Cluster UUID and Clique ID in the context of NVLink topology and their operational significance.

Cluster UUID and Clique ID are system-level identifiers that encode a GPU's position within the NVLink fabric, making the complex topology understandable to system software and schedulers. The Cluster UUID corresponds to the NVLink domain, indicating that systems and their GPUs belong to the same physical rack and share a common NVLink fabric. For Grace Blackwell NVL72, this UUID is consistent across the entire rack. The Clique ID provides a finer distinction, corresponding to an NVLink Partition. GPUs sharing a Clique ID belong to the same logical partition within that domain. Operationally, the Cluster UUID answers which GPUs physically share a rack and can communicate via NVLink, while the Clique ID answers which GPUs share an NVLink Partition and are intended to communicate together for a specific workload, enabling finer-grained resource allocation and performance optimization.

How does Slurm's topology/block plugin enhance AI workload placement on NVL72 systems?

Slurm's topology/block plugin is essential for efficient AI workload placement on NVIDIA NVL72 systems by making Slurm aware that not all nodes (or GPUs) are equal in terms of connectivity and performance. On Grace Blackwell NVL72 systems, blocks of nodes with lower-latency connections directly map to NVLink partitions, which are groups of GPUs sharing a high-bandwidth NVLink fabric. By enabling this plugin and exposing NVLink partitions as 'blocks,' Slurm gains the necessary context to make intelligent placement decisions. This ensures that multi-GPU jobs are preferentially allocated within a single NVLink partition to preserve MNNVL performance, preventing performance degradation that could occur if jobs were spread indiscriminately across different, less-connected segments of the supercomputer. It allows for optimized resource utilization and predictable performance for demanding AI tasks.

What is Multi-Node NVLink (MNNVL), and how does IMEX facilitate it for shared GPU memory?

Multi-Node NVLink (MNNVL) is a key technology that allows GPUs across different compute nodes within a rack-scale system to communicate directly with high bandwidth and low latency, essential for scaling large AI models. MNNVL enables a shared-memory programming model across these distributed GPUs, making it appear to applications as a single, massive GPU fabric. IMEX (Infiniband Memory Expansion) is the underlying technology that facilitates MNNVL. IMEX-capable compute trays are designed to enable shared GPU memory across nodes by leveraging NVIDIA's advanced networking. While MNNVL simplifies the programming model for developers, Mission Control plays a crucial role behind the scenes to ensure that IMEX services are correctly provisioned and synchronized with MNNVL jobs, guaranteeing that the benefits of shared GPU memory are fully realized without exposing the underlying complexities to the end-user.

What are the key benefits of implementing topology-aware scheduling for AI workloads on rack-scale supercomputers?

Implementing topology-aware scheduling offers several significant benefits for AI workloads on rack-scale supercomputers. Firstly, it ensures optimal performance by intelligently placing jobs on GPUs that have the highest bandwidth and lowest latency connections, minimizing communication overheads inherent in distributed AI training. Secondly, it enhances resource utilization by preventing inefficient spreading of jobs across disparate hardware segments, leading to more predictable performance and better throughput. Thirdly, it simplifies management for platform operators by abstracting hardware complexities while providing clear isolation boundaries between workloads, improving system stability and security. Ultimately, topology-aware scheduling transforms complex hardware into a highly efficient, scalable, and manageable 'AI factory,' accelerating research and development while reducing operational burden.

How does NVIDIA Topograph contribute to the automated discovery and scheduling of supercomputer topologies?

NVIDIA Topograph is a critical component that automates the discovery of the intricate NVLink and interconnect hierarchy within rack-scale supercomputers. This automated discovery is essential because manually configuring and maintaining detailed topology information for large-scale systems would be prone to errors and highly time-consuming. Topograph exposes this detailed fabric information to workload schedulers, including Slurm and Kubernetes (through NVIDIA DRA and ComputeDomains), as well as NVIDIA Run:ai. By providing schedulers with an accurate and real-time view of the hardware topology, Topograph enables them to make intelligent, automated placement decisions. This ensures that AI workloads are scheduled in a topology-aware manner from the outset, optimizing performance, resource allocation, and overall system efficiency, which is crucial for building and operating scalable AI factories.

Pysy ajan tasalla

Saa uusimmat tekoälyuutiset sähköpostiisi.

Jaa