title: "Gervigreindartölvur á rekkastærð: Frá vélbúnaði til byggingarfræðilegrar tímasetningar" slug: "running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling" date: "2026-04-08" lang: "is" source: "https://developer.nvidia.com/blog/running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling/" category: "Gervigreind fyrirtækja" keywords:
- Gervigreindarverkefni
- Gervitölvur á rekkastærð
- NVIDIA Blackwell
- NVLink
- byggingarfræðileg tímasetning
- Slurm
- NVIDIA Mission Control
- Multi-Node NVLink (MNNVL)
- IMEX
- GPU netkerfi
- auðlindastjórnun
- gervigreind fyrirtækja meta_description: "Kannaðu hvernig NVIDIA Blackwell gervitölvur, ásamt Mission Control, gera kleift að tímasetja gervigreindarverkefni með tilliti til byggingar, og hámarka afköst yfir NVLink og IMEX lén." image: "/images/articles/running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling.png" image_alt: "NVIDIA Grace Blackwell NVL72 rekki sem sýnir NVLink og IMEX lén fyrir gervigreindartölvur á rekkastærð" quality_score: 94 content_score: 93 seo_score: 95 companies:
- NVIDIA schema_type: "NewsArticle" reading_time: 7 faq:
- question: "Hvað eru NVIDIA GB200 og GB300 NVL72 kerfin og hvaða hlutverki gegnir Blackwell arkitektúrinn?" answer: "NVIDIA GB200 og GB300 NVL72 kerfin eru ný kynslóð gervitölva á rekkastærð, sérstaklega hönnuð fyrir krefjandi gervigreindar- og HPC verkefni. Þessi kerfi nýta byltingarkenndan NVIDIA Blackwell arkitektúr, sem sameinar risastór GPU netkerfi með háhraða netkerfum í eina, þétt tengda einingu. Blackwell arkitektúrinn er hannaður til að skila fordæmalausum afköstum og skilvirkni fyrir þjálfun og ályktanir, með háþróuðum NVLink rofum, Multi-Node NVLink (MNNVL) fyrir samskipti milli GPUa, og IMEX-hæfum reikniþáttum sem auðvelda sameiginlegt GPU minni yfir marga hnúta innan rekkins. Þessi samþætta hönnun miðar að því að yfirstíga takmarkanir hefðbundinna miðlara-bundinna GPU dreifinga, og býður upp á óaðfinnanlegan, stigstærðan vettvang fyrir flókin gervigreindarmódel."
- question: "Hver er helsta áskorunin við að tímasetja gervigreindarverkefni á þessum háþróuðu gervitölvum á rekkastærð?" answer: "Kjarninn í áskoruninni liggur í verulegum ósamræmi milli flókinnar, stigveldisbundinnar líkamlegrar byggingar gervitölva á rekkastærð og oft einfaldra hugmynda sem hefðbundnir verkefnatímastjórar bjóða upp á. Þótt kerfi eins og NVIDIA GB200/GB300 NVL72 státi af háþróuðum NVLink netkerfum og IMEX lénum, skynja tímastjórar yfirleitt einfaldan hóp GPUa og hnúta. Þetta getur leitt til óhagkvæmrar auðlindadreifingar, ófullnægjandi afkasta vegna lélegrar staðsetningar gagna eða flöskuhálsa í samskiptum, og aukinnar rekstrarlegrar flækju fyrir stjórnendur vettvanga. Án byggingarfræðilegrar tímasetningar er ekki hægt að nýta til fulls eðlislæga kosti samþættingar á rekkastærð, eins og háhraðatengingar, fyrir gervigreindarverkefni."
- question: "Hvernig bregst NVIDIA Mission Control við rekstrarlegum flækjum við tímasetningu gervigreindar á rekkastærð?" answer: "NVIDIA Mission Control virkar sem mikilvægt stjórnsvið sem brúar bilið milli flókinnar vélbúnaðarbyggingar NVIDIA Grace Blackwell NVL72 kerfa og þarfa verkefnastjórnunarvettvanga eins og Slurm og NVIDIA Run:ai. Það veitir innfæddan, djúpan skilning á NVLink og IMEX lénum, og þýðir líkamleg vélbúnaðarsambönd yfir í rökrétt auðkenni sem tímastjórar geta túlkað. Með því að miðstýra yfirsýn yfir Cluster UUID og Clique ID, gerir Mission Control kleift að staðsetja verkefni nákvæmlega og með tilliti til byggingar, tryggir rétta einangrun verkefna, og ábyrgist samræmdan árangur með því að samræma útreikninga við hið besta undirliggjandi vélbúnaðarnet. Þetta umbreytir í raun hráum innviðum í skilvirka, stýranlega gervigreindarverksmiðju."
- question: "Útskýrðu hugtökin Cluster UUID og Clique ID í samhengi NVLink byggingar og rekstrarlega þýðingu þeirra." answer: "Cluster UUID og Clique ID eru auðkenni á kerfisstigi sem kóða stöðu GPU innan NVLink netkerfisins, sem gerir flókna byggingu skiljanlega fyrir kerfishugbúnað og tímastjóra. Cluster UUID samsvarar NVLink léninu, sem gefur til kynna að kerfi og þeirra GPUar tilheyri sama líkamlega rekka og deili sameiginlegu NVLink netkerfi. Fyrir Grace Blackwell NVL72 er þessi UUID stöðug yfir allan rekkann. Clique ID veitir fínni aðgreiningu, sem samsvarar NVLink Partition. GPUar sem deila Clique ID tilheyra sömu rökréttu skiptingu innan þess léna. Frá rekstrarlegu sjónarmiði svarar Cluster UUID hvaða GPUar deila líkamlega rekka og geta átt samskipti í gegnum NVLink, á meðan Clique ID svarar hvaða GPUar deila NVLink Partition og er ætlað að eiga samskipti saman fyrir tiltekið verkefni, sem gerir fínni auðlindadreifingu og afkastað hámarkanir kleift."
- question: "Hvernig bætir topology/block viðbót Slurm staðsetningu gervigreindarverkefna á NVL72 kerfum?" answer: "topology/block viðbót Slurm er nauðsynleg fyrir skilvirka staðsetningu gervigreindarverkefna á NVIDIA NVL72 kerfum með því að gera Slurm meðvitað um að ekki allir hnútar (eða GPUar) eru jafnir hvað varðar tengingu og afköst. Á Grace Blackwell NVL72 kerfum kortleggja blokkir af hnútum með lægri leyðstíma tengingar beint við NVLink skiptingar, sem eru hópar af GPUum sem deila háhraða NVLink netkerfi. Með því að virkja þessa viðbót og sýna NVLink skiptingar sem 'blokkir', fær Slurm nauðsynlegt samhengi til að taka skynsamlegar staðsetningarákvarðanir. Þetta tryggir að fjöl-GPU verkefni séu helst úthlutað innan einnar NVLink skiptingar til að varðveita MNNVL afköst, og koma í veg fyrir afkastaskerðingu sem gæti átt sér stað ef verkefnum væri dreift án tillits til mismunandi, minna tengdra hluta gervitölvunnar. Þetta gerir ráð fyrir hámarkaðri auðlindanýtingu og fyrirsjáanlegum afköstum fyrir krefjandi gervigreindarverkefni."
- question: "Hvað er Multi-Node NVLink (MNNVL) og hvernig auðveldar IMEX það fyrir sameiginlegt GPU minni?" answer: "Multi-Node NVLink (MNNVL) er lykiltækni sem gerir GPUum yfir mismunandi reiknihnúta innan kerfis á rekkastærð kleift að eiga samskipti beint með háum bandbreidd og lágum leyðstíma, sem er nauðsynlegt til að stækka stór gervigreindarmódel. MNNVL gerir kleift að nota forritunarlíkan með sameiginlegu minni yfir þessa dreifðu GPUa, sem lætur það líta út fyrir forrit sem eitt, risastórt GPU netkerfi. IMEX (Infiniband Memory Expansion) er undirliggjandi tækni sem auðveldar MNNVL. IMEX-hæfir reikniþættir eru hannaðir til að gera sameiginlegt GPU minni kleift yfir hnúta með því að nýta háþróað netkerfi NVIDIA. Þótt MNNVL einfaldi forritunarlíkanið fyrir þróunaraðila, gegnir Mission Control mikilvægu hlutverki baksviðs til að tryggja að IMEX þjónustur séu rétt úthlutaðar og samstilltar við MNNVL verkefni, og ábyrgist að ávinningurinn af sameiginlegu GPU minni sé að fullu nýttur án þess að afhjúpa undirliggjandi flækju fyrir endanotandann."
- question: "Hverjir eru helstu kostir þess að innleiða byggingarfræðilega tímasetningu fyrir gervigreindarverkefni á gervitölvum á rekkastærð?" answer: "Innleiðing byggingarfræðilegrar tímasetningar býður upp á marga verulega kosti fyrir gervigreindarverkefni á gervitölvum á rekkastærð. Í fyrsta lagi tryggir það hámarksafköst með því að staðsetja verkefni snjallt á GPUum sem hafa hæstu bandbreidd og lægstu leyðstíma tengingar, og lágmarkar samskiptakostnað sem felst í dreifðri gervigreindarþjálfun. Í öðru lagi bætir það nýtingu auðlinda með því að koma í veg fyrir óhagkvæma dreifingu verkefna yfir ólíka vélbúnaðarhluta, sem leiðir til fyrirsjáanlegri afkasta og betra gegnumstreymis. Í þriðja lagi einfaldar það stjórnun fyrir stjórnendur vettvanga með því að fela vélbúnaðarflækjur en veita skýra einangrunarmörk milli verkefna, og bætir stöðugleika og öryggi kerfisins. Að lokum umbreytir byggingarfræðileg tímasetning flóknum vélbúnaði í mjög skilvirka, stigstærða og stýranlega 'gervigreindarverksmiðju', sem flýtir fyrir rannsóknum og þróun á sama tíma og rekstrarbyrði minnkar."
- question: "Hvernig stuðlar NVIDIA Topograph að sjálfvirkri uppgötvun og tímasetningu bygginga gervitölva?" answer: "NVIDIA Topograph er mikilvægur hluti sem sjálfvirkar uppgötvun á flóknu NVLink og tenginetsstigveldi innan gervitölva á rekkastærð. Þessi sjálfvirka uppgötvun er nauðsynleg vegna þess að handvirk stilling og viðhald ítarlegra byggingarupplýsinga fyrir stórkerfi væri hætt við villum og mjög tímafrekt. Topograph sýnir þessar ítarlegu netkerfisupplýsingar fyrir verkefnatímastjóra, þar á meðal Slurm og Kubernetes (í gegnum NVIDIA DRA og ComputeDomains), sem og NVIDIA Run:ai. Með því að veita tímastjórum nákvæma og rauntíma yfirsýn yfir vélbúnaðarbygginguna gerir Topograph þeim kleift að taka skynsamlegar, sjálfvirkar staðsetningarákvarðanir. Þetta tryggir að gervigreindarverkefni séu tímasett með tilliti til byggingar frá upphafi, og hámarkar afköst, auðlindadreifingu og heildar skilvirkni kerfisins, sem er mikilvægt fyrir byggingu og rekstur stigstærðra gervigreindarverksmiðja."
# Gervigreindartölvur á rekkastærð: Frá vélbúnaði til byggingarfræðilegrar tímasetningar

Landslag gervigreindar þróast hratt og krefst sífellt öflugri og skilvirkari reiknivélbúnaðar. Í fararbroddi þessarar þróunar eru gervitölvur á rekkastærð, hannaðar til að flýta fyrir flóknustu gervigreindar- og afkastamiklum tölvureiknings (HPC) verkefnum. NVIDIA GB200 NVL72 og GB300 NVL72 kerfin, byggð á nýstárlegum Blackwell arkitektúr, tákna mikið stökk í þessari átt, og pakka gríðarstórum GPU netkerfum og háhraða netkerfum í samhangandi, öflugar einingar.
Þó skapar dreifing slíks háþróaðs vélbúnaðar einstaka áskorun: hvernig þýðirðu þessa flóknu líkamlegu byggingu í viðráðanlega, afkastamikla og aðgengilega auðlind fyrir gervigreindarþróunaraðila og rannsakendur? Grundvallarósamræmið milli stigveldisbundinnar eðlis vélbúnaðar á rekkastærð og oft einfaldra hugmynda hefðbundinna verkefnatímastjóra skapar flöskuháls. Það er einmitt hér sem staðfestur hugbúnaðarstaflinn eins og NVIDIA Mission Control kemur inn, brúar bilið til að umbreyta hráum reikniafkastagetu í óaðfinnanlega, byggingarfræðilega tímasettan gervigreindarverksmiðju.
## Næstu kynslóðar gervigreindartölvur á rekkastærð með NVIDIA Blackwell
NVIDIA GB200 NVL72 og GB300 NVL72 kerfin, knúin af háþróuðum NVIDIA Blackwell arkitektúr, eru ekki aðeins safn öflugra GPUa; þau eru samþættar gervitölvur á rekkastærð, hannaðar fyrir framtíð gervigreindar. Hvert kerfi er með 18 þétt tengda reikniþætti, sem mynda risastórt GPU netkerfi tengt háþróuðum NVLink rofum. Þessi kerfi styðja NVIDIA Multi-Node NVLink (MNNVL), sem auðveldar ofurhrað samskipti innan rekkins, og innihalda IMEX-hæfa reikniþætti sem gera sameiginlegt GPU minni kleift yfir hnúta. Þessi arkitektúr veitir óviðjafnanlegan grunn fyrir þjálfun og dreifingu stórra gervigreindarmódela, og ýtir við mörkum þess sem hægt er í sviðum allt frá vísindalegri uppgötvun til gervigreindarforrita fyrirtækja.
Hönnunarheimspekin á bak við þessi Blackwell-byggðu kerfi miðar að því að hámarka gegnumstreymi gagna og lágmarka leyðstíma milli samtengdra [GPUa](/is/gpus). Þetta næst með þétt samþættum vélbúnaðarstafla þar sem hver eining er háþróuð fyrir sameiginleg afköst, sem tryggir að gervigreindarverkefni geti stækkað skilvirkt án þess að rekast á flöskuhálsa í samskiptum.
## Að brúa vélbúnaðarbyggingu við hugmyndir gervigreindartímastjóra
Fyrir gervigreindararkitekta og stjórnendur HPC-vettvanga er raunverulega áskorunin ekki aðeins að afla og setja saman þennan háþróaða vélbúnað, heldur frekar að gera hann rekstrarhæfan sem 'örugga, afkastamikla og auðvelda í notkun' auðlind. Hefðbundnir tímastjórar starfa oft út frá þeirri forsendu að um sé að ræða einsleitan, flatan hóp reikniauðlinda. Þetta mynstur er óhentugt fyrir gervitölvur á rekkastærð, þar sem stigveldisbundin og byggingarfræðilega næm hönnun NVLink netkerfa og IMEX léna eru mikilvæg fyrir afköst. Án rétta samþættingar gætu tímastjórar óvart sett verkefni á óhentuga staði, sem leiddi til minni skilvirkni og ófyrirsjáanlegs árangurs.
Þetta er bilið sem NVIDIA Mission Control er hannað til að fylla. Sem öflugt stjórnsvið á rekkastærð fyrir NVIDIA Grace Blackwell NVL72 kerfi, býr Mission Control yfir innfæddum skilningi á undirliggjandi NVIDIA NVLink og NVIDIA IMEX lénum. Þessi djúpa meðvitund gerir því kleift að samþættast snjallt við vinsæla verkefnastjórnunarvettvanga eins og Slurm og NVIDIA Run:ai. Með því að þýða flóknar vélbúnaðarbyggingar í nothæfa tímasetningarupplýsingar, tryggir Mission Control að háþróuðum getu Blackwell arkitektúrsins sé að fullu nýtt, og umbreytir flókinni vélbúnaðarsamsetningu í raunverulega rekstrarhæfa gervigreindarverksmiðju. Þessi geta mun ná til væntanlegs NVIDIA Vera Rubin vettvangs, þar á meðal NVIDIA Rubin NVL8, sem styrkir enn frekar samræmda nálgun við afkastamikla gervigreindarinnviði.
## Afkóðun NVLink léna og skiptinga fyrir gervigreindarverkefni
Í kjarna byggingarfræðilegrar tímasetningar fyrir Blackwell kerfi eru hugtökin NVLink lén og skiptingar, sem koma fram í gegnum auðkenni á kerfisstigi: **cluster UUID** og **clique ID**. Þessi auðkenni eru mikilvæg vegna þess að þau veita rökrétt kort af líkamlega NVLink netkerfinu, sem gerir kerfishugbúnaði og tímastjórum kleift að rökstyðja stöðu og tengingu GPU.
Kortlagningin er einföld en öflug:
- **Cluster UUID** samsvarar **NVLink léninu**. Sameiginlegt cluster UUID gefur til kynna að kerfi — og þeirra GPUar — tilheyri sama yfirsterkjandi NVLink léni og séu tengd með sameiginlegu NVLink netkerfi. Fyrir Grace Blackwell NVL72 er þessi UUID stöðug yfir allan rekkann, sem gefur til kynna líkamlega nálægð og sameiginlega háhraða tengingu.
- **Clique ID** samsvarar **NVLink skiptingunni**. Clique ID býður upp á fínni aðgreiningu, sem auðkennir hópa af GPUum sem deila NVLink skiptingu innan stærra léna. Þegar rekki er rökrétt skipt í margar NVLink skiptingar, er cluster UUID sá sami, en clique IDin aðgreina þessa smærri, einangruðu háhraðahópa.
Þessi aðgreining er mikilvæg frá rekstrarlegu sjónarmiði:
- **Cluster UUID** svarar spurningunni: *Hvaða GPUar deila líkamlega rekka og geta átt samskipti í gegnum NVLink á hæsta hraða?*
- **Clique ID** svarar: *Hvaða GPUar deila NVLink skiptingu og er ætlað að eiga samskipti saman fyrir tiltekið verkefni eða þjónustustig, sem tryggir hámarksafköst fyrir mjög samhliða verkefni?*
Þessi auðkenni eru tengivefurinn, sem gerir vettvöngum eins og Slurm, Kubernetes og NVIDIA Run:ai kleift að samræma staðsetningu verkefna, einangrun og afkastatryggingar við raunverulega uppbyggingu NVLink netkerfisins, allt án þess að afhjúpa undirliggjandi vélbúnaðarflækju beint fyrir endanotendum. NVIDIA Mission Control veitir miðstýrða yfirsýn yfir þessi auðkenni og einfaldar stjórnun.
| Hugtak vélbúnaðar | Hugbúnaðarauðkenni | Lýsing |
| :-------------------- | :------------------ | :----------------------------------------------------------------------------------------- |
| NVLink lén | Cluster UUID | Auðkennir GPUa sem líkamlega deila rekka og geta átt samskipti í gegnum NVLink yfir rekkann. |
| NVLink skipting | Clique ID | Aðgreinir GPUa sem ætlað er að eiga samskipti saman innan NVLink léns fyrir tiltekið verkefni eða þjónustustig. |
## Byggingarfræðileg tímasetning gervigreindar með Slurm
Fyrir fjölhnúta verkefni sem keyra á Blackwell-byggðum NVL72 kerfum verður **staðsetning jafn mikilvæg og heildarfjöldi úthlutaðra GPUa**. Gervigreindarþjálfunarverkefni sem krefst 16 GPUa mun til dæmis skila allt öðrum afköstum ef því er dreift af handahófi yfir marga minna tengda hnúta samanborið við að vera takmarkað innan eins, háhraða NVLink netkerfis. Þetta er þar sem **topology/block viðbót** Slurm reynist ómissandi, og gerir Slurm kleift að þekkja fínlega tengingarmuninn á milli hnúta.
Á Grace Blackwell NVL72 kerfum kortleggja blokkir hnúta með lægri leyðstíma tengingum beint við **NVLink skiptingar** — hópa af GPUum sem eru sameinaðir með sérstöku, háhraða NVLink netkerfi. Með því að virkja þessa viðbót og sýna þessar NVLink skiptingar sem aðskildar blokkir, fær Slurm þann samhengisgreind sem þarf til að taka betri tímasetningarákvarðanir. Sjálfgefið eru verkefni snjallt staðsett innan einnar NVLink skiptingar (eða blokkar), og þannig varðveitt mikilvæg Multi-Node NVLink (MNNVL) afköst. Þó stærri verkefni geti samt spannað yfir margar blokkir ef nauðsyn krefur, gerir þessi nálgun afkastamálamiðlanirnar skýrar, frekar en tilviljanakenndar.
Í reynd gerir þetta kleift að nota sveigjanlegar dreifingarstefnur:
- **Einn kubbur/hnútahópur á rekka**: Þessi stilling gerir Slurm Quality of Service (QoS) kleift að stýra aðgangi að sameiginlegri, rekkastærðar skiptingunni, sem er tilvalið fyrir samþætta auðlindastjórnun.
- **Margar blokkir/hnútahópar á rekka**: Þessi nálgun er fullkomin til að bjóða upp á smærri, einangruð, háhraða GPU-söfn. Hér kortleggur hver blokk/hnútahópur sig við sérstaka Slurm skiptingu, sem veitir í raun aðskilið þjónustustig. Notendur geta þá nýtt sér sérstaka Slurm skiptingu og sjálfkrafa lent verkefnum sínum innan ætlaðrar NVLink skiptingar án þess að þurfa að skilja undirliggjandi netkerfisflækjur. Þessi háþróaða auðlindastjórnun er mikilvæg fyrir stofnanir sem vilja stækka gervigreindarframtök sín, í samræmi við víðtækara markmið um [stigstærð gervigreindar fyrir alla](/is/scaling-ai-for-everyone).
## Hagræðing MNNVL verkefna með IMEX og Mission Control
Fjölhnúta NVIDIA CUDA verkefni reiða sig oft á MNNVL til að ná hámarksafköstum, sem gerir GPUum á mismunandi reikniþáttum kleift að taka þátt í samhangandi forritunarlíkani með sameiginlegu minni. Frá sjónarhóli forritaþróunaraðila getur notkun MNNVL virst villandi einföld, en undirliggjandi samhæfing er flókin.
Þetta er þar sem NVIDIA Mission Control gegnir lykilhlutverki. Það tryggir að mikilvægir hlutar samræmist fullkomlega þegar MNNVL verkefni eru keyrð með Slurm. Nánar tiltekið ábyrgist Mission Control að IMEX þjónustan — sem auðveldar sameiginlegt GPU minni — keyri á *nákvæmlega* þeim reikniþáttum sem taka þátt í MNNVL verkefninu. Það tryggir einnig að nauðsynlegir NVSwitchar séu rétt stilltir til að koma á og viðhalda þessum háhraða MNNVL tengingum. Þessi samhæfing er mikilvæg til að veita stöðugan, fyrirsjáanlegan árangur yfir rekkann. Án snjallrar samhæfingar Mission Control væri erfitt að átta sig á og stjórna ávinningi MNNVL og IMEX í stórum stíl, sem undirstrikar skuldbindingu NVIDIA til að skila fullkomnum lausnum fyrir háþróaða [GPUa](/is/gpus) og vistkerfi þeirra.
## Í átt að sjálfvirkum, stigstærðum gervigreindarinnviðum
Samþætting Blackwell arkitektúrs NVIDIA við háþróuð hugbúnaðarlög eins og Mission Control og Topograph markar mikilvægt skref í átt að því að skapa sannarlega sjálfvirka og stigstærða gervigreindarinnviði. NVIDIA Topograph sjálfvirkar uppgötvun á flóknu NVLink og tenginetsstigveldi, og sýnir þessar mikilvægu upplýsingar fyrir tímastjóra eins og Slurm, Kubernetes (í gegnum NVIDIA DRA og ComputeDomains), og NVIDIA Run:ai. Þetta útilokar handvirkan kostnað við stjórnun byggingar, og gerir stofnunum kleift að dreifa og stækka gervigreindarverkefni með fordæmalausri skilvirkni.
Með því að veita tímastjórum djúpan, rauntíma skilning á vélbúnaðarbyggingunni, tryggir þessi samþætta nálgun að gervigreindarforrit keyri á bestu auðlindunum, lágmarki samskiptaleyðstíma og hámarki gegnumstreymi. Niðurstaðan er mjög afkastamikil, seigur og auðstýranleg gervigreindarverksmiðja sem getur séð um krefjandi gervigreindarþjálfunar- og ályktunarverkefni. Eftir því sem gervigreindarmódel halda áfram að vaxa í flækjustigi og stærð, mun getan til að stjórna og tímasetja verkefni á skilvirkan hátt á gervitölvum á rekkastærð verða mikilvæg fyrir að knýja fram nýsköpun og viðhalda samkeppnisforskoti. Þessi heildstæða stefna styður framtíð gervigreindar fyrirtækja, og umbreytir hráum reikniaflgi í snjöll, svörunargjörn og mjög skilvirka gervigreindartölvureikninga.
Upprunaleg heimild
https://developer.nvidia.com/blog/running-ai-workloads-on-rack-scale-supercomputers-from-hardware-to-topology-aware-scheduling/Algengar spurningar
What are NVIDIA GB200 and GB300 NVL72 systems, and what role does the Blackwell architecture play?
NVIDIA GB200 and GB300 NVL72 systems represent a new generation of rack-scale supercomputers specifically engineered for demanding AI and HPC workloads. These systems leverage the groundbreaking NVIDIA Blackwell architecture, which integrates massive GPU fabrics with high-bandwidth networking into a single, tightly coupled unit. The Blackwell architecture is designed to deliver unprecedented performance and efficiency for training and inference, featuring advanced NVLink switches, Multi-Node NVLink (MNNVL) for inter-GPU communication, and IMEX-capable compute trays that facilitate shared GPU memory across multiple nodes within the rack. This integrated design aims to overcome the limitations of traditional server-bound GPU deployments, providing a seamless, scalable platform for complex AI models.
What is the primary challenge in scheduling AI workloads on these advanced rack-scale supercomputers?
The core challenge lies in the significant mismatch between the intricate, hierarchical physical topology of rack-scale supercomputers and the often simplistic abstractions presented by conventional workload schedulers. While systems like the NVIDIA GB200/GB300 NVL72 boast sophisticated NVLink fabrics and IMEX domains, schedulers typically perceive a flat pool of GPUs and nodes. This can lead to inefficient resource allocation, sub-optimal performance due to poor data locality or communication bottlenecks, and increased operational complexity for platform operators. Without topology-aware scheduling, the inherent advantages of rack-scale integration, such as high-bandwidth interconnections, cannot be fully leveraged for AI workloads.
How does NVIDIA Mission Control address the operational complexities of rack-scale AI scheduling?
NVIDIA Mission Control acts as a crucial control plane that bridges the gap between the complex hardware topology of NVIDIA Grace Blackwell NVL72 systems and the needs of workload management platforms like Slurm and NVIDIA Run:ai. It provides a native, deep understanding of NVLink and IMEX domains, translating physical hardware relationships into logical identifiers that schedulers can interpret. By centralizing the view of cluster UUIDs and clique IDs, Mission Control enables precise, topology-aware job placement, ensures proper workload isolation, and guarantees consistent performance by aligning computations with the optimal underlying hardware fabric. This effectively transforms raw infrastructure into an efficient, manageable AI factory.
Explain the concepts of Cluster UUID and Clique ID in the context of NVLink topology and their operational significance.
Cluster UUID and Clique ID are system-level identifiers that encode a GPU's position within the NVLink fabric, making the complex topology understandable to system software and schedulers. The Cluster UUID corresponds to the NVLink domain, indicating that systems and their GPUs belong to the same physical rack and share a common NVLink fabric. For Grace Blackwell NVL72, this UUID is consistent across the entire rack. The Clique ID provides a finer distinction, corresponding to an NVLink Partition. GPUs sharing a Clique ID belong to the same logical partition within that domain. Operationally, the Cluster UUID answers which GPUs physically share a rack and can communicate via NVLink, while the Clique ID answers which GPUs share an NVLink Partition and are intended to communicate together for a specific workload, enabling finer-grained resource allocation and performance optimization.
How does Slurm's topology/block plugin enhance AI workload placement on NVL72 systems?
Slurm's topology/block plugin is essential for efficient AI workload placement on NVIDIA NVL72 systems by making Slurm aware that not all nodes (or GPUs) are equal in terms of connectivity and performance. On Grace Blackwell NVL72 systems, blocks of nodes with lower-latency connections directly map to NVLink partitions, which are groups of GPUs sharing a high-bandwidth NVLink fabric. By enabling this plugin and exposing NVLink partitions as 'blocks,' Slurm gains the necessary context to make intelligent placement decisions. This ensures that multi-GPU jobs are preferentially allocated within a single NVLink partition to preserve MNNVL performance, preventing performance degradation that could occur if jobs were spread indiscriminately across different, less-connected segments of the supercomputer. It allows for optimized resource utilization and predictable performance for demanding AI tasks.
What is Multi-Node NVLink (MNNVL), and how does IMEX facilitate it for shared GPU memory?
Multi-Node NVLink (MNNVL) is a key technology that allows GPUs across different compute nodes within a rack-scale system to communicate directly with high bandwidth and low latency, essential for scaling large AI models. MNNVL enables a shared-memory programming model across these distributed GPUs, making it appear to applications as a single, massive GPU fabric. IMEX (Infiniband Memory Expansion) is the underlying technology that facilitates MNNVL. IMEX-capable compute trays are designed to enable shared GPU memory across nodes by leveraging NVIDIA's advanced networking. While MNNVL simplifies the programming model for developers, Mission Control plays a crucial role behind the scenes to ensure that IMEX services are correctly provisioned and synchronized with MNNVL jobs, guaranteeing that the benefits of shared GPU memory are fully realized without exposing the underlying complexities to the end-user.
What are the key benefits of implementing topology-aware scheduling for AI workloads on rack-scale supercomputers?
Implementing topology-aware scheduling offers several significant benefits for AI workloads on rack-scale supercomputers. Firstly, it ensures optimal performance by intelligently placing jobs on GPUs that have the highest bandwidth and lowest latency connections, minimizing communication overheads inherent in distributed AI training. Secondly, it enhances resource utilization by preventing inefficient spreading of jobs across disparate hardware segments, leading to more predictable performance and better throughput. Thirdly, it simplifies management for platform operators by abstracting hardware complexities while providing clear isolation boundaries between workloads, improving system stability and security. Ultimately, topology-aware scheduling transforms complex hardware into a highly efficient, scalable, and manageable 'AI factory,' accelerating research and development while reducing operational burden.
How does NVIDIA Topograph contribute to the automated discovery and scheduling of supercomputer topologies?
NVIDIA Topograph is a critical component that automates the discovery of the intricate NVLink and interconnect hierarchy within rack-scale supercomputers. This automated discovery is essential because manually configuring and maintaining detailed topology information for large-scale systems would be prone to errors and highly time-consuming. Topograph exposes this detailed fabric information to workload schedulers, including Slurm and Kubernetes (through NVIDIA DRA and ComputeDomains), as well as NVIDIA Run:ai. By providing schedulers with an accurate and real-time view of the hardware topology, Topograph enables them to make intelligent, automated placement decisions. This ensures that AI workloads are scheduled in a topology-aware manner from the outset, optimizing performance, resource allocation, and overall system efficiency, which is crucial for building and operating scalable AI factories.
Fylgstu með
Fáðu nýjustu gervigreindarfréttirnar í pósthólfið.
