Myndandi gervigreindarályktun: Hraðari á SageMaker með G7e tilvikum

G7e tilvik: Nýtt tímabil fyrir gervigreindarályktun á SageMaker

Landslag myndandi gervigreindar þróast með fordæmalausum hraða og knýr stöðuga eftirspurn eftir öflugri, sveigjanlegri og hagkvæmari innviðum. Í dag er Code Velocity spennt að tilkynna um mikla framför frá AWS: almennt framboð á G7e tilvikum á Amazon SageMaker AI. Knúin af NVIDIA RTX PRO 6000 Blackwell Server Edition GPUum, eru þessi nýju tilvik ætluð til að endurskilgreina viðmið fyrir myndandi gervigreindarályktun og bjóða þróunaraðilum og fyrirtækjum óviðjafnanleg afköst og minnisgetu.

Amazon SageMaker AI er fullkomlega stýrð þjónusta sem veitir þróunaraðilum og gagnafræðingum verkfæri til að byggja, þjálfa og útfæra vélrænt nám líkön á stórum skala. Innleiðing G7e tilvika markar mikilvægan tímapunkt fyrir vinnuálag myndandi gervigreindar á þessum vettvangi. Þessi tilvik nýta sér nýjustu NVIDIA RTX PRO 6000 Blackwell GPUurnar, hver um sig státar af glæsilegum 96 GB af GDDR7 minni. Þessi verulega aukning á minni gerir kleift að útfæra mun stærri grunnlíkön (FMs) beint á SageMaker AI, sem mætir mikilvægri þörf fyrir háþróuð gervigreindarforrit.

Fyrirtæki geta nú útfært líkön eins og GPT-OSS-120B, Nemotron-3-Super-120B-A12B (NVFP4 afbrigði) og Qwen3.5-35B-A3B með ótrúlegri skilvirkni. G7e.2xlarge tilvikið, sem býður upp á eina GPU, getur hýst 35 milljarða breytu líkön, á meðan G7e.48xlarge, með átta GPUum, skalast upp í 300 milljarða breytu líkön. Þessi sveigjanleiki skilar sér í áþreifanlegum ávinningi: minni rekstrarflækjustig, lægri leynd og umtalsverðan kostnaðarsparnað fyrir ályktunarvinnuálag.

Afhjúpun á kynslóðarstökk G7e í afköstum

G7e tilvik eru stórkostlegt stökk fram úr forverum sínum, G6e og G5, og skila allt að 2,3 sinnum hraðari ályktunarafköstum samanborið við G6e. Tæknilegar upplýsingar undirstrika þessa kynslóðarframför. Hver G7e GPU veitir ótrúlega 1.597 GB/s bandbreidd, sem tvöfaldar í raun minni á hverja GPU miðað við G6e og fjórfaldar það miðað við G5. Ennfremur eru netmöguleikar stórlega auknir, skalanir allt að 1.600 Gbps með EFA á stærstu G7e stærðinni. Þessi 4x aukning fram úr G6e og 16x fram úr G5 opnar möguleika fyrir fjölhnúta ályktun með lágri leynd og fínstillingar sem áður voru taldar óframkvæmanlegar.

Hér er samanburður sem sýnir framvindu yfir kynslóðir á 8-GPU stiginu:

Með gríðarlegri 768 GB af samanlögðu GPU minni á einu G7e tilviki, er nú hægt að útfæra líkön sem áður kröfðust flókinna fjölhnúta uppsetninga á eldri tilvikum með ótrúlegri einfaldleika. Þetta dregur verulega úr leynd milli hnútanna og rekstrarkostnaði. Í sambandi við stuðning við FP4 nákvæmni í gegnum fimmta kynslóð Tensor Cores og NVIDIA GPUDirect RDMA yfir EFAv4, eru G7e tilvik ótvírætt hönnuð fyrir krefjandi LLM, fjölþátta gervigreindar og flókin miðlaravinnuflæði fyrir ályktun á AWS.

Fjölbreytt notkunartilvik myndandi gervigreindar þrífast á G7e

Hin öfluga samsetning minnisþéttleika, bandbreiddar og háþróaðra netmöguleika gerir G7e tilvik tilvalin fyrir breitt svið nútíma vinnuálags myndandi gervigreindar. Frá því að bæta samræðugervigreind til þess að knýja flóknar eðlisfræðilegar uppgerðir, býður G7e upp á áþreifanlegan ávinning:

• Spjallbotnar og samræðugervigreind: Lágt Tími til Fyrsta Tákn (TTFT) og mikil afköst G7e tilvika tryggja móttækileg og óaðfinnanleg gagnvirk upplifun, jafnvel þegar mikill samtímis notendaálag er fyrir hendi. Þetta er mikilvægt til að viðhalda þátttöku notenda og ánægju í rauntíma gervigreindarsamskiptum.
• Miðlaravinnuflæði og Verkfæraköllun: Fyrir Retrieval Augmented Generation (RAG) vinnslulínur og miðlarakerfi er hröð samhengisinnsetning úr endurheimtargeymslum afar mikilvæg. Sú 4x framför í bandbreidd milli CPU og GPU innan G7e tilvika gerir þau einstaklega skilvirk fyrir þessar mikilvægu aðgerðir, sem gerir kleift að búa til gervigreindaraðila sem eru greindari og kraftmeiri.
• Textamyndun, samantekt og ályktun með löngu samhengi: Með 96 GB af minni á hverja GPU, ráða G7e tilvik á skilvirkan hátt við stóra Key-Value (KV) skyndiminnar. Þetta leyfir útvíkkað samhengi skjala, sem dregur verulega úr þörf fyrir textastyttingu og auðveldar ríkari, nákvæmari rökstuðning yfir víðtækar inntaksgögn.
• Myndamyndun og sjónlíkön: Þar sem fyrri kynslóðar tilvik lentu oft í minnisvillum með stærri fjölþátta líkönum, leysir tvöföld minnisgeta G7e þessar takmarkanir á áhrifaríkan hátt, og opnar leiðina fyrir flóknari og hærri upplausnar mynd- og sjón gervigreindarforrit.
• Eðlisfræðileg gervigreind og vísindalegar útreikningar: Fyrir utan hefðbundna myndandi gervigreind, framlengja Blackwell-kynslóðar útreikninga, FP4 stuðningur og staðbundnar útreikningsgetur G7e (þ.mt DLSS 4.0 og 4. kynslóð RT kjarna) notkun hennar til stafrænna tvíbura, 3D uppgerðar og háþróaðrar ályktunar eðlisfræðilegra gervigreindarlíkana, sem opnar nýjar leiðir í vísindarannsóknum og iðnaðarforritum.

Straumlínulöguð útfærsla og viðmiðun afkasta

Útfærsla myndandi gervigreindarlíkana á G7e tilvikum í gegnum Amazon SageMaker AI er hönnuð til að vera einföld. Notendur geta nálgast dæmi um minnisbók hér sem straumlínulagar ferlið. Forsendur innihalda venjulega AWS reikning, IAM hlutverk fyrir SageMaker aðgang, og annað hvort Amazon SageMaker Studio eða SageMaker minnisbókartilvik fyrir þróunarumhverfið. Mikilvægt er að notendur ættu að biðja um viðeigandi kvóta fyrir ml.g7e.2xlarge eða stærri tilvik fyrir notkun SageMaker AI endapunkta í gegnum Service Quotas console.

Til að sýna fram á verulegan ávinning í afköstum, gerði AWS viðmiðun á Qwen3-32B (BF16) á bæði G6e og G7e tilvikum. Vinnuálagið fól í sér um það bil 1.000 inntakstákn og 560 úttakstákn á hverja beiðni, sem líkti eftir algengum verkefnum við samantekt skjala. Báðar uppsetningar notuðu innfædda vLLM ílát með virkum forskeytis skyndiminni, sem tryggði samanburð án hlutdrægni.

Niðurstöðurnar eru sannfærandi. Þó að G6e grunnlíkön (ml.g6e.12xlarge með 4x L40S GPUum á $13,12/klst) sýndu mikla afköst á hverja beiðni, segir G7e (ml.g7e.2xlarge með 1x RTX PRO 6000 Blackwell á $4,20/klst) verulega aðra kostnaðarsögu. Við framleiðslusamfellu (C=32), náði G7e ótrúlegum $0,79 á hverja milljón úttakstákna. Þetta táknar 2,6x kostnaðarlækkun samanborið við $2,06 G6e, knúið af lægri tímagjaldi G7e og getu þess til að viðhalda stöðugum afköstum undir álagi, sem sannar að mikil afköst þurfa ekki að kosta mikið.

Framtíð hagkvæmrar myndandi gervigreindarályktunar

Innleiðing G7e tilvika á Amazon SageMaker AI er meira en bara smávægileg uppfærsla; það er stefnumótandi skref frá AWS til að lýðræðisvæða aðgang að afkastamikilli myndandi gervigreind. Með því að sameina hráan kraft NVIDIA RTX PRO 6000 Blackwell GPUa við skalanleika og stjórnunargetu SageMaker, er AWS að styrkja fyrirtæki af öllum stærðum til að útfæra stærri, flóknari gervigreindarlíkön með fordæmalausri skilvirkni og hagkvæmni. Þessi þróun tryggir að framfarir í myndandi gervigreind geti verið umbreytt í hagnýt, framleiðsluhæf forrit yfir fjölbreytt úrval iðnaðar, sem styrkir stöðu SageMaker AI sem leiðandi vettvang fyrir gervigreindarnýsköpun.