Generativ AI-inferens: Accelererar på SageMaker med G7e-instanser

G7e-instanser: En ny era för AI-inferens på SageMaker

Landskapet för generativ AI utvecklas i en oöverträffad takt, vilket driver en ständig efterfrågan på mer kraftfull, flexibel och kostnadseffektiv infrastruktur. Idag är Code Velocity glada att rapportera om ett betydande framsteg från AWS: den allmänna tillgängligheten av G7e-instanser på Amazon SageMaker AI. Drivna av NVIDIA RTX PRO 6000 Blackwell Server Edition GPU:er, är dessa nya instanser redo att omdefiniera riktmärkena för generativ AI-inferens, och erbjuder utvecklare och företag oöverträffad prestanda och minneskapacitet.

Amazon SageMaker AI är en fullt hanterad tjänst som förser utvecklare och datavetare med verktyg för att bygga, träna och distribuera maskininlärningsmodeller i stor skala. Introduktionen av G7e-instanser markerar ett avgörande ögonblick för generativa AI-arbetslaster på denna plattform. Dessa instanser utnyttjar de banbrytande NVIDIA RTX PRO 6000 Blackwell GPU:erna, var och en med imponerande 96 GB GDDR7-minne. Denna betydande minnesökning möjliggör distribution av betydligt större grundmodeller (FMs) direkt på SageMaker AI, vilket tillgodoser ett kritiskt behov för avancerade AI-applikationer.

Organisationer kan nu distribuera modeller som GPT-OSS-120B, Nemotron-3-Super-120B-A12B (NVFP4-variant), och Qwen3.5-35B-A3B med anmärkningsvärd effektivitet. G7e.2xlarge-instansen, med en enda GPU, kan hosta 35 miljarder parametermodeller, medan G7e.48xlarge, med åtta GPU:er, skalar upp till 300 miljarder parametermodeller. Denna flexibilitet omsätts i påtagliga fördelar: minskad operativ komplexitet, lägre latens och betydande kostnadsbesparingar för inferensarbetslaster.

Avslöjar G7e:s generationshopp i prestanda

G7e-instanser representerar ett monumentalt språng över sina föregångare, G6e och G5, och levererar upp till 2,3 gånger snabbare inferensprestanda jämfört med G6e. De tekniska specifikationerna understryker detta generationsframsteg. Varje G7e GPU tillhandahåller en förbluffande bandbredd på 1 597 GB/s, vilket effektivt fördubblar minnet per GPU jämfört med G6e och fyrdubblar det jämfört med G5. Dessutom förbättras nätverkskapaciteten dramatiskt, och skalar upp till 1 600 Gbps med EFA på den största G7e-storleken. Denna 4x ökning jämfört med G6e och 16x jämfört med G5 låser upp potentialen för inferens med låg latens i flera noder och finjusteringsscenarier som tidigare ansågs opraktiska.

Här är en jämförelse som belyser utvecklingen över generationer på 8-GPU-nivån:

Med kolossala 768 GB aggregerat GPU-minne på en enda G7e-instans kan modeller som en gång krävde komplexa flernodskonfigurationer på äldre instanser nu distribueras med anmärkningsvärd enkelhet. Detta minskar betydligt latensen mellan noder och den operativa omkostnaden. I kombination med stöd för FP4-precision via femte generationens Tensor Cores och NVIDIA GPUDirect RDMA över EFAv4 är G7e-instanser otvetydigt utformade för krävande LLM, multimodal AI och sofistikerade agentiska inferensarbetsflöden på AWS.

Mångsidiga generativa AI-användningsfall blomstrar med G7e

Den robusta kombinationen av minnesdensitet, bandbredd och avancerade nätverkskapaciteter gör G7e-instanser idealiska för ett brett spektrum av samtida generativa AI-arbetslaster. Från att förbättra konversationell AI till att driva komplexa fysiska simuleringar erbjuder G7e påtagliga fördelar:

• Chatbotar och konversationell AI: Den låga Time To First Token (TTFT) och höga genomströmningen hos G7e-instanser säkerställer responsiva och sömlösa interaktiva upplevelser, även vid tunga samtidiga användarlaster. Detta är avgörande för att bibehålla användarengagemang och tillfredsställelse i AI-interaktioner i realtid.
• Agentiska och verktygsanropande arbetsflöden: För Retrieval Augmented Generation (RAG)-pipelines och agentiska system är snabb kontextinjektion från hämtningslager av största vikt. Den 4x förbättrade CPU-till-GPU-bandbredden inom G7e-instanser gör dem exceptionellt effektiva för dessa kritiska operationer, vilket möjliggör mer intelligenta och dynamiska AI-agenter.
• Textgenerering, sammanfattning och inferens med lång kontext: Med 96 GB minne per GPU hanterar G7e-instanser skickligt stora Key-Value (KV) cacheminnen. Detta möjliggör utökade dokumentkontexter, vilket avsevärt minskar behovet av texttrunkering och underlättar rikare, mer nyanserade resonemang över omfattande indata.
• Bildgenerering och visionsmodeller: Där tidigare generationers instanser ofta stötte på 'out-of-memory'-fel med större multimodala modeller, löser G7e:s fördubblade minneskapacitet elegant dessa begränsningar, vilket banar väg för mer sofistikerade och högupplösta bild- och visions-AI-applikationer.
• Fysisk AI och vetenskaplig beräkning: Utöver traditionell generativ AI, utökar G7e:s Blackwell-generationens beräkningskraft, FP4-stöd och rumsliga beräkningsförmågor (inklusive DLSS 4.0 och 4:e generationens RT-kärnor) dess användbarhet till digitala tvillingar, 3D-simulering och avancerad inferens av fysiska AI-modeller, vilket öppnar nya gränser inom vetenskaplig forskning och industriella applikationer.

Effektiviserad distribution och prestandajämförelse

Att distribuera generativa AI-modeller på G7e-instanser via Amazon SageMaker AI är utformat för att vara enkelt. Användare kan få tillgång till en exempelfil här som effektiviserar processen. Förutsättningarna inkluderar typiskt sett ett AWS-konto, en IAM-roll för SageMaker-åtkomst, och antingen Amazon SageMaker Studio eller en SageMaker notebook-instans för utvecklingsmiljön. Viktigt är att användare bör begära en lämplig kvot för ml.g7e.2xlarge eller större instanser för SageMaker AI-slutpunktsanvändning via Service Quotas-konsolen.

För att demonstrera de betydande prestandaförbättringarna benchmarkade AWS Qwen3-32B (BF16) på både G6e- och G7e-instanser. Arbetsbelastningen involverade cirka 1 000 ingångstokens och 560 utgångstokens per förfrågan, vilket imiterar vanliga dokumentsammanfattningsuppgifter. Båda konfigurationerna använde den inbyggda vLLM-containern med prefixcaching aktiverat, vilket säkerställde en jämförelse på lika villkor.

Resultaten är övertygande. Medan G6e-baslinjen (ml.g6e.12xlarge med 4x L40S GPU:er till 13,12 USD/timme) visade stark genomströmning per förfrågan, berättar G7e (ml.g7e.2xlarge med 1x RTX PRO 6000 Blackwell till 4,20 USD/timme) en dramatiskt annorlunda kostnadshistoria. Vid produktionskonkurrens (C=32) uppnådde G7e förvånande 0,79 USD per miljon utdata-tokens. Detta representerar en 2,6x kostnadsminskning jämfört med G6e:s 2,06 USD, driven av G7e:s lägre timpris och dess förmåga att bibehålla konsekvent genomströmning under belastning, vilket bevisar att hög prestanda inte behöver komma till en premiumkostnad.

Framtiden för kostnadseffektiv generativ AI-inferens

Introduktionen av G7e-instanser på Amazon SageMaker AI är mer än bara en inkrementell uppgradering; det är ett strategiskt drag från AWS för att demokratisera tillgången till högpresterande generativ AI. Genom att kombinera den råa kraften hos NVIDIA RTX PRO 6000 Blackwell GPU:er med SageMaker:s skalbarhets- och hanteringsfunktioner, ger AWS organisationer av alla storlekar möjlighet att distribuera större, mer komplexa AI-modeller med oöverträffad effektivitet och kostnadseffektivitet. Denna utveckling säkerställer att framstegen inom generativ AI kan omvandlas till praktiska, produktionsfärdiga applikationer inom ett stort antal branscher, vilket befäster SageMaker AI:s position som en ledande plattform för AI-innovation.