გენერაციული AI ინფერენსი: აჩქარება SageMaker-ზე G7e ინსტანციებით

G7e ინსტანციები: AI ინფერენსის ახალი ერა SageMaker-ზე

გენერაციული AI-ის ლანდშაფტი უპრეცედენტო ტემპით ვითარდება, რაც მუდმივ მოთხოვნას ქმნის უფრო მძლავრ, მოქნილ და ხარჯთეფექტურ ინფრასტრუქტურაზე. დღეს, Code Velocity სიხარულით იუწყება AWS-ის მნიშვნელოვანი წინსვლის შესახებ: G7e ინსტანციების ზოგადი ხელმისაწვდომობა Amazon SageMaker AI-ზე. NVIDIA RTX PRO 6000 Blackwell Server Edition GPU-ებით აღჭურვილი ეს ახალი ინსტანციები გენერაციული AI ინფერენსის ბენჩმარკების გადაფასებას აპირებენ, სთავაზობენ რა დეველოპერებსა და საწარმოებს შეუდარებელ წარმადობასა და მეხსიერების მოცულობას.

Amazon SageMaker AI არის სრულად მართული სერვისი, რომელიც დეველოპერებსა და მონაცემთა მეცნიერებს აწვდის ხელსაწყოებს მანქანური სწავლების მოდელების მასშტაბური მშენებლობის, გაწვრთნისა და განლაგებისთვის. G7e ინსტანციების დანერგვა გადამწყვეტ მომენტს აღნიშნავს გენერაციული AI სამუშაო დატვირთვებისთვის ამ პლატფორმაზე. ეს ინსტანციები იყენებენ უახლეს NVIDIA RTX PRO 6000 Blackwell GPU-ებს, რომელთაგან თითოეული ამაყობს შთამბეჭდავი 96 GB GDDR7 მეხსიერებით. მეხსიერების ეს მნიშვნელოვანი ზრდა იძლევა მნიშვნელოვნად უფრო დიდი ფუნდამენტური მოდელების (FMs) უშუალოდ SageMaker AI-ზე განლაგების საშუალებას, რაც აკმაყოფილებს მოწინავე AI აპლიკაციების კრიტიკულ საჭიროებას.

ორგანიზაციებს ახლა შეუძლიათ განათავსონ მოდელები, როგორიცაა GPT-OSS-120B, Nemotron-3-Super-120B-A12B (NVFP4 ვარიანტი) და Qwen3.5-35B-A3B შესანიშნავი ეფექტურობით. G7e.2xlarge ინსტანციას, რომელსაც აქვს ერთი GPU, შეუძლია უმასპინძლოს 35 მილიარდ პარამეტრის მოდელებს, ხოლო G7e.48xlarge, რვა GPU-თი, მასშტაბირდება 300 მილიარდ პარამეტრის მოდელებამდე. ეს მოქნილობა გამოიხატება ხელშესახებ სარგებელში: შემცირებული ოპერაციული სირთულე, დაბალი შეყოვნება და მნიშვნელოვანი ხარჯების დაზოგვა ინფერენსის სამუშაო დატვირთვებისთვის.

G7e-ის თაობათა წარმადობის ნახტომის გაშიფვრა

G7e ინსტანციები წარმოადგენს მონუმენტურ ნახტომს თავის წინამორბედებთან, G6e-სა და G5-თან შედარებით, რაც 2.3-ჯერ უფრო სწრაფ ინფერენსის წარმადობას უზრუნველყოფს G6e-სთან შედარებით. ტექნიკური მახასიათებლები ხაზს უსვამს ამ თაობათა წინსვლას. თითოეული G7e GPU უზრუნველყოფს საოცარ 1,597 GB/წმ გამტარუნარიანობას, რაც ეფექტურად აორმაგებს G6e-ის GPU-ზე მეხსიერებას და ოთხმაგებს G5-ისას. გარდა ამისა, ქსელური შესაძლებლობები დრამატულად გაუმჯობესებულია, რაც იზრდება 1,600 Gbps-მდე EFA-სთან ერთად G7e-ის უდიდეს ზომაზე. ეს 4-ჯერადი ზრდა G6e-ზე და 16-ჯერადი G5-ზე ხსნის დაბალი შეყოვნების მრავალკვანძოვანი ინფერენსის და თხელი რეგულირების სცენარების პოტენციალს, რაც ადრე არაპრაქტიკულად ითვლებოდა.

აქ მოცემულია შედარება, რომელიც ხაზს უსვამს პროგრესს თაობებს შორის 8-GPU დონეზე:

მახასიათებელი	G5 (g5.48xlarge)	G6e (g6e.48xlarge)	G7e (g7e.48xlarge)
GPU	8x NVIDIA A10G	8x NVIDIA L40S	8x NVIDIA RTX PRO 6000 Blackwell
GPU მეხსიერება თითო GPU-ზე	24 GB GDDR6	48 GB GDDR6	96 GB GDDR7
სრული GPU მეხსიერება	192 GB	384 GB	768 GB
GPU მეხსიერების გამტარუნარიანობა	600 GB/s თითო GPU-ზე	864 GB/s თითო GPU-ზე	1,597 GB/s თითო GPU-ზე
vCPU	192	192	192
სისტემური მეხსიერება	768 GiB	1,536 GiB	2,048 GiB
ქსელის გამტარუნარიანობა	100 Gbps	400 Gbps	1,600 Gbps (EFA)
ლოკალური NVMe საცავი	7.6 TB	7.6 TB	15.2 TB
ინფერენსი G6e-სთან შედარებით	Baseline	~1x	Up to 2.3x

768 GB-ის კოლოსალური ჯამური GPU მეხსიერებით ერთ G7e ინსტანციაზე, მოდელები, რომლებიც ოდესღაც რთულ მრავალკვანძოვან კონფიგურაციებს მოითხოვდნენ ძველ ინსტანციებზე, ახლა შეიძლება განლაგდეს შესანიშნავი სიმარტივით. ეს მნიშვნელოვნად ამცირებს კვანძთაშორის შეყოვნებასა და ოპერაციულ ხარჯებს. მეხუთე თაობის Tensor Cores-ის მეშვეობით FP4 სიზუსტის მხარდაჭერასთან და EFAv4-ზე NVIDIA GPUDirect RDMA-სთან ერთად, G7e ინსტანციები ცალსახად შექმნილია მოთხოვნადი LLM, მულტიმოდალური AI და დახვეწილი აგენტური ინფერენსის სამუშაო პროცესებისთვის AWS-ზე.

G7e-ზე გენერაციული AI-ის მრავალფეროვანი გამოყენების შემთხვევები ყვავის

მეხსიერების სიმკვრივის, გამტარუნარიანობისა და მოწინავე ქსელური შესაძლებლობების მძლავრი კომბინაცია G7e ინსტანციებს იდეალურს ხდის თანამედროვე გენერაციული AI სამუშაო დატვირთვების ფართო სპექტრისთვის. საუბრის AI-ის გაუმჯობესებიდან დაწყებული რთული ფიზიკური სიმულაციების გაძლიერებამდე, G7e გვთავაზობს ხელშესახებ უპირატესობებს:

ჩეთბოტები და საუბრის AI: G7e ინსტანციების დაბალი Time To First Token (TTFT) და მაღალი გამტარუნარიანობა უზრუნველყოფს რეაგირებად და უწყვეტ ინტერაქტიულ გამოცდილებას, მაშინაც კი, როდესაც დიდი რაოდენობით ერთდროული მომხმარებლის დატვირთვაა. ეს გადამწყვეტია მომხმარებლის ჩართულობისა და კმაყოფილების შესანარჩუნებლად რეალურ დროში AI ურთიერთქმედებებში.
აგენტური და ხელსაწყოების გამოძახების სამუშაო პროცესები: Retrieval Augmented Generation (RAG) მილსადენებისა და აგენტური სისტემებისთვის, სწრაფი კონტექსტის ინექცია საძიებო საცავებიდან უმნიშვნელოვანესია. CPU-დან GPU-ზე გამტარუნარიანობის 4-ჯერ გაუმჯობესება G7e ინსტანციებში მათ განსაკუთრებულად ეფექტურს ხდის ამ კრიტიკული ოპერაციებისთვის, რაც შესაძლებელს ხდის უფრო ინტელექტუალური და დინამიური AI აგენტების შექმნას.
ტექსტის გენერაცია, შეჯამება და გრძელი კონტექსტის ინფერენსი: 96 GB-ის თითო GPU-ზე მეხსიერებით, G7e ინსტანციები ოსტატურად ამუშავებენ დიდ Key-Value (KV) ქეშებს. ეს იძლევა გაფართოებული დოკუმენტის კონტექსტების საშუალებას, რაც მნიშვნელოვნად ამცირებს ტექსტის შემოკლების საჭიროებას და ხელს უწყობს უფრო მდიდარ, ნიუანსურ დასაბუთებას ვრცელი შეყვანის საფუძველზე.
გამოსახულების გენერაცია და ვიზუალური მოდელები: იქ, სადაც წინა თაობის ინსტანციებს ხშირად ჰქონდათ მეხსიერების ამოწურვის შეცდომები უფრო დიდი მულტიმოდალური მოდელებით, G7e-ის გაორმაგებული მეხსიერების მოცულობა ელეგანტურად აგვარებს ამ შეზღუდვებს, რაც გზას უხსნის უფრო დახვეწილ და მაღალი გარჩევადობის გამოსახულების და ვიზუალური AI აპლიკაციებს.
ფიზიკური AI და სამეცნიერო გამოთვლები: ტრადიციული გენერაციული AI-ის მიღმა, G7e-ის Blackwell-ის თაობის გამოთვლები, FP4 მხარდაჭერა და სივრცული გამოთვლითი შესაძლებლობები (DLSS 4.0 და მე-4 თაობის RT ბირთვების ჩათვლით) აფართოებს მის გამოყენებას ციფრულ ტყუპებზე, 3D სიმულაციაზე და მოწინავე ფიზიკური AI მოდელის ინფერენსზე, რაც ახალ ჰორიზონტს უხსნის სამეცნიერო კვლევებსა და სამრეწველო აპლიკაციებს.

გამარტივებული განლაგება და წარმადობის ბენჩმარკინგი

გენერაციული AI მოდელების განლაგება G7e ინსტანციებზე Amazon SageMaker AI-ის მეშვეობით შექმნილია მარტივად. მომხმარებლებს შეუძლიათ მიიღონ წვდომა ნიმუშის ნოუთბუქზე აქ, რომელიც ამარტივებს პროცესს. წინაპირობები, როგორც წესი, მოიცავს AWS ანგარიშს, IAM როლს SageMaker-ზე წვდომისთვის და Amazon SageMaker Studio-ს ან SageMaker ნოუთბუქის ინსტანციას განვითარების გარემოსთვის. რაც მთავარია, მომხმარებლებმა უნდა მოითხოვონ შესაბამისი კვოტა ml.g7e.2xlarge ან უფრო დიდი ინსტანციებისთვის SageMaker AI endpoint-ის გამოყენებისთვის Service Quotas კონსოლის მეშვეობით.

მნიშვნელოვანი წარმადობის გაუმჯობესების დემონსტრირებისთვის, AWS-მა შეაფასა Qwen3-32B (BF16) როგორც G6e, ასევე G7e ინსტანციებზე. სამუშაო დატვირთვა მოიცავდა დაახლოებით 1,000 შეყვანის ტოკენს და 560 გამომავალ ტოკენს თითო მოთხოვნაზე, რაც მიბაძავდა დოკუმენტების შეჯამების ჩვეულებრივ ამოცანებს. ორივე კონფიგურაციამ გამოიყენა მშობლიური vLLM კონტეინერი პრეფიქსის ქეშირებით, რაც უზრუნველყოფს ობიექტურ შედარებას.

შედეგები დამაჯერებელია. მიუხედავად იმისა, რომ G6e-ის საბაზისო მაჩვენებელმა (ml.g6e.12xlarge 4x L40S GPU-ით საათში 13.12 აშშ დოლარად) აჩვენა ძლიერი გამტარუნარიანობა თითო მოთხოვნაზე, G7e (ml.g7e.2xlarge 1x RTX PRO 6000 Blackwell-ით საათში 4.20 აშშ დოლარად) დრამატულად განსხვავებულ ხარჯთეფექტურობას გვიჩვენებს. წარმოების კონკურენტუნარიანობისას (C=32), G7e-მ მიაღწია საოცარ 0.79 აშშ დოლარს მილიონ გამომავალ ტოკენზე. ეს წარმოადგენს ხარჯების 2.6-ჯერ შემცირებას G6e-ის 2.06 აშშ დოლართან შედარებით, რაც განპირობებულია G7e-ის დაბალი საათობრივი ტარიფით და მისი უნარით შეინარჩუნოს თანმიმდევრული გამტარუნარიანობა დატვირთვის ქვეშ, რაც ამტკიცებს, რომ მაღალი წარმადობა ძვირი არ უნდა ღირდეს.

ხარჯთეფექტური გენერაციული AI ინფერენსის მომავალი

G7e ინსტანციების დანერგვა Amazon SageMaker AI-ზე უფრო მეტია, ვიდრე უბრალოდ ეტაპობრივი განახლება; ეს არის AWS-ის სტრატეგიული ნაბიჯი, რათა მაღალი წარმადობის გენერაციულ AI-ზე ხელმისაწვდომობა დემოკრატიული გახდეს. NVIDIA RTX PRO 6000 Blackwell GPU-ების ნედლი სიმძლავრის SageMaker-ის მასშტაბურობისა და მართვის შესაძლებლობებთან შერწყმით, AWS აძლევს საშუალებას ყველა ზომის ორგანიზაციას განათავსონ უფრო დიდი, რთული AI მოდელები უპრეცედენტო ეფექტურობითა და ხარჯთეფექტურობით. ეს განვითარება უზრუნველყოფს, რომ გენერაციული AI-ის მიღწევები შეიძლება გადაკეთდეს პრაქტიკულ, წარმოებისთვის მზა აპლიკაციებად ინდუსტრიების ფართო სპექტრში, რაც აძლიერებს SageMaker AI-ის პოზიციას, როგორც AI ინოვაციების წამყვან პლატფორმას.

ორიგინალი წყარო

https://aws.amazon.com/blogs/machine-learning/accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances/

ხშირად დასმული კითხვები

What are G7e instances and how do they benefit generative AI inference?

G7e instances are the latest generation of GPU-accelerated computing instances available on Amazon SageMaker AI, specifically designed to accelerate generative AI inference workloads. They are powered by NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs, offering significant advancements in memory capacity, bandwidth, and overall inference performance. For generative AI, G7e instances mean faster Time To First Token (TTFT), higher throughput, and the ability to host much larger foundation models (FMs) within a single instance, or even on a single GPU. This translates into more responsive AI applications, reduced operational complexity, and substantial cost savings for deploying and running large language models (LLMs), multimodal AI, and agentic workflows. Their enhanced capabilities make them ideal for interactive applications requiring high-performance, cost-effective inference.

Which NVIDIA GPU powers the new G7e instances, and what are its key features?

The new G7e instances on Amazon SageMaker AI are powered by the NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs. Each of these cutting-edge GPUs provides an impressive 96 GB of GDDR7 memory, which is double the memory capacity per GPU compared to the previous G6e instances. Key features also include 1,597 GB/s of GPU memory bandwidth per GPU, support for FP4 precision through fifth-generation Tensor Cores, and NVIDIA GPUDirect RDMA over EFAv4. These features collectively contribute to the G7e instances' superior inference performance, memory density, and low-latency networking, making them exceptionally capable for demanding generative AI tasks.

How do G7e instances compare to previous generations (G6e, G5) in terms of performance and memory?

G7e instances demonstrate a significant generational leap over G6e and G5. They deliver up to 2.3x inference performance compared to G6e instances. In terms of memory, each G7e GPU offers 96 GB of GDDR7 memory, effectively doubling the per-GPU memory of G6e and quadrupling that of G5. A top-tier G7e.48xlarge instance provides an aggregate of 768 GB total GPU memory. Furthermore, networking bandwidth scales up to 1,600 Gbps with EFA on the largest G7e size, a 4x jump over G6e and 16x over G5. This vast improvement in memory, bandwidth, and networking allows G7e instances to host models that previously required multi-node setups on older instances, simplifying deployment and reducing latency.

What types of generative AI workloads are best suited for deployment on G7e instances?

G7e instances are exceptionally well-suited for a broad range of modern generative AI workloads due to their high memory density, bandwidth, and advanced networking. These include: Chatbots and Conversational AI, ensuring low Time To First Token (TTFT) and high throughput for responsive interactive experiences; Agentic and Tool-Calling Workflows, benefiting from 4x improved CPU-to-GPU bandwidth for fast context injection in RAG pipelines; Text Generation, Summarization, and Long-Context Inference, accommodating large KV caches for extended document contexts with 96 GB per-GPU memory; Image Generation and Vision Models, overcoming out-of-memory errors for larger multimodal models that struggled on previous instances; and Physical AI and Scientific Computing, leveraging Blackwell-generation compute, FP4 support, and spatial computing capabilities for digital twins and 3D simulation.

What is the cost efficiency of G7e instances compared to G6e for generative AI inference?

G7e instances offer significantly improved cost efficiency for generative AI inference compared to G6e instances. Benchmarks deploying Qwen3-32B showed that G7e achieved $0.79 per million output tokens at production concurrency (C=32). This represents a remarkable 2.6x cost reduction compared to G6e’s $2.06 per million output tokens for a similar workload. This cost saving is primarily driven by G7e’s substantially lower hourly rate (e.g., $4.20/hr for ml.g7e.2xlarge vs. $13.12/hr for ml.g6e.12xlarge) combined with its ability to maintain consistent and high throughput under load, making it a more economical choice for large-scale deployments.

What are the memory capacities for deploying LLMs on single and multi-GPU G7e instances?

G7e instances offer substantial memory capacities for deploying large language models (LLMs). A single-node GPU, specifically a G7e.2xlarge instance, can effectively host foundation models with up to 35 billion parameters in FP16 precision. For larger models, scaling across multiple GPUs within a single instance dramatically increases capacity: a 4-GPU node (G7e.24xlarge) can deploy models up to 150 billion parameters, while an 8-GPU node (G7e.48xlarge) can handle models as large as 300 billion parameters. This impressive scalability provides organizations with the flexibility to deploy a wide range of LLMs without the complexities of multi-instance distributed setups.

What are the prerequisites for deploying solutions using G7e instances on Amazon SageMaker AI?

To deploy generative AI solutions using G7e instances on Amazon SageMaker AI, several prerequisites must be met. You need an active AWS account to host your resources and an AWS Identity and Access Management (IAM) role configured with appropriate permissions to access Amazon SageMaker AI services. For development and deployment, access to Amazon SageMaker Studio or a SageMaker notebook instance is recommended, though other interactive development environments like PyCharm or Visual Studio Code are also viable. Crucially, you must request a quota for at least one `ml.g7e.2xlarge` instance (or a larger G7e instance type) for Amazon SageMaker AI endpoint usage through the AWS Service Quotas console, as these are new and specialized instance types.

იყავით ინფორმირებული

მიიღეთ უახლესი AI სიახლეები ელფოსტაზე.

გაზიარება