Generative KI-Inferenz: Beschleunigung auf SageMaker mit G7e-Instanzen

title: "Generative KI-Inferenz: Beschleunigung auf SageMaker mit G7e-Instanzen" slug: "accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances" date: "2026-04-21" lang: "de" source: "https://aws.amazon.com/blogs/machine-learning/accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances/" category: "Unternehmens-KI" keywords:

• Generative KI
• KI-Inferenz
• Amazon SageMaker
• AWS G7e-Instanzen
• NVIDIA RTX PRO 6000
• LLM-Bereitstellung
• Kosteneffiziente KI
• GPU-Speicher
• Blackwell
• vLLM
• Grundlagenmodelle
• Agentische Workflows meta_description: "Beschleunigen Sie die generative KI-Inferenz auf Amazon SageMaker AI mit den neuen G7e-Instanzen, die von NVIDIA RTX PRO 6000 Blackwell GPUs angetrieben werden und eine 2,3-fache Leistung sowie Kosteneinsparungen bieten." image: "/images/articles/accelerate-generative-ai-inference-on-amazon-sagemaker-ai-with-g7e-instances.png" image_alt: "Amazon SageMaker AI G7e-Instanzen beschleunigen die generative KI-Inferenz mit NVIDIA RTX PRO 6000 Blackwell GPUs." quality_score: 94 content_score: 93 seo_score: 95 companies:
• AWS schema_type: "NewsArticle" reading_time: 4 faq:
• question: "Was sind G7e-Instanzen und wie profitieren sie von der generativen KI-Inferenz?" answer: "G7e-Instanzen sind die neueste Generation von GPU-beschleunigten Computing-Instanzen, die auf Amazon SageMaker AI verfügbar sind und speziell für die Beschleunigung generativer KI-Inferenz-Workloads entwickelt wurden. Sie werden von NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs angetrieben und bieten erhebliche Fortschritte bei Speicherkapazität, Bandbreite und der gesamten Inferenzleistung. Für die generative KI bedeuten G7e-Instanzen eine schnellere Time To First Token (TTFT), einen höheren Durchsatz und die Möglichkeit, wesentlich größere Grundlagenmodelle (FMs) innerhalb einer einzigen Instanz oder sogar auf einer einzigen GPU zu hosten. Dies führt zu reaktionsschnelleren KI-Anwendungen, reduzierter betrieblicher Komplexität und erheblichen Kosteneinsparungen beim Bereitstellen und Ausführen von großen Sprachmodellen (LLMs), multimodaler KI und agentischen Workflows. Ihre verbesserten Fähigkeiten machen sie ideal für interaktive Anwendungen, die eine leistungsstarke und kostengünstige Inferenz erfordern."
• question: "Welche NVIDIA GPU treibt die neuen G7e-Instanzen an und welche Hauptmerkmale weist sie auf?" answer: "Die neuen G7e-Instanzen auf Amazon SageMaker AI werden von den NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs angetrieben. Jede dieser hochmodernen GPUs bietet beeindruckende 96 GB GDDR7-Speicher, was die doppelte Speicherkapazität pro GPU im Vergleich zu den vorherigen G6e-Instanzen darstellt. Zu den Hauptmerkmalen gehören außerdem 1.597 GB/s GPU-Speicherbandbreite pro GPU, Unterstützung für FP4-Präzision durch Tensor Cores der fünften Generation und NVIDIA GPUDirect RDMA über EFAv4. Diese Funktionen tragen gemeinsam zur überragenden Inferenzleistung, Speicherdichte und geringen Latenznetzwerken der G7e-Instanzen bei und machen sie außergewöhnlich leistungsfähig für anspruchsvolle generative KI-Aufgaben."
• question: "Wie schneiden G7e-Instanzen im Vergleich zu früheren Generationen (G6e, G5) in Bezug auf Leistung und Speicher ab?" answer: "G7e-Instanzen stellen einen bedeutenden Generationssprung gegenüber G6e und G5 dar. Sie liefern bis zu 2,3-mal mehr Inferenzleistung im Vergleich zu G6e-Instanzen. In Bezug auf den Speicher bietet jede G7e-GPU 96 GB GDDR7-Speicher, was den GPU-Speicher von G6e effektiv verdoppelt und den von G5 vervierfacht. Eine Top-Tier G7e.48xlarge-Instanz bietet insgesamt 768 GB GPU-Speicher. Darüber hinaus skaliert die Netzwerkbandbreite mit EFA bei der größten G7e-Größe auf bis zu 1.600 Gbit/s, ein 4-facher Sprung gegenüber G6e und 16-facher Sprung gegenüber G5. Diese enorme Verbesserung bei Speicher, Bandbreite und Netzwerken ermöglicht es G7e-Instanzen, Modelle zu hosten, die zuvor Multi-Node-Setups auf älteren Instanzen erforderten, was die Bereitstellung vereinfacht und die Latenz reduziert."
• question: "Welche Arten von generativen KI-Workloads eignen sich am besten für die Bereitstellung auf G7e-Instanzen?" answer: "G7e-Instanzen eignen sich aufgrund ihrer hohen Speicherdichte, Bandbreite und fortschrittlichen Netzwerkkonnektivität hervorragend für eine breite Palette moderner generativer KI-Workloads. Dazu gehören: Chatbots und Konversations-KI, die eine niedrige Time To First Token (TTFT) und einen hohen Durchsatz für reaktionsschnelle interaktive Erlebnisse gewährleisten; Agentische und Tool-Calling-Workflows, die von einer 4-fach verbesserten CPU-zu-GPU-Bandbreite für die schnelle Kontextinjektion in RAG-Pipelines profitieren; Textgenerierung, Zusammenfassung und Inferenz mit langem Kontext, die große KV-Caches für erweiterte Dokumentkontexte mit 96 GB GPU-Speicher aufnehmen können; Bildgenerierung und Vision-Modelle, die Out-of-Memory-Fehler für größere multimodale Modelle überwinden, die auf früheren Instanzen Probleme hatten; und Physische KI und Wissenschaftliches Rechnen, die die Blackwell-Generation-Compute, FP4-Unterstützung und räumliche Computing-Funktionen für digitale Zwillinge und 3D-Simulation nutzen."
• question: "Wie ist die Kosteneffizienz von G7e-Instanzen im Vergleich zu G6e für die generative KI-Inferenz?" answer: "G7e-Instanzen bieten eine erheblich verbesserte Kosteneffizienz für die generative KI-Inferenz im Vergleich zu G6e-Instanzen. Benchmarks, die Qwen3-32B einsetzten, zeigten, dass G7e bei Produktionsauslastung (C=32) 0,79 US-Dollar pro Million ausgegebener Tokens erreichte. Dies stellt eine bemerkenswerte Kostenreduzierung um das 2,6-fache im Vergleich zu G6e's 2,06 US-Dollar pro Million ausgegebener Tokens für einen ähnlichen Workload dar. Diese Kosteneinsparung wird hauptsächlich durch den wesentlich niedrigeren Stundensatz von G7e (z.B. 4,20 US-Dollar/Stunde für ml.g7e.2xlarge vs. 13,12 US-Dollar/Stunde für ml.g6e.12xlarge) in Kombination mit seiner Fähigkeit, einen konsistenten und hohen Durchsatz unter Last aufrechtzuerhalten, angetrieben, was sie zu einer wirtschaftlicheren Wahl für große Bereitstellungen macht."
• question: "Welche Speicherkapazitäten stehen für die Bereitstellung von LLMs auf Einzel- und Multi-GPU-G7e-Instanzen zur Verfügung?" answer: "G7e-Instanzen bieten erhebliche Speicherkapazitäten für die Bereitstellung großer Sprachmodelle (LLMs). Eine Einzel-GPU-Instanz, insbesondere eine G7e.2xlarge-Instanz, kann Grundlagenmodelle mit bis zu 35 Milliarden Parametern in FP16-Präzision effektiv hosten. Für größere Modelle erhöht die Skalierung über mehrere GPUs innerhalb einer einzigen Instanz die Kapazität dramatisch: Ein 4-GPU-Knoten (G7e.24xlarge) kann Modelle mit bis zu 150 Milliarden Parametern bereitstellen, während ein 8-GPU-Knoten (G7e.48xlarge) Modelle von bis zu 300 Milliarden Parametern verarbeiten kann. Diese beeindruckende Skalierbarkeit bietet Unternehmen die Flexibilität, eine breite Palette von LLMs ohne die Komplexität von verteilten Multi-Instanz-Setups bereitzustellen."
• question: "Welche Voraussetzungen gibt es für die Bereitstellung von Lösungen mit G7e-Instanzen auf Amazon SageMaker AI?" answer: "Um generative KI-Lösungen mit G7e-Instanzen auf Amazon SageMaker AI bereitzustellen, müssen mehrere Voraussetzungen erfüllt sein. Sie benötigen ein aktives AWS-Konto zum Hosten Ihrer Ressourcen und eine AWS Identity and Access Management (IAM)-Rolle, die mit entsprechenden Berechtigungen für den Zugriff auf Amazon SageMaker AI-Dienste konfiguriert ist. Für die Entwicklung und Bereitstellung wird der Zugriff auf Amazon SageMaker Studio oder eine SageMaker Notebook-Instanz empfohlen, obwohl auch andere interaktive Entwicklungsumgebungen wie PyCharm oder Visual Studio Code praktikabel sind. Entscheidend ist, dass Sie über die AWS Service Quotas-Konsole eine entsprechende Quote für mindestens eine ml.g7e.2xlarge-Instanz (oder einen größeren G7e-Instanztyp) für die Nutzung des Amazon SageMaker AI-Endpunkts anfordern müssen, da es sich hierbei um neue und spezialisierte Instanztypen handelt."

## G7e-Instanzen: Eine neue Ära für KI-Inferenz auf SageMaker

Die Landschaft der generativen KI entwickelt sich in einem beispiellosen Tempo und treibt eine kontinuierliche Nachfrage nach leistungsfähigerer, flexiblerer und kostengünstigerer Infrastruktur an. Heute freut sich Code Velocity, über einen bedeutenden Fortschritt von AWS zu berichten: die allgemeine Verfügbarkeit von G7e-Instanzen auf Amazon SageMaker AI. Angetrieben von NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs werden diese neuen Instanzen die Maßstäbe für die generative KI-Inferenz neu definieren und Entwicklern und Unternehmen eine beispiellose Leistung und Speicherkapazität bieten.

Amazon SageMaker AI ist ein vollständig verwalteter Dienst, der Entwicklern und Datenwissenschaftlern die Tools zum Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen in großem Maßstab bietet. Die Einführung von G7e-Instanzen markiert einen Wendepunkt für generative KI-Workloads auf dieser Plattform. Diese Instanzen nutzen die hochmodernen NVIDIA RTX PRO 6000 Blackwell GPUs, die jeweils beeindruckende 96 GB GDDR7-Speicher aufweisen. Diese erhebliche Speichererhöhung ermöglicht die Bereitstellung wesentlich größerer Grundlagenmodelle (FMs) direkt auf SageMaker AI und adressiert einen kritischen Bedarf für fortschrittliche KI-Anwendungen.

Unternehmen können nun Modelle wie GPT-OSS-120B, Nemotron-3-Super-120B-A12B (NVFP4-Variante) und Qwen3.5-35B-A3B mit bemerkenswerter Effizienz bereitstellen. Die G7e.2xlarge-Instanz mit einer einzigen GPU kann Modelle mit 35 Milliarden Parametern hosten, während die G7e.48xlarge mit acht GPUs auf Modelle mit bis zu 300 Milliarden Parametern skaliert. Diese Flexibilität führt zu spürbaren Vorteilen: reduzierte Betriebskomplexität, geringere Latenz und erhebliche Kosteneinsparungen bei Inferenz-Workloads.

## Das generationenübergreifende Leistungsplus der G7e-Instanzen im Detail

G7e-Instanzen stellen einen monumentalen Sprung gegenüber ihren Vorgängern G6e und G5 dar und liefern eine bis zu 2,3-mal schnellere Inferenzleistung im Vergleich zu G6e. Die technischen Spezifikationen unterstreichen diesen Generationsfortschritt. Jede G7e-GPU bietet eine erstaunliche Bandbreite von 1.597 GB/s, wodurch der GPU-Speicher von G6e effektiv verdoppelt und der von G5 vervierfacht wird. Darüber hinaus werden die Netzwerkfunktionen dramatisch verbessert, indem sie mit EFA bei der größten G7e-Größe auf bis zu 1.600 Gbit/s skaliert werden. Diese 4-fache Steigerung gegenüber G6e und 16-fache Steigerung gegenüber G5 erschließt das Potenzial für latenzarme Multi-Node-Inferenz- und Feinabstimmungsszenarien, die zuvor als unpraktisch galten.

Hier ist ein Vergleich, der den Fortschritt über die Generationen hinweg in der 8-GPU-Klasse verdeutlicht:

| Spezifikation | G5 (g5.48xlarge) | G6e (g6e.48xlarge) | G7e (g7e.48xlarge) |
| --- | --- | --- | --- |
| **GPU** | 8x NVIDIA A10G | 8x NVIDIA L40S | 8x NVIDIA RTX PRO 6000 Blackwell |
| **GPU-Speicher pro GPU** | 24 GB GDDR6 | 48 GB GDDR6 | 96 GB GDDR7 |
| **Gesamter GPU-Speicher** | 192 GB | 384 GB | 768 GB |
| **GPU-Speicherbandbreite** | 600 GB/s pro GPU | 864 GB/s pro GPU | 1.597 GB/s pro GPU |
| **vCPUs** | 192 | 192 | 192 |
| **Systemspeicher** | 768 GiB | 1.536 GiB | 2.048 GiB |
| **Netzwerkbandbreite** | 100 Gbit/s | 400 Gbit/s | 1.600 Gbit/s (EFA) |
| **Lokaler NVMe-Speicher** | 7,6 TB | 7,6 TB | 15,2 TB |
| **Inferenz vs. G6e** | Baseline | ~1x | Bis zu 2,3x |

Mit gigantischen 768 GB aggregiertem GPU-Speicher auf einer einzelnen G7e-Instanz können Modelle, die einst komplexe Multi-Node-Konfigurationen auf älteren Instanzen erforderten, nun mit bemerkenswerter Einfachheit bereitgestellt werden. Dies reduziert die Inter-Node-Latenz und den Betriebsaufwand erheblich. In Verbindung mit der Unterstützung für FP4-Präzision über Tensor Cores der fünften Generation und NVIDIA GPUDirect RDMA über EFAv4 sind G7e-Instanzen unzweifelhaft für anspruchsvolle LLM-, multimodale KI- und ausgeklügelte [agentische Inferenz-Workflows](/de/operationalizing-agentic-ai-part-1-a-stakeholders-guide) auf AWS konzipiert.

## Vielfältige generative KI-Anwendungsfälle florieren auf G7e

Die robuste Kombination aus Speicherdichte, Bandbreite und fortschrittlichen Netzwerkfunktionen macht G7e-Instanzen ideal für ein breites Spektrum zeitgenössischer generativer KI-Workloads. Von der Verbesserung konversationeller KI bis hin zur Durchführung komplexer physikalischer Simulationen bietet G7e greifbare Vorteile:

*   **Chatbots und Konversations-KI**: Die niedrige Time To First Token (TTFT) und der hohe Durchsatz von G7e-Instanzen gewährleisten reaktionsschnelle und nahtlose interaktive Erlebnisse, selbst bei hoher gleichzeitiger Benutzerlast. Dies ist entscheidend, um die Benutzerbindung und -zufriedenheit bei Echtzeit-KI-Interaktionen aufrechtzuerhalten.
*   **Agentische und Tool-Calling-Workflows**: Für Retrieval Augmented Generation (RAG)-Pipelines und agentische Systeme ist eine schnelle Kontextinjektion aus Retrieval-Speichern von größter Bedeutung. Die 4-fache Verbesserung der CPU-zu-GPU-Bandbreite innerhalb von G7e-Instanzen macht sie außergewöhnlich effektiv für diese kritischen Operationen und ermöglicht intelligentere und dynamischere KI-Agenten.
*   **Textgenerierung, Zusammenfassung und Inferenz mit langem Kontext**: Mit 96 GB GPU-Speicher pro GPU verarbeiten G7e-Instanzen große Key-Value (KV)-Caches gekonnt. Dies ermöglicht erweiterte Dokumentkontexte, reduziert den Bedarf an Textkürzungen erheblich und erleichtert eine reichhaltigere, nuanciertere Argumentation über große Eingaben.
*   **Bildgenerierung und Vision-Modelle**: Wo Instanzen früherer Generationen häufig Out-of-Memory-Fehler bei größeren multimodalen Modellen aufwiesen, löst die verdoppelte Speicherkapazität von G7e diese Einschränkungen elegant und ebnet den Weg für anspruchsvollere und höher auflösende Bild- und Vision-KI-Anwendungen.
*   **Physische KI und Wissenschaftliches Rechnen**: Über die traditionelle generative KI hinaus erweitern die Blackwell-Generation-Compute, FP4-Unterstützung und räumliche Computing-Funktionen (einschließlich DLSS 4.0 und RT-Kerne der 4. Generation) von G7e ihre Nützlichkeit für digitale Zwillinge, 3D-Simulation und fortschrittliche Inferenz physischer KI-Modelle, wodurch neue Grenzen in der wissenschaftlichen Forschung und industriellen Anwendungen eröffnet werden.

## Optimierte Bereitstellung und Leistungs-Benchmarking

Die Bereitstellung generativer KI-Modelle auf G7e-Instanzen über Amazon SageMaker AI ist auf Einfachheit ausgelegt. Benutzer können hier ein Beispiel-Notebook ([hier](https://github.com/aws-samples/sagemaker-genai-hosting-examples/tree/main/03-features/instances/g7e)) aufrufen, das den Prozess optimiert. Zu den Voraussetzungen gehören typischerweise ein AWS-Konto, eine IAM-Rolle für den SageMaker-Zugriff und entweder Amazon SageMaker Studio oder eine SageMaker-Notebook-Instanz für die Entwicklungsumgebung. Wichtig ist, dass Benutzer über die Service Quotas-Konsole eine entsprechende Quote für `ml.g7e.2xlarge` oder größere Instanzen für die Nutzung des SageMaker AI-Endpunkts anfordern sollten.

Um die signifikanten Leistungssteigerungen zu demonstrieren, hat AWS Qwen3-32B (BF16) sowohl auf G6e- als auch auf G7e-Instanzen getestet. Der Workload umfasste etwa 1.000 Eingabe-Tokens und 560 Ausgabe-Tokens pro Anfrage, was gängige Aufgaben zur Dokumentzusammenfassung nachbildet. Beide Konfigurationen verwendeten den nativen [vLLM](https://github.com/vllm-project/vllm)-Container mit aktiviertem Präfix-Caching, um einen direkten Vergleich zu gewährleisten.

Die Ergebnisse sind überzeugend. Während die G6e-Baseline (ml.g6e.12xlarge mit 4x L40S GPUs zu 13,12 $/Stunde) einen starken Durchsatz pro Anfrage zeigte, erzählt die G7e (ml.g7e.2xlarge mit 1x RTX PRO 6000 Blackwell zu 4,20 $/Stunde) eine dramatisch andere Kostengeschichte. Bei Produktionslast (C=32) erreichte G7e erstaunliche 0,79 US-Dollar pro Million ausgegebener Tokens. Dies entspricht einer Kostenreduzierung um das 2,6-fache im Vergleich zu G6e's 2,06 US-Dollar, angetrieben durch den niedrigeren Stundensatz von G7e und seine Fähigkeit, einen konsistenten Durchsatz unter Last aufrechtzuerhalten, was beweist, dass hohe Leistung nicht zu einem Premiumpreis kommen muss.

## Die Zukunft der kosteneffizienten generativen KI-Inferenz

Die Einführung von G7e-Instanzen auf Amazon SageMaker AI ist mehr als nur ein inkrementelles Upgrade; es ist ein strategischer Schritt von AWS, um den Zugang zu hochleistungsfähiger generativer KI zu demokratisieren. Durch die Kombination der rohen Leistung von NVIDIA RTX PRO 6000 Blackwell GPUs mit der Skalierbarkeit und den Verwaltungsfunktionen von SageMaker ermöglicht AWS Unternehmen jeder Größe, größere, komplexere KI-Modelle mit beispielloser Effizienz und Kosteneffizienz bereitzustellen. Diese Entwicklung stellt sicher, dass die Fortschritte in der generativen KI in praktische, produktionsreife Anwendungen in einer Vielzahl von Branchen umgesetzt werden können, wodurch die Position von SageMaker AI als führende Plattform für KI-Innovationen gefestigt wird.