生成AI推論：G7eインスタンスでSageMakerを加速

G7eインスタンス：SageMakerにおけるAI推論の新時代

生成AIの状況は前例のないペースで進化しており、より強力で柔軟、かつ費用対効果の高いインフラストラクチャへの継続的な需要を促進しています。本日、Code VelocityはAWSからの重要な進展、すなわちAmazon SageMaker AIにおけるG7eインスタンスの一般提供開始について報告できることを嬉しく思います。NVIDIA RTX PRO 6000 Blackwell Server Edition GPUを搭載したこれらの新しいインスタンスは、生成AI推論のベンチマークを再定義し、開発者と企業に比類ないパフォーマンスとメモリ容量を提供します。

Amazon SageMaker AIは、開発者とデータサイエンティストが機械学習モデルを大規模に構築、トレーニング、デプロイするためのツールを提供するフルマネージドサービスです。G7eインスタンスの導入は、このプラットフォームにおける生成AIワークロードにとって極めて重要な瞬間を画します。これらのインスタンスは、最先端のNVIDIA RTX PRO 6000 Blackwell GPUを利用しており、それぞれが96 GBという驚異的なGDDR7メモリを誇ります。この大幅なメモリ増加により、より大規模な基盤モデル（FM）をSageMaker AIに直接デプロイすることが可能になり、高度なAIアプリケーションにとって不可欠なニーズに応えます。

組織は今、GPT-OSS-120B、Nemotron-3-Super-120B-A12B (NVFP4 variant)、Qwen3.5-35B-A3Bのようなモデルを驚くべき効率でデプロイできます。シングルGPUを搭載したG7e.2xlargeインスタンスは350億パラメータのモデルをホストでき、8つのGPUを搭載したG7e.48xlargeは最大3000億パラメータのモデルにスケールアップします。この柔軟性は、運用上の複雑さの軽減、レイテンシーの低減、推論ワークロードにおける大幅なコスト削減といった具体的なメリットにつながります。

G7eの世代的パフォーマンス向上を紐解く

G7eインスタンスは、G6eおよびG5といった先行製品と比較して、驚異的な飛躍を遂げており、G6eと比較して最大2.3倍高速な推論パフォーマンスを実現します。この技術仕様は、世代間の進歩を裏付けています。各G7e GPUは、驚異的な1,597 GB/sの帯域幅を提供し、G6eのGPUあたりメモリを実質的に2倍にし、G5の4倍に増やします。さらに、ネットワーキング機能も劇的に強化され、最大のG7eサイズではEFAにより最大1,600 Gbpsにスケールアップします。G6eと比較して4倍、G5と比較して16倍のこの増加は、これまで非現実的と見なされていた低レイテンシーのマルチノード推論およびファインチューニングシナリオの可能性を解き放ちます。

以下は、8-GPUティアでの世代間の進歩を比較したものです。

単一のG7eインスタンスで合計768 GBという巨大なGPUメモリを持つことで、かつては古いインスタンスで複雑なマルチノード構成を必要としたモデルを、驚くほど簡単にデプロイできるようになりました。これにより、ノード間のレイテンシーと運用上のオーバーヘッドが大幅に削減されます。第5世代TensorコアによるFP4精度のサポートとEFAv4経由のNVIDIA GPUDirect RDMAと相まって、G7eインスタンスは、要求の厳しいLLM、マルチモーダルAI、および高度なエージェンティック推論ワークフローのために明確に設計されています。

G7eで繁栄する多様な生成AIユースケース

メモリ密度、帯域幅、高度なネットワーキング機能の強力な組み合わせにより、G7eインスタンスは現代の幅広い生成AIワークロードに理想的です。会話型AIの強化から複雑な物理シミュレーションの駆動まで、G7eは明確な利点を提供します。

• チャットボットと会話型AI: G7eインスタンスの低いTime To First Token (TTFT)と高いスループットは、大量の同時ユーザー負荷に直面した場合でも、応答性が高くシームレスなインタラクティブ体験を保証します。これは、リアルタイムのAIインタラクションにおけるユーザーエンゲージメントと満足度を維持するために不可欠です。
• エージェンティックおよびツール呼び出しワークフロー: Retrieval Augmented Generation (RAG) パイプラインやエージェンティックシステムにとって、リトリーバルストアからの高速コンテキスト注入は極めて重要です。G7eインスタンス内のCPU-to-GPU帯域幅が4倍に改善されたことで、これらの重要な操作に非常に効果的となり、よりインテリジェントでダイナミックなAIエージェントを可能にします。
• テキスト生成、要約、および長文コンテキスト推論: 96 GBのGPUあたりメモリにより、G7eインスタンスは大規模なキーバリュー（KV）キャッシュを巧みに処理します。これにより、ドキュメントコンテキストを拡張でき、テキストの切り捨ての必要性を大幅に減らし、膨大な入力に対するより豊かで微妙な推論を促進します。
• 画像生成およびビジョンモデル: 以前の世代のインスタンスでは、より大規模なマルチモーダルモデルで頻繁にメモリ不足エラーが発生しましたが、G7eの2倍のメモリ容量はこれらの制限を優雅に解決し、より洗練された高解像度の画像およびビジョンAIアプリケーションへの道を開きます。
• 物理AIおよび科学計算: 従来の生成AIを超えて、G7eのBlackwell世代のコンピューティング、FP4サポート、および空間コンピューティング機能（DLSS 4.0および第4世代RTコアを含む）は、デジタルツイン、3Dシミュレーション、および高度な物理AIモデル推論にその用途を拡大し、科学研究および産業アプリケーションにおける新たなフロンティアを開拓します。

合理化されたデプロイとパフォーマンスベンチマーキング

Amazon SageMaker AIを介してG7eインスタンスに生成AIモデルをデプロイすることは、シンプルに設計されています。ユーザーは、プロセスを合理化するサンプルノートブックをこちらからアクセスできます。前提条件には通常、AWSアカウント、SageMakerアクセス用のIAMロール、および開発環境用のAmazon SageMaker StudioまたはSageMakerノートブックインスタンスが含まれます。重要なこととして、ユーザーはService Quotasコンソールを通じて、SageMaker AIエンドポイントの使用のためにml.g7e.2xlargeまたはより大きなインスタンスの適切なクォータをリクエストする必要があります。

大幅なパフォーマンス向上を示すため、AWSはG6eおよびG7eインスタンスの両方でQwen3-32B (BF16)のベンチマークを実施しました。ワークロードには、一般的なドキュメント要約タスクを模倣した、リクエストあたり約1,000入力トークンと560出力トークンが含まれていました。両方の構成で、プレフィックスキャッシングが有効なネイティブのvLLMコンテナを利用し、公平な比較を保証しました。

結果は説得力のあるものです。G6eのベースライン（4x L40S GPU搭載のml.g6e.12xlarge、13.12ドル/時間）は強力なリクエストあたりのスループットを示しましたが、G7e（1x RTX PRO 6000 Blackwell搭載のml.g7e.2xlarge、4.20ドル/時間）は劇的に異なるコスト面での話を示しています。本番環境の同時実行数（C=32）において、G7eは驚異的な100万出力トークンあたり0.79ドルを達成しました。これは、G7eの低い時間単価と、負荷がかかっても一貫したスループットを維持できる能力によって、G6eの2.06ドルと比較して2.6倍のコスト削減を意味し、高性能が高額な費用を伴う必要がないことを証明しています。

費用対効果の高い生成AI推論の未来

Amazon SageMaker AIへのG7eインスタンスの導入は、単なる段階的なアップグレード以上のものです。これは、AWSによる高性能生成AIへのアクセスを民主化するための戦略的な動きです。NVIDIA RTX PRO 6000 Blackwell GPUの生来のパワーとSageMakerのスケーラビリティおよび管理機能を組み合わせることで、AWSはあらゆる規模の組織が、より大規模で複雑なAIモデルを前例のない効率性と費用対効果でデプロイできるよう支援しています。この発展は、生成AIの進歩が幅広い業界で実用的で本番環境対応のアプリケーションに変換されることを保証し、SageMaker AIをAIイノベーションをリードするプラットフォームとしての地位を確固たるものにします。