Генеративний AI-вивід: Прискорення на SageMaker за допомогою інстансів G7e

Інстанси G7e: Нова ера для AI-виводу на SageMaker

Ландшафт генеративного ШІ розвивається безпрецедентними темпами, стимулюючи постійний попит на більш потужну, гнучку та економічно ефективну інфраструктуру. Сьогодні Code Velocity раді повідомити про значне досягнення від AWS: загальну доступність інстансів G7e на Amazon SageMaker AI. Працюючи на GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, ці нові інстанси мають переосмислити стандарти для генеративного AI-виводу, пропонуючи розробникам та підприємствам неперевершену продуктивність та обсяг пам'яті.

Amazon SageMaker AI – це повністю керований сервіс, який надає розробникам та фахівцям з обробки даних інструменти для створення, навчання та розгортання моделей машинного навчання у масштабі. Впровадження інстансів G7e знаменує ключовий момент для робочих навантажень генеративного ШІ на цій платформі. Ці інстанси використовують передові GPU NVIDIA RTX PRO 6000 Blackwell, кожен з яких може похвалитися вражаючими 96 ГБ пам'яті GDDR7. Це значне збільшення пам'яті дозволяє розгортати значно більші фундаментальні моделі (ФМ) безпосередньо на SageMaker AI, задовольняючи критичну потребу для передових AI-додатків.

Організації тепер можуть розгортати моделі, такі як GPT-OSS-120B, Nemotron-3-Super-120B-A12B (варіант NVFP4) та Qwen3.5-35B-A3B з надзвичайною ефективністю. Інстанс G7e.2xlarge, що містить один GPU, може розміщувати моделі з 35 мільярдами параметрів, тоді як G7e.48xlarge, з вісьмома GPU, масштабується до моделей з 300 мільярдами параметрів. Ця гнучкість перетворюється на відчутні переваги: зниження операційної складності, меншу затримку та суттєву економію витрат для робочих навантажень виводу.

Розкриваємо поколіннєвий стрибок продуктивності G7e

Інстанси G7e представляють монументальний стрибок порівняно зі своїми попередниками, G6e та G5, забезпечуючи до 2.3 рази швидшу продуктивність виводу порівняно з G6e. Технічні характеристики підкреслюють це поколіннєве покращення. Кожен GPU G7e забезпечує приголомшливу пропускну здатність 1,597 ГБ/с, ефективно подвоюючи обсяг пам'яті на GPU G6e та учетверо збільшуючи його порівняно з G5. Крім того, мережеві можливості значно покращені, масштабуючись до 1,600 Гбіт/с з EFA на найбільшому розмірі G7e. Це 4-кратне збільшення порівняно з G6e та 16-кратне порівняно з G5 відкриває потенціал для багатонодового виводу з низькою затримкою та сценаріїв точного налаштування, які раніше вважалися непрактичними.

Ось порівняння, що висвітлює прогрес між поколіннями на рівні 8-GPU:

Завдяки колосальним 768 ГБ сукупної пам'яті GPU на одному інстансі G7e, моделі, які колись вимагали складних багатонодових конфігурацій на старіших інстансах, тепер можуть бути розгорнуті з надзвичайною простотою. Це значно зменшує міжнодову затримку та операційні накладні витрати. У поєднанні з підтримкою точності FP4 через Tensor Cores п'ятого покоління та NVIDIA GPUDirect RDMA через EFAv4, інстанси G7e однозначно розроблені для вимогливих LLM, мультимодального ШІ та складних агентних робочих процесів виводу на AWS.

Різноманітні варіанти використання генеративного ШІ процвітають на G7e

Надійна комбінація щільності пам'яті, пропускної здатності та розширених мережевих можливостей робить інстанси G7e ідеальними для широкого спектру сучасних робочих навантажень генеративного ШІ. Від покращення розмовного ШІ до живлення складних фізичних симуляцій, G7e пропонує відчутні переваги:

• Чат-боти та розмовний ШІ: Низький час до першого токена (TTFT) та висока пропускна здатність інстансів G7e забезпечують чутливі та безперебійні інтерактивні взаємодії, навіть при великих одночасних навантаженнях користувачів. Це критично важливо для підтримки залученості та задоволеності користувачів у реальних AI-взаємодіях.
• Агентні робочі процеси та робочі процеси з викликом інструментів: Для конвеєрів Retrieval Augmented Generation (RAG) та агентних систем швидке впровадження контексту зі сховищ пошуку є першочерговим. 4-кратне покращення пропускної здатності CPU-до-GPU в інстансах G7e робить їх винятково ефективними для цих критичних операцій, дозволяючи створювати більш інтелектуальні та динамічні AI-агенти.
• Генерація тексту, резюмування та вивід з довгим контекстом: Завдяки 96 ГБ пам'яті на GPU, інстанси G7e майстерно обробляють великі Key-Value (KV) кеші. Це дозволяє використовувати розширені контексти документів, значно зменшуючи потребу в обрізанні тексту та сприяючи більш насиченому, нюансованому міркуванню над великими обсягами вхідних даних.
• Генерація зображень та моделі комп'ютерного зору: Там, де інстанси попереднього покоління часто стикалися з помилками "недостатньо пам'яті" при роботі з більшими мультимодальними моделями, подвоєна ємність пам'яті G7e граціозно вирішує ці обмеження, відкриваючи шлях до більш складних та високороздільних програм AI для зображень та комп'ютерного зору.
• Фізичний ШІ та наукові обчислення: Крім традиційного генеративного ШІ, обчислення покоління Blackwell, підтримка FP4 та можливості просторових обчислень G7e (включаючи DLSS 4.0 та 4-го покоління RT-ядер) розширюють його корисність до цифрових двійників, 3D-симуляції та передового фізичного AI-виводу моделей, відкриваючи нові горизонти в наукових дослідженнях та промислових додатках.

Оптимізоване розгортання та тестування продуктивності

Розгортання моделей генеративного ШІ на інстансах G7e через Amazon SageMaker AI розроблено таким чином, щоб бути простим. Користувачі можуть отримати доступ до зразкового блокнота тут, який спрощує процес. Передумови зазвичай включають обліковий запис AWS, роль IAM для доступу до SageMaker та Amazon SageMaker Studio або інстанс SageMaker notebook для середовища розробки. Важливо, що користувачі повинні запросити відповідну квоту для ml.g7e.2xlarge або більших інстансів для використання кінцевої точки SageMaker AI через консоль Service Quotas.

Щоб продемонструвати значні переваги у продуктивності, AWS протестувала Qwen3-32B (BF16) на інстансах G6e та G7e. Робоче навантаження включало приблизно 1,000 вхідних токенів та 560 вихідних токенів на запит, імітуючи типові завдання резюмування документів. Обидві конфігурації використовували нативний контейнер vLLM з увімкненим кешуванням префіксів, забезпечуючи порівняння 'яблука з яблуками'.

Результати вражаючі. Хоча базовий рівень G6e (ml.g6e.12xlarge з 4x L40S GPU за $13.12/год) демонстрував високу пропускну здатність на запит, G7e (ml.g7e.2xlarge з 1x RTX PRO 6000 Blackwell за $4.20/год) розповідає кардинально іншу історію вартості. При виробничій конкуренції (C=32), G7e досяг дивовижних $0.79 за мільйон вихідних токенів. Це становить 2.6-кратне зниження вартості порівняно з $2.06 у G6e, зумовлене нижчою погодинною ставкою G7e та його здатністю підтримувати стабільну пропускну здатність під навантаженням, доводячи, що висока продуктивність не обов'язково повинна коштувати дорого.

Майбутнє економічно ефективного генеративного AI-виводу

Впровадження інстансів G7e на Amazon SageMaker AI — це більше, ніж просто поступове оновлення; це стратегічний крок AWS для демократизації доступу до високопродуктивного генеративного ШІ. Поєднавши необмежену потужність GPU NVIDIA RTX PRO 6000 Blackwell з масштабованістю та можливостями управління SageMaker, AWS надає організаціям будь-якого розміру можливість розгортати більші, складніші моделі ШІ з безпрецедентною ефективністю та економічною доцільністю. Цей розвиток гарантує, що досягнення в генеративному ШІ можуть бути перетворені на практичні, готові до виробництва додатки в широкому спектрі галузей, зміцнюючи позиції SageMaker AI як провідної платформи для інновацій у сфері ШІ.