What are Meta MTIA chips and what is their purpose?

Meta Training and Inference Accelerator (MTIA) chips are custom-designed AI accelerators developed by Meta in partnership with Broadcom. Their primary purpose is to power the vast array of AI-driven experiences across Meta's platforms for billions of users. This includes everything from personalized recommendations (R&R) to advanced Generative AI (GenAI) assistants. By developing its own silicon, Meta aims to cost-effectively scale AI workloads, maintain flexibility, and optimize performance for its specific infrastructure needs, ensuring continuous innovation in AI hardware development.

How many generations of MTIA chips has Meta developed in recent years?

Meta has rapidly accelerated MTIA development, introducing four successive generations in under two years: MTIA 300, MTIA 400, MTIA 450, and MTIA 500. These chips have either already been deployed or are scheduled for mass deployment in 2026 or 2027. This rapid iteration showcases Meta's 'velocity strategy,' designed to keep pace with the extraordinarily fast evolution of AI models and ensure their hardware remains aligned with current and future workload demands, expanding beyond initial R&R tasks to encompass general GenAI and specialized GenAI inference.

What is Meta's 'velocity strategy' for AI chip development?

Meta's 'velocity strategy' is an iterative approach to AI chip development that contrasts with traditional, longer chip design cycles. Recognizing that AI models evolve faster than typical hardware development, Meta designs each MTIA generation to build on the last using modular chiplets. This strategy incorporates the latest AI workload insights and hardware technologies, enabling deployment on a shorter cadence. This tighter feedback loop ensures Meta's custom hardware remains closely aligned with evolving AI models, facilitating faster adoption of new technologies and maintaining optimal performance and cost-efficiency.

How do the newer MTIA chips (400, 450, 500) support Generative AI workloads?

As GenAI surged, MTIA chips evolved significantly to support these demanding workloads. MTIA 400 enhanced support for GenAI with 400% higher FP8 FLOPS and increased HBM bandwidth. MTIA 450 specifically optimized for GenAI inference by doubling HBM bandwidth, increasing MX4 FLOPS by 75%, introducing hardware acceleration for attention and FFN computations, and innovating with custom low-precision data types. MTIA 500 further improved on this, increasing HBM bandwidth by an additional 50% and introducing more low-precision innovations, directly addressing the compute and memory demands of complex GenAI models.

What are the key performance advancements from MTIA 300 to MTIA 500?

The MTIA chip family has seen remarkable advancements from the 300 series to the 500 series in less than two years. The HBM bandwidth has increased by 4.5 times, significantly boosting memory access speed crucial for large AI models. The compute FLOPS (Floating Point Operations Per Second) have seen an astounding 25-fold increase, particularly from MTIA 300's MX8 to MTIA 500's MX4 formats. These dramatic improvements underscore Meta's ability to rapidly enhance its custom silicon's raw processing power and data handling capabilities to meet the escalating demands of advanced AI models.

Why is High-Bandwidth Memory (HBM) important for GenAI inference performance?

High-Bandwidth Memory (HBM) is critically important for Generative AI (GenAI) inference performance because GenAI models, especially large language models (LLMs), typically have massive parameter counts and require extensive memory bandwidth to efficiently retrieve and process these parameters during inference. The decoder step in GenAI inference, which generates tokens sequentially, is often bottlenecked by memory access rather than raw compute. Doubling or significantly increasing HBM bandwidth, as seen in MTIA 450 and 500, directly translates to faster token generation, lower latency, and higher throughput, making the AI experiences more responsive and efficient for users.

Meta MTIA Çipləri Milyardlar üçün Süni İntellekti Miqyaslayır

Meta'nın MTIA Çipləri ilə Süni İntellekt Təcrübələrini Miqyaslamaq

Hər gün Meta-nın müxtəlif platformalarında milyardlarla insan fərdi məzmun tövsiyələrindən tutmuş qabaqcıl süni intellekt köməkçilərinə qədər saysız-hesabsız süni intellektlə təchiz olunmuş funksiyalarla qarşılıqlı əlaqədə olur. Meta, eləcə də sənaye üçün əsas problem bu mürəkkəb süni intellekt modellərini qlobal miqyasda yerləşdirmək və davamlı olaraq təkmilləşdirmək, bütün bunları optimal xərc səmərəliliyini qoruyaraq həyata keçirməkdir. Bu tələbkar infrastruktur vəzifəsi Meta-nın çevik, davamlı inkişaf edən həllərə strateji investisiyası ilə qarşılanır ki, bunların da mərkəzində onların fərdi dizayn edilmiş süni intellekt çipləri: Meta Təlim və Çıxarış Sürətləndiricisi (MTIA) ailəsi dayanır.

Daxili və xarici həllərdən istifadə edən müxtəlif silikon portfelinə sadiq qalsa da, Broadcom ilə sıx əməkdaşlıqda hazırlanmış MTIA çipləri Meta-nın süni intellekt infrastruktur strategiyasının əvəzolunmaz bir hissəsidir. Bu daxili sürətləndiricilər milyardlara çatan süni intellekt təcrübələrini sərfəli şəkildə təmin etmək və süni intellekt modellərinin sürətlə inkişaf edən mənzərəsinə daim uyğunlaşmaq üçün kritik əhəmiyyətə malikdir.

Meta-nın MTIA Çiplərinin Təkrarlanan Təkamülü

Süni intellekt modelləri mənzərəsi daimi dəyişiklik vəziyyətindədir, tez-tez ənənəvi çip inkişaf dövrlərini üstələyən sürətlə inkişaf edir. Proqnozlaşdırılan iş yüklərinə əsaslanan çip dizaynlarının avadanlıq istehsalata çatana qədər köhnələ biləcəyini qəbul edərək, Meta MTIA üçün innovativ 'sürət strategiyası' qəbul etmişdir. Uzun, spekulyativ inkişaf dövrləri əvəzinə, Meta hər MTIA nəslinin əvvəlkinin üzərində qurulduğu təkrarlanan bir yanaşma tətbiq edir. Bu, modul çiplərdən istifadə etməyi, ən son süni intellekt iş yükü anlayışlarını daxil etməyi və yeni avadanlıq texnologiyalarını əhəmiyyətli dərəcədə daha qısa müddətdə yerləşdirməyi nəzərdə tutur. Bu daha sıx geribildirim dövrəsi Meta-nın fərdi silikonunun süni intellekt modellərinin dinamik tələbləri ilə sıx əlaqədə qalmasını təmin edir, yeni irəliləyişlərin daha sürətli mənimsənilməsinə kömək edir.

Meta artıq ilk iki nəsli, MTIA 100 və MTIA 200-ü elmi məqalələrdə ətraflı təsvir etmişdir. Bu təməl üzərində quraraq, Meta dörd yeni ardıcıl nəsil təqdim etmək üçün inkişafı sürətləndirmişdir: MTIA 300, 400, 450 və 500. Bu çiplər ya artıq istehsaldadır, ya da 2026 və 2027-ci illərdə kütləvi tətbiqi planlaşdırılır. Bu sürətli ardıcıllıq Meta-ya MTIA-nın iş yükü əhatəsini əhəmiyyətli dərəcədə genişləndirməyə imkan vermişdir, ilkin sıralama və tövsiyə (R&R) çıxarışından R&R təliminə, ümumi Generativ Süni İntellekt (GenAI) iş yüklərinə və yüksək optimallaşdırılmış GenAI çıxarışına keçid etmişdir.

MTIA 300: Süni İntellekt İş Yükləri üçün Təməl Qoymaq

MTIA 300 Meta-nın fərdi silikon səyahətində əsaslı bir addım oldu. Əvvəlcə GenAI bumu başlamazdan əvvəl Meta-nın dominant iş yükləri olan R&R modelləri üçün optimallaşdırılsa da, onun arxitektura tikinti blokları sonrakı çiplər üçün möhkəm bir təməl qurdu. MTIA 300-ün əsas fərqləndirici xüsusiyyətlərinə inteqrasiya olunmuş NIC çipləri, kommunikasiya kollektivlərini boşaltmaq üçün xüsusi mesaj mühərrikləri və azaldılmaya əsaslanan kollektivlər üçün nəzərdə tutulmuş yaddaşa yaxın hesablama imkanları daxildir. Bu aşağı gecikməli, yüksək bant genişlikli kommunikasiya komponentləri sonrakı nəsillərdə səmərəli GenAI çıxarışını və təlimini təmin etməkdə mühüm rol oynadı.

MTIA 300 bir hesablama çipi, iki şəbəkə çipi və bir neçə Yüksək Bant Genişlikli Yaddaş (HBM) yığınından ibarətdir. Hər hesablama çipi məhsuldarlığı artırmaq üçün strateji olaraq artıq PE-lərlə (emal elementləri) dizayn edilmiş PE şəbəkəsinə malikdir. Hər PE iki RISC-V vektor nüvəsini, matris vurması üçün Nöqtə Hasili Mühərrikini, aktivləşdirmələr və elementlərarası əməliyyatlar üçün Xüsusi Funksiya Vahidini, yığılma və PE-lər arası kommunikasiya üçün Azaltma Mühərrikini və yerli sıfırdan yaddaşda səmərəli məlumat hərəkəti üçün DMA mühərrikini ehtiva edən mürəkkəb bir vahiddir. Bu mürəkkəb dizayn Meta-nın əsas süni intellekt tapşırıqları üçün yüksək səmərəli və sərfəli bir həll yaratmaq öhdəliyini vurğulayırdı.

MTIA 400: Rəqabətli GenAI Performansına Nail Olmaq

Generativ Süni İntellektdə görünməmiş artım ilə Meta, mövcud R&R imkanları ilə yanaşı GenAI iş yükləri üçün güclü dəstək təmin etmək üçün MTIA 300-ü sürətlə MTIA 400-ə çevirdi. MTIA 400, sələfi ilə müqayisədə 400% daha yüksək FP8 FLOPS və HBM bant genişliyində 51% artım təklif edərək əhəmiyyətli bir sıçrayışı təmsil edir. MTIA 300 xərc səmərəliliyinə diqqət yetirdiyi halda, MTIA 400 aparıcı kommersiya süni intellekt sürətləndiriciləri ilə rəqabət aparan xam performans təmin etmək üçün nəzərdə tutulmuşdu.

Bu, hesablama sıxlığını effektiv şəkildə ikiqat artırmaq üçün iki hesablama çipinin birləşdirilməsi və səmərəli GenAI çıxarışı üçün kritik olan təkmilləşdirilmiş MX8 və MX4-ün aşağı dəqiqlikli formatlarının dəstəklənməsi ilə əldə edilir. Kommutasiya edilmiş arxa panel vasitəsilə bir-birinə bağlanmış 72 MTIA 400 cihazı ilə təchiz olunmuş tək bir şkaf güclü bir genişləndirilmiş domen təşkil edir. Bu sistemlər qabaqcıl hava dəstəkli maye soyutma (AALC) şkafları ilə dəstəklənir, hətta köhnə məlumat mərkəzlərində belə sürətli yerləşdirməni asanlaşdırır, Meta-nın süni intellekt infrastrukturunu qlobal miqyasda genişləndirməyə praktiki yanaşmasını nümayiş etdirir.

MTIA 450 və 500: GenAI Çıxarışı üçün İxtisaslaşmışdır

GenAI çıxarış tələbində davamlı eksponensial artımı nəzərə alaraq, Meta MTIA 400-ü daha da təkmilləşdirərək MTIA 450 və daha sonra MTIA 500-ün inkişafına səbəb oldu. Bu nəsillər, GenAI çıxarışının unikal çətinlikləri üçün xüsusi olaraq optimallaşdırılmışdır, yaddaş və hesablamada kritik irəliləyişlərə diqqət yetirir.

MTIA 450 əhəmiyyətli irəliləyişlər etdi:

Əvvəlki versiyadan HBM bant genişliyini iki qat artırmaq, bu, GenAI modellərində dekodlaşdırma mərhələsini sürətləndirmək üçün kritikdir.
MX4 FLOPS-u 75% artırmaq, bu, böyük dil modellərində ümumi olan mütəxəssislər qarışığı (MoE) irəliyə ötürən şəbəkə (FFN) hesablamalarını sürətləndirir.
Diqqət və FFN hesablamalarını daha səmərəli etmək üçün avadanlıq sürətləndirməsini tətbiq etmək, Softmax və FlashAttention ilə əlaqəli tıxacları aradan qaldırır.
Aşağı dəqiqlikli məlumat növlərində innovasiyalar etmək, FP8/MX8-dən kənara çıxaraq FP16/BF16-nın 6 qat MX4 FLOPS-unu təmin etmək, model keyfiyyətini qoruyan və minimal çip sahəsi təsiri ilə FLOPS-u artıran fərdi məlumat tipi innovasiyaları ilə.

MTIA 500, 450-nin müvəffəqiyyətinə əsaslanaraq, HBM bant genişliyini əlavə 50% artırdı və aşağı dəqiqlikli məlumat növlərində daha çox innovasiyalar tətbiq edərək, Meta-nın GenAI çıxarış performansının sərhədlərini aşmaq öhdəliyini gücləndirdi. Təkmilləşməyə olan bu amansız həvəs Meta-nın süni intellekt təcrübələrinin qabaqcıl qalmasını təmin edir.

Bu nəsillər boyunca yığılan irəliləyişlər göz qabağındadır. MTIA 300-dən MTIA 500-ə qədər HBM bant genişliyi heyrətamiz 4.5 dəfə artmış, hesablama FLOPS-ları isə heyrətamiz 25 dəfə artım görmüşdür (MTIA 300-ün MX8-dən MTIA 500-ün MX4-ə). İki il ərzində baş verən bu sürətli sürətlənmə Meta-nın sürət strategiyasının və fərdi silikonunu davamlı olaraq təkmilləşdirmək qabiliyyətinin sübutudur. Bu təkamül agent AI-nin miqyasda işləməsinin və digər mürəkkəb modellərin mərkəzində dayanır.

MTIA ailəsinin əsas xüsusiyyətlərinin təhlili:

Xüsusiyyət	MTIA 300	MTIA 400	MTIA 450	MTIA 500
Hesablama Kristalı	1	2	2	2
HBM Yığınları	4	4	8	8
HBM Bant Genişliyi (GB/s)*	100	151	302	453
MX8 FLOPS (TFLOPS)	100	400	400	400
MX4 FLOPS (TFLOPS)	N/A	200	350	500
Miqyas-artırma Domen Ölçüsü	18 cihaz**	72 cihaz	72 cihaz	72 cihaz
Əsas Optimizasiya	R&R təlimi, aşağı gecikməli kommunikasiya	Ümumi GenAI, rəqabətli xam performans	GenAI çıxarışı, HBM, fərdi aşağı dəqiqlik	GenAI çıxarışı, HBM, fərdi aşağı dəqiqlik

*Bəzi satıcılar ikitərəfli bant genişliyini bildirir. Müvafiq ikitərəfli bant genişliyini əldə etmək üçün cədvəldəki dəyəri ikiqat artırın. **MTIA 300, nisbətən kiçik miqyasda artırma domen ölçüsü və hədəf R&R iş yükləri səbəbindən daha yüksək bant genişliyinə (200 GB/s) malik genişləndirmə şəbəkəsi ilə konfiqurasiya edilmişdir.

Bu xüsusiyyətlər yaddaş bant genişliyi və hesablama gücündəki dramatik yaxşılaşmaları vurğulayır, hər MTIA nəslinin xüsusilə resurs-tələb GenAI modelləri olmaqla, cari və gələcək süni intellekt tətbiqlərinin ən təcili tələblərini ödəmək üçün necə diqqətlə hazırlandığını göstərir.

Meta-nın MTIA ailəsi vasitəsilə fərdi silikon həlləri ardıcıl axtarışı, şirkətin dünya üzrə milyardlarla istifadəçiyə ən qabaqcıl süni intellekt təcrübələrini təqdim etmək öhdəliyini vurğulayır. Daxili innovasiyanı strateji əməkdaşlıqlarla birləşdirərək, Meta miqyaslana bilən və sərfəli süni intellekt infrastrukturunun imkanlarını yenidən müəyyənləşdirməyə davam edir.