What are Meta MTIA chips and what is their purpose?

Meta Training and Inference Accelerator (MTIA) chips are custom-designed AI accelerators developed by Meta in partnership with Broadcom. Their primary purpose is to power the vast array of AI-driven experiences across Meta's platforms for billions of users. This includes everything from personalized recommendations (R&R) to advanced Generative AI (GenAI) assistants. By developing its own silicon, Meta aims to cost-effectively scale AI workloads, maintain flexibility, and optimize performance for its specific infrastructure needs, ensuring continuous innovation in AI hardware development.

How many generations of MTIA chips has Meta developed in recent years?

Meta has rapidly accelerated MTIA development, introducing four successive generations in under two years: MTIA 300, MTIA 400, MTIA 450, and MTIA 500. These chips have either already been deployed or are scheduled for mass deployment in 2026 or 2027. This rapid iteration showcases Meta's 'velocity strategy,' designed to keep pace with the extraordinarily fast evolution of AI models and ensure their hardware remains aligned with current and future workload demands, expanding beyond initial R&R tasks to encompass general GenAI and specialized GenAI inference.

What is Meta's 'velocity strategy' for AI chip development?

Meta's 'velocity strategy' is an iterative approach to AI chip development that contrasts with traditional, longer chip design cycles. Recognizing that AI models evolve faster than typical hardware development, Meta designs each MTIA generation to build on the last using modular chiplets. This strategy incorporates the latest AI workload insights and hardware technologies, enabling deployment on a shorter cadence. This tighter feedback loop ensures Meta's custom hardware remains closely aligned with evolving AI models, facilitating faster adoption of new technologies and maintaining optimal performance and cost-efficiency.

How do the newer MTIA chips (400, 450, 500) support Generative AI workloads?

As GenAI surged, MTIA chips evolved significantly to support these demanding workloads. MTIA 400 enhanced support for GenAI with 400% higher FP8 FLOPS and increased HBM bandwidth. MTIA 450 specifically optimized for GenAI inference by doubling HBM bandwidth, increasing MX4 FLOPS by 75%, introducing hardware acceleration for attention and FFN computations, and innovating with custom low-precision data types. MTIA 500 further improved on this, increasing HBM bandwidth by an additional 50% and introducing more low-precision innovations, directly addressing the compute and memory demands of complex GenAI models.

What are the key performance advancements from MTIA 300 to MTIA 500?

The MTIA chip family has seen remarkable advancements from the 300 series to the 500 series in less than two years. The HBM bandwidth has increased by 4.5 times, significantly boosting memory access speed crucial for large AI models. The compute FLOPS (Floating Point Operations Per Second) have seen an astounding 25-fold increase, particularly from MTIA 300's MX8 to MTIA 500's MX4 formats. These dramatic improvements underscore Meta's ability to rapidly enhance its custom silicon's raw processing power and data handling capabilities to meet the escalating demands of advanced AI models.

Why is High-Bandwidth Memory (HBM) important for GenAI inference performance?

High-Bandwidth Memory (HBM) is critically important for Generative AI (GenAI) inference performance because GenAI models, especially large language models (LLMs), typically have massive parameter counts and require extensive memory bandwidth to efficiently retrieve and process these parameters during inference. The decoder step in GenAI inference, which generates tokens sequentially, is often bottlenecked by memory access rather than raw compute. Doubling or significantly increasing HBM bandwidth, as seen in MTIA 450 and 500, directly translates to faster token generation, lower latency, and higher throughput, making the AI experiences more responsive and efficient for users.

Chips za Meta MTIA Zapanua AI kwa Mabilioni

title: 'Chips za Meta MTIA Zapanua AI kwa Mabilioni' slug: "meta-mtia-scale-ai-chips-for-billions" date: "2026-03-14" lang: "sw" source: "https://ai.meta.com/blog/meta-mtia-scale-ai-chips-for-billions/" category: 'AI ya Biashara' keywords:

Meta
MTIA
'Chips za AI'
GenAI
'Vifaa vya Inferensi'
'Silicon Maalum'
'Vituo vya Data'
Llama
'Bandwidth ya HBM'
'Aina za Data za Usahihi wa Chini'
'Miundombinu ya AI'
'Mizigo ya Kazi ya R&R' meta_description: 'Chips za Meta MTIA AI zinaendelea kwa kasi, zikiwa na vizazi vinne ndani ya miaka miwili, ili kupanua GenAI na matumizi ya R&R kwa mabilioni ya watumiaji kwa ufanisi.' image: "/images/articles/meta-mtia-scale-ai-chips-for-billions.png" image_alt: 'Chips za Meta MTIA AI kwenye ubao wa seva katika rack ya kituo cha data' quality_score: 94 content_score: 93 seo_score: 95 companies:
Meta schema_type: "NewsArticle" reading_time: 7 faq:
question: 'Chips za Meta MTIA ni nini na madhumuni yake ni yapi?' answer: 'Chips za Meta Training and Inference Accelerator (MTIA) ni vichochezi maalum vya AI vilivyoundwa na Meta kwa ushirikiano na Broadcom. Madhumuni yao makuu ni kuwezesha wingi wa matumizi yanayotokana na AI katika majukwaa ya Meta kwa mabilioni ya watumiaji. Hii inajumuisha kila kitu kuanzia mapendekezo ya kibinafsi (R&R) hadi wasaidizi wa hali ya juu wa Generative AI (GenAI). Kwa kuunda silicon yake yenyewe, Meta inalenga kuongeza mizigo ya kazi ya AI kwa ufanisi wa gharama, kudumisha unyumbufu, na kuboresha utendaji kwa mahitaji yake maalum ya miundombinu, kuhakikisha uvumbuzi endelevu katika uundaji wa vifaa vya AI.'
question: 'Meta imetengeneza vizazi vingapi vya chips za MTIA katika miaka ya hivi karibuni?' answer: 'Meta imeharakisha sana uundaji wa MTIA, ikianzisha vizazi vinne mfululizo ndani ya chini ya miaka miwili: MTIA 300, MTIA 400, MTIA 450, na MTIA 500. Chips hizi tayari zimetumika au zimepangwa kutumika kwa wingi mnamo 2026 au 2027. Mabadiliko haya ya haraka yanaonyesha "mkakati wa kasi" wa Meta, ulioundwa kuendana na kasi ya ajabu ya mageuzi ya mifumo ya AI na kuhakikisha vifaa vyao vinabaki vikiendana na mahitaji ya sasa na yajayo ya mizigo ya kazi, vikiongezeka zaidi ya kazi za awali za R&R ili kujumuisha GenAI ya jumla na inferensi maalum ya GenAI.'
question: 'Mkakati wa "kasi" wa Meta wa kuunda chips za AI ni upi?' answer: 'Mkakati wa "kasi" wa Meta ni mbinu ya kurudiarudia ya uundaji wa chips za AI inayotofautiana na mzunguko wa jadi, mrefu zaidi wa usanifu wa chips. Ikifahamua kuwa mifumo ya AI inabadilika haraka zaidi kuliko ukuzaji wa vifaa vya kawaida, Meta huunda kila kizazi cha MTIA kujenga juu ya kilichopita kwa kutumia chiplets zinazoweza kubadilika. Mkakati huu unajumuisha ufahamu wa hivi karibuni wa mizigo ya kazi ya AI na teknolojia za vifaa, kuwezesha matumizi kwa kasi fupi zaidi. Mzunguko huu wa maoni thabiti unahakikisha vifaa maalum vya Meta vinabaki vikiendana kwa karibu na mifumo ya AI inayobadilika, kuwezesha matumizi ya haraka ya teknolojia mpya na kudumisha utendaji bora na ufanisi wa gharama.'
question: 'Je, chips mpya za MTIA (400, 450, 500) zinasaidia vipi mizigo ya kazi ya Generative AI?' answer: 'Kadri GenAI ilivyoongezeka, chips za MTIA zilibadilika sana kusaidia mizigo hii yenye mahitaji makubwa. MTIA 400 iliboresha usaidizi kwa GenAI ikiwa na FP8 FLOPS ya juu kwa 400% na bandwidth iliyoongezeka ya HBM. MTIA 450 iliboreshwa mahususi kwa inferensi ya GenAI kwa kuongeza maradufu bandwidth ya HBM, kuongeza MX4 FLOPS kwa 75%, kuanzisha kasi ya vifaa kwa hesabu za uangalifu na FFN, na kuvumbua kwa aina maalum za data za usahihi wa chini. MTIA 500 iliendeleza hili zaidi, ikiongeza bandwidth ya HBM kwa 50% zaidi na kuanzisha ubunifu zaidi wa usahihi wa chini, ikishughulikia moja kwa moja mahitaji ya hesabu na kumbukumbu ya mifumo changamano ya GenAI.'
question: 'Maendeleo makuu ya utendaji kutoka MTIA 300 hadi MTIA 500 ni yapi?' answer: 'Familia ya chips za MTIA imeona maendeleo makubwa kutoka mfululizo wa 300 hadi mfululizo wa 500 ndani ya chini ya miaka miwili. Bandwidth ya HBM imeongezeka mara 4.5, ikiongeza sana kasi ya kufikia kumbukumbu muhimu kwa mifumo mikubwa ya AI. Compute FLOPS (Floating Point Operations Per Second) imeona ongezeko la kushangaza la mara 25, hasa kutoka MX8 ya MTIA 300 hadi fomati za MX4 za MTIA 500. Maboresho haya makubwa yanasisitiza uwezo wa Meta wa kuongeza haraka uwezo wa usindikaji ghafi wa silicon yake maalum na uwezo wa kushughulikia data ili kukidhi mahitaji yanayoongezeka ya mifumo ya hali ya juu ya AI.'
question: 'Kwa nini High-Bandwidth Memory (HBM) ni muhimu kwa utendaji wa inferensi ya GenAI?' answer: 'High-Bandwidth Memory (HBM) ni muhimu sana kwa utendaji wa inferensi ya Generative AI (GenAI) kwa sababu mifumo ya GenAI, hasa mifumo mikubwa ya lugha (LLMs), kwa kawaida huwa na idadi kubwa ya vigezo na inahitaji bandwidth kubwa ya kumbukumbu ili kupata na kuchakata vigezo hivi kwa ufanisi wakati wa inferensi. Hatua ya dekoda katika inferensi ya GenAI, ambayo huzalisha tokeni kwa mfululizo, mara nyingi huzuiwa na upatikanaji wa kumbukumbu badala ya hesabu ghafi. Kuongeza maradufu au kuongeza kwa kiasi kikubwa bandwidth ya HBM, kama inavyoonekana katika MTIA 450 na 500, kunasababisha moja kwa moja uzalishaji wa tokeni haraka, kuchelewa kidogo, na throughput ya juu, hivyo kufanya uzoefu wa AI kuitikia zaidi na ufanisi kwa watumiaji.'

Kupunguza Matumizi ya AI kwa Chips za Meta MTIA

Kila siku, mabilioni ya watu katika majukwaa mbalimbali ya Meta huingiliana na wingi wa vipengele vinavyoendeshwa na AI, kuanzia mapendekezo ya maudhui yaliyobinafsishwa hadi wasaidizi wa hali ya juu wa AI. Changamoto ya msingi kwa Meta, na kwa kweli tasnia nzima, iko katika kupeleka na kuboresha daima mifumo hii tata ya AI kwa kiwango cha kimataifa, huku ikidumisha ufanisi bora wa gharama. Kazi hii ngumu ya miundombinu inakabiliwa na uwekezaji mkakati wa Meta katika suluhisho rahisi, zinazoendelea kubadilika, ambazo msingi wake ni chips zake za AI zilizoundwa maalum: familia ya Meta Training and Inference Accelerator (MTIA).

Wakati imejitolea kwa kwingineko mbalimbali ya silicon inayotumia suluhisho za ndani na za nje, chips za MTIA, zilizotengenezwa kwa ushirikiano wa karibu na Broadcom, ni sehemu muhimu ya mkakati wa miundombinu ya AI wa Meta. Vichochezi hivi vilivyoundwa nyumbani ni muhimu kwa kuwezesha kwa ufanisi wa gharama matumizi ya AI yanayofikia mabilioni, yakibadilika daima kulingana na mazingira yanayobadilika haraka ya mifumo ya AI.

Mageuzi ya Kurudia ya Chips za Meta MTIA

Mazingira ya mifumo ya AI yako katika hali ya mabadiliko ya kudumu, yakibadilika kwa kasi ambayo mara nyingi inazidi mizunguko ya kawaida ya ukuzaji wa chips. Ikifahamua kuwa miundo ya chips inayotegemea mizigo ya kazi inayotarajiwa inaweza kupitwa na wakati vifaa vinapofikia uzalishaji, Meta imekumbatia "mkakati wa kasi" wa ubunifu kwa MTIA. Badala ya vipindi virefu, vya kubahatisha vya ukuzaji, Meta inachukua mbinu ya kurudia ambapo kila kizazi cha MTIA kinajenga juu ya kilichopita. Hii inajumuisha kutumia chiplets zinazoweza kubadilika, kujumuisha ufahamu wa hivi karibuni wa mizigo ya kazi ya AI, na kupeleka teknolojia mpya za vifaa kwa kasi fupi zaidi. Mzunguko huu wa maoni thabiti unahakikisha silicon maalum ya Meta inabaki ikilingana kwa karibu na mahitaji ya nguvu ya mifumo ya AI, ikikuza kupitishwa haraka kwa maendeleo mapya.

Meta tayari imeelezea vizazi viwili vya kwanza, MTIA 100 na MTIA 200, katika karatasi za kitaaluma. Ikijenga juu ya msingi huu, Meta imeharakisha ukuzaji ili kuanzisha vizazi vinne vipya mfululizo: MTIA 300, 400, 450, na 500. Chips hizi tayari ziko katika uzalishaji au zimepangwa kutumika kwa wingi mnamo 2026 na 2027. Mfuatano huu wa haraka umeiwezesha Meta kupanua huduma ya mizigo ya kazi ya MTIA kwa kiasi kikubwa, ikisonga kutoka kwa inferensi ya awali ya upangaji na mapendekezo (R&R) hadi mafunzo ya R&R, mizigo ya kazi ya Generative AI (GenAI) ya jumla, na inferensi ya GenAI iliyoboreshwa sana.

MTIA 300: Kuweka Msingi kwa Mizigo ya Kazi ya AI

MTIA 300 iliashiria hatua muhimu katika safari ya silicon maalum ya Meta. Hapo awali iliboreshwa kwa mifumo ya R&R, ambayo ilikuwa mizigo ya kazi muhimu ya Meta kabla ya kuongezeka kwa GenAI, vitalu vyake vya ujenzi wa usanifu viliweka msingi thabiti kwa chips zilizofuata. Vipengele muhimu vinavyoifautisha MTIA 300 ni pamoja na chiplets za NIC zilizounganishwa, injini maalum za ujumbe kwa ajili ya kupunguza mikusanyiko ya mawasiliano, na uwezo wa hesabu karibu na kumbukumbu iliyoundwa kwa ajili ya mikusanyiko inayotegemea upunguzaji. Vipengele hivi vya mawasiliano vya latency ya chini, bandwidth ya juu vilithibitisha kuwa muhimu katika kuwezesha inferensi na mafunzo ya GenAI kwa ufanisi katika vizazi vilivyofuata.

MTIA 300 inajumuisha chiplet moja ya kompyuta, chiplets mbili za mtandao, na safu kadhaa za High-Bandwidth Memory (HBM). Kila chiplet ya kompyuta ina gridi ya vipengele vya usindikaji (PEs), iliyoundwa kimkakati na PEs za ziada ili kuongeza mavuno. Kila PE ni kitengo tata chenye cores mbili za vekta za RISC-V, Injini ya Bidhaa Nukta kwa kuzidisha matriki, Kitengo cha Kazi Maalum kwa uanzishaji na shughuli za kipengele-kwa-kipengele, Injini ya Kupunguza kwa ujumuishaji na mawasiliano ya kati ya PEs, na injini ya DMA kwa harakati bora ya data ndani ya kumbukumbu ya mwanzo ya ndani. Usanifu huu tata ulisisitiza kujitolea kwa Meta katika kuunda suluhisho la ufanisi mkubwa na gharama nafuu kwa kazi zake za msingi za AI.

MTIA 400: Kufikia Utendaji wa Ushindani wa GenAI

Pamoja na kuongezeka kwa kasi kwa Generative AI, Meta ilibadilisha haraka MTIA 300 kuwa MTIA 400 ili kutoa usaidizi thabiti kwa mizigo ya kazi ya GenAI pamoja na uwezo wake wa sasa wa R&R. MTIA 400 inawakilisha hatua kubwa, ikitoa FP8 FLOPS ya juu kwa 400% na ongezeko la 51% la bandwidth ya HBM ikilinganishwa na mtangulizi wake. Wakati MTIA 300 ililenga ufanisi wa gharama, MTIA 400 iliundwa kutoa utendaji ghafi unaoshindana na vichochezi vinavyoongoza vya AI vya kibiashara.

Inafanikisha hili kwa kuchanganya chiplets mbili za kompyuta ili kuongeza maradufu ufanisi wa kompyuta na kwa kusaidia matoleo yaliyoboreshwa ya MX8 na MX4, fomati muhimu za usahihi wa chini kwa inferensi bora ya GenAI. Rack moja iliyo na vifaa 72 vya MTIA 400, vilivyounganishwa kupitia backplane iliyobadilishwa, huunda kikoa chenye nguvu cha kuongeza-juu. Mifumo hii inasaidiwa na racks za upozaji wa kioevu unaosaidiwa na hewa (AALC) za hali ya juu, kuwezesha kupelekwa haraka hata katika vituo vya data vya zamani, ikionyesha mbinu ya vitendo ya Meta ya kuongeza miundombinu yake ya AI kimataifa.

MTIA 450 na 500: Zimebobea kwa Inferensi ya GenAI

Ikitarajia ukuaji endelevu wa kasi wa mahitaji ya inferensi ya GenAI, Meta iliboresha zaidi MTIA 400, na kusababisha uundaji wa MTIA 450 na baadaye MTIA 500. Vizazi hivi vimeboreshwa mahususi kwa changamoto za kipekee za inferensi ya GenAI, vikilenga maendeleo muhimu katika kumbukumbu na kompyuta.

MTIA 450 ilipiga hatua kubwa kwa:

Kuongeza maradufu bandwidth ya HBM kutoka toleo lililopita, ambayo ni muhimu kwa kuharakisha awamu ya dekodi katika mifumo ya GenAI.
Kuongeza MX4 FLOPS kwa 75%, kuharakisha hesabu za mixture-of-experts (MoE) feed-forward network (FFN) zinazopatikana katika mifumo mikubwa ya lugha.
Kuanzisha kasi ya vifaa ili kufanya hesabu za uangalifu na FFN kuwa na ufanisi zaidi, kupunguza vizuizi vinavyohusiana na Softmax na FlashAttention.
Kuvumbua katika aina za data za usahihi wa chini, zikisonga zaidi ya FP8/MX8 ili kutoa mara 6 ya MX4 FLOPS ya FP16/BF16, na ubunifu maalum wa aina ya data unaohifadhi ubora wa mfumo na kuongeza FLOPS na athari ndogo ya eneo la chip.

MTIA 500, ikijenga juu ya mafanikio ya 450, iliongeza zaidi bandwidth ya HBM kwa 50% nyingine na kuanzisha ubunifu zaidi katika aina za data za usahihi wa chini, ikisisitiza kujitolea kwa Meta kusukuma mipaka ya utendaji wa inferensi ya GenAI. Msukumo huu usioyumba wa kuboresha unahakikisha kuwa matumizi ya AI ya Meta yanabaki kwenye ukingo wa mbele.

Maendeleo ya jumla katika vizazi hivi yanaonekana wazi. Kutoka MTIA 300 hadi MTIA 500, bandwidth ya HBM imeongezeka kwa mara 4.5 ya kuvutia, wakati FLOPS za kompyuta zimeona ongezeko la kushangaza la mara 25 (kutoka MX8 ya MTIA 300 hadi MX4 ya MTIA 500). Kasi hii ya haraka ndani ya miaka miwili ni ushahidi wa mkakati wa kasi wa Meta na uwezo wake wa kuendelea kuboresha silicon yake maalum. Mageuzi haya ni muhimu kwa kuwezesha utendaji wa AI ajenti na mifumo mingine changamano kwa kiwango kikubwa.

Hapa kuna muhtasari wa vipimo muhimu katika familia ya MTIA:

Kipengele	MTIA 300	MTIA 400	MTIA 450	MTIA 500
Compute Die	1	2	2	2
HBM Stacks	4	4	8	8
HBM Bandwidth (GB/s)*	100	151	302	453
MX8 FLOPS (TFLOPS)	100	400	400	400
MX4 FLOPS (TFLOPS)	N/A	200	350	500
Scale-up Domain Size	18 devices**	72 devices	72 devices	72 devices
Key Optimization	Mafunzo ya R&R, mawasiliano ya latency ya chini	GenAI ya jumla, utendaji ghafi wa ushindani	Inferensi ya GenAI, HBM, low-prec maalum	Inferensi ya GenAI, HBM, low-prec maalum

*Baadhi ya wauzaji huripoti bandwidth ya pande mbili. Zidisha thamani kwenye jedwali kwa mbili ili kupata bandwidth inayolingana ya pande mbili. **MTIA 300 imesanidiwa na mtandao wa kuongeza-nje na bandwidth ya juu (200 GB/s) kutokana na ukubwa wake mdogo wa kikoa cha kuongeza-juu na mizigo ya kazi ya R&R inayolengwa.

Vipimo hivi vinaonyesha maboresho makubwa katika bandwidth ya kumbukumbu na uwezo wa kompyuta, ikionyesha jinsi kila kizazi cha MTIA kimeundwa kwa uangalifu kushughulikia mahitaji muhimu zaidi ya programu za AI za sasa na zijazo, haswa mifumo ya GenAI inayohitaji rasilimali nyingi.

Kujitolea kwa Meta kusaka suluhisho maalum za silicon kupitia familia ya MTIA kunasisitiza dhamira yake ya kutoa matumizi ya kisasa ya AI kwa mabilioni ya watumiaji ulimwenguni kote. Kwa kuchanganya uvumbuzi wa ndani na ushirikiano wa kimkakati, Meta inaendelea kufafanua upya uwezekano wa miundombinu ya AI inayoweza kupanuka na yenye gharama nafuu.