What are Meta MTIA chips and what is their purpose?

Meta Training and Inference Accelerator (MTIA) chips are custom-designed AI accelerators developed by Meta in partnership with Broadcom. Their primary purpose is to power the vast array of AI-driven experiences across Meta's platforms for billions of users. This includes everything from personalized recommendations (R&R) to advanced Generative AI (GenAI) assistants. By developing its own silicon, Meta aims to cost-effectively scale AI workloads, maintain flexibility, and optimize performance for its specific infrastructure needs, ensuring continuous innovation in AI hardware development.

How many generations of MTIA chips has Meta developed in recent years?

Meta has rapidly accelerated MTIA development, introducing four successive generations in under two years: MTIA 300, MTIA 400, MTIA 450, and MTIA 500. These chips have either already been deployed or are scheduled for mass deployment in 2026 or 2027. This rapid iteration showcases Meta's 'velocity strategy,' designed to keep pace with the extraordinarily fast evolution of AI models and ensure their hardware remains aligned with current and future workload demands, expanding beyond initial R&R tasks to encompass general GenAI and specialized GenAI inference.

What is Meta's 'velocity strategy' for AI chip development?

Meta's 'velocity strategy' is an iterative approach to AI chip development that contrasts with traditional, longer chip design cycles. Recognizing that AI models evolve faster than typical hardware development, Meta designs each MTIA generation to build on the last using modular chiplets. This strategy incorporates the latest AI workload insights and hardware technologies, enabling deployment on a shorter cadence. This tighter feedback loop ensures Meta's custom hardware remains closely aligned with evolving AI models, facilitating faster adoption of new technologies and maintaining optimal performance and cost-efficiency.

How do the newer MTIA chips (400, 450, 500) support Generative AI workloads?

As GenAI surged, MTIA chips evolved significantly to support these demanding workloads. MTIA 400 enhanced support for GenAI with 400% higher FP8 FLOPS and increased HBM bandwidth. MTIA 450 specifically optimized for GenAI inference by doubling HBM bandwidth, increasing MX4 FLOPS by 75%, introducing hardware acceleration for attention and FFN computations, and innovating with custom low-precision data types. MTIA 500 further improved on this, increasing HBM bandwidth by an additional 50% and introducing more low-precision innovations, directly addressing the compute and memory demands of complex GenAI models.

What are the key performance advancements from MTIA 300 to MTIA 500?

The MTIA chip family has seen remarkable advancements from the 300 series to the 500 series in less than two years. The HBM bandwidth has increased by 4.5 times, significantly boosting memory access speed crucial for large AI models. The compute FLOPS (Floating Point Operations Per Second) have seen an astounding 25-fold increase, particularly from MTIA 300's MX8 to MTIA 500's MX4 formats. These dramatic improvements underscore Meta's ability to rapidly enhance its custom silicon's raw processing power and data handling capabilities to meet the escalating demands of advanced AI models.

Why is High-Bandwidth Memory (HBM) important for GenAI inference performance?

High-Bandwidth Memory (HBM) is critically important for Generative AI (GenAI) inference performance because GenAI models, especially large language models (LLMs), typically have massive parameter counts and require extensive memory bandwidth to efficiently retrieve and process these parameters during inference. The decoder step in GenAI inference, which generates tokens sequentially, is often bottlenecked by memory access rather than raw compute. Doubling or significantly increasing HBM bandwidth, as seen in MTIA 450 and 500, directly translates to faster token generation, lower latency, and higher throughput, making the AI experiences more responsive and efficient for users.

பில்லியன்களுக்கு AI அளவை அதிகரிக்கும் Meta MTIA சிப்ஸ்

Metaவின் MTIA சிப்கள் மூலம் AI அனுபவங்களை அளவிடுதல்

ஒவ்வொரு நாளும், Metaவின் பல்வேறு தளங்களில் பில்லியன் கணக்கான மக்கள் தனிப்பயனாக்கப்பட்ட உள்ளடக்கப் பரிந்துரைகள் முதல் மேம்பட்ட AI உதவியாளர்கள் வரை பல AI-இயங்கும் அம்சங்களுடன் தொடர்பு கொள்கிறார்கள். Metaவுக்கும், உண்மையில் தொழில்துறைக்கும் உள்ள சவால், இந்த அதிநவீன AI மாதிரிகளை உலகளாவிய அளவில் பயன்படுத்துவது மற்றும் தொடர்ந்து மேம்படுத்துவது, அதே நேரத்தில் உகந்த செலவு-திறனைப் பராமரிப்பது. இந்த கோரும் உள்கட்டமைப்பு பணி, நெகிழ்வான, தொடர்ச்சியாக வளர்ந்து வரும் தீர்வுகளில் Metaவின் மூலோபாய முதலீட்டால் பூர்த்தி செய்யப்படுகிறது, அதன் மையத்தில் அவற்றின் தனிப்பயன் வடிவமைக்கப்பட்ட AI சிப்கள் உள்ளன: Meta Training and Inference Accelerator (MTIA) குடும்பம்.

உள் மற்றும் வெளி தீர்வுகளைப் பயன்படுத்தும் ஒரு பன்முக சிலிக்கான் தொகுப்புக்கு உறுதியளித்தாலும், Broadcom உடனான நெருங்கிய கூட்டாண்மையில் உருவாக்கப்பட்ட MTIA சிப்கள், Metaவின் AI உள்கட்டமைப்பு உத்தியின் ஒரு தவிர்க்க முடியாத அங்கமாகும். இந்த உள்நாட்டில் உருவாக்கப்பட்ட ஆக்சிலரேட்டர்கள் பில்லியன் கணக்கான மக்களைச் சென்றடையும் AI அனுபவங்களுக்கு செலவு குறைந்த முறையில் சக்தி அளிப்பதற்கும், AI மாதிரிகளின் விரைவாக வளர்ந்து வரும் நிலப்பரப்புக்கு தொடர்ந்து மாற்றியமைப்பதற்கும் முக்கியமானவை.

Metaவின் MTIA சிப்களின் தொடர்ச்சியான பரிணாம வளர்ச்சி

AI மாதிரி நிலப்பரப்பு ஒரு நிலையான மாற்றத்தில் உள்ளது, இது பாரம்பரிய சிப் மேம்பாட்டு சுழற்சிகளையும் மீறும் வேகத்தில் வளர்ச்சியடைகிறது. கணிக்கப்பட்ட பணிச்சுமைகளின் அடிப்படையில் சிப் வடிவமைப்புகள் வன்பொருள் உற்பத்திக்கு வரும்போது காலாவதியாகிவிடும் என்பதை உணர்ந்து, Meta MTIA க்கான ஒரு புதுமையான 'வேக உத்தி'யை ஏற்றுக்கொண்டது. நீண்ட, ஊக மேம்பாட்டு காலங்களுக்கு பதிலாக, Meta ஒரு தொடர்ச்சியான அணுகுமுறையை பின்பற்றுகிறது, அங்கு ஒவ்வொரு MTIA தலைமுறையும் முந்தையதை அடிப்படையாகக் கொண்டு கட்டமைக்கப்படுகிறது. இது மாடுலர் சிப்லெட்டுகளைப் பயன்படுத்துதல், சமீபத்திய AI பணிச்சுமை நுண்ணறிவுகளை இணைத்தல் மற்றும் புதிய வன்பொருள் தொழில்நுட்பங்களை கணிசமாக குறுகிய கால இடைவெளியில் பயன்படுத்துதல் ஆகியவற்றை உள்ளடக்கியது. இந்த இறுக்கமான பின்னூட்ட சுழற்சி, Metaவின் தனிப்பயன் சிலிக்கான், AI மாதிரிகளின் மாறும் கோரிக்கைகளுடன் நெருக்கமாக சீரமைக்கப்படுவதை உறுதிசெய்கிறது, புதிய மேம்பாடுகளை விரைவாக ஏற்றுக்கொள்ள உதவுகிறது.

Meta ஏற்கனவே முதல் இரண்டு தலைமுறைகளான MTIA 100 மற்றும் MTIA 200 ஐ கல்வி ஆவணங்களில் விவரித்துள்ளது. இந்த அடித்தளத்தின் அடிப்படையில், Meta நான்கு புதிய அடுத்தடுத்த தலைமுறைகளை அறிமுகப்படுத்த மேம்பாட்டை முடுக்கிவிட்டுள்ளது: MTIA 300, 400, 450 மற்றும் 500. இந்த சிப்கள் ஏற்கனவே உற்பத்தியில் உள்ளன அல்லது 2026 மற்றும் 2027 இல் பெருமளவில் பயன்படுத்த திட்டமிடப்பட்டுள்ளது. இந்த விரைவான தொடர்ச்சி, Metaவை MTIA இன் பணிச்சுமை கவரேஜை கணிசமாக விரிவாக்க அனுமதித்துள்ளது, இது ஆரம்ப தரவரிசை மற்றும் பரிந்துரை (R&R) இன்ஃபரன்ஸிலிருந்து R&R பயிற்சி, பொது Generative AI (GenAI) பணிச்சுமைகள் மற்றும் மிகவும் உகந்த GenAI இன்ஃபரன்ஸ் வரை நகர்ந்துள்ளது.

MTIA 300: AI பணிச்சுமைகளுக்கான அடித்தளத்தை அமைத்தல்

MTIA 300, Metaவின் தனிப்பயன் சிலிக்கான் பயணத்தில் ஒரு முக்கிய படியைக் குறித்தது. GenAI எழுச்சிக்கு முன் Metaவின் முக்கிய பணிச்சுமைகளாக இருந்த R&R மாதிரிகளுக்காக முதலில் உகந்ததாக வடிவமைக்கப்பட்ட இது, அதன் கட்டிடக்கலை கட்டுமானத் தொகுதிகள் அடுத்தடுத்த சிப்களுக்கு ஒரு வலுவான அடித்தளத்தை அமைத்தன. MTIA 300 இன் முக்கிய சிறப்பம்சங்களில் ஒருங்கிணைந்த NIC சிப்லெட்டுகள், தகவல்தொடர்பு சேகரிப்புகளை ஆஃப்லோடு செய்வதற்கான பிரத்யேக செய்தி இன்ஜின்கள் மற்றும் குறைப்பு அடிப்படையிலான சேகரிப்புகளுக்காக வடிவமைக்கப்பட்ட அருகிலுள்ள நினைவக கணக்கீட்டு திறன்கள் ஆகியவை அடங்கும். இந்த குறைந்த லேடன்சி, உயர் அலைவரிசை தகவல்தொடர்பு கூறுகள் அடுத்தடுத்த தலைமுறைகளில் திறமையான GenAI இன்ஃபரன்ஸ் மற்றும் பயிற்சியை செயல்படுத்துவதில் முக்கியமானவை என்பதை நிரூபித்தன.

MTIA 300 ஒரு கணினி சிப்லெட், இரண்டு நெட்வொர்க் சிப்லெட்டுகள் மற்றும் பல High-Bandwidth Memory (HBM) அடுக்குகளைக் கொண்டுள்ளது. ஒவ்வொரு கணினி சிப்லெட்டும் செயலாக்க கூறுகளின் (PEs) ஒரு கட்டத்தைக் கொண்டுள்ளது, இது உற்பத்தித்திறனை மேம்படுத்த ஒற்றை PEs உடன் மூலோபாய ரீதியாக வடிவமைக்கப்பட்டுள்ளது. ஒவ்வொரு PEயும் இரண்டு RISC-V வெக்டர் கோர்கள், மேட்ரிக்ஸ் பெருக்கத்திற்கான ஒரு டாட் ப்ராடக்ட் எஞ்சின், ஆக்டிவேஷன்கள் மற்றும் எலிமென்ட்வைஸ் செயல்பாடுகளுக்கான ஒரு சிறப்பு செயல்பாட்டு அலகு, குவிப்பு மற்றும் PE-களுக்கு இடையேயான தகவல்தொடர்புக்கான ஒரு ரிடக்ஷன் எஞ்சின் மற்றும் உள்ளூர் ஸ்கிராட்ச் நினைவகத்திற்குள் திறமையான தரவு இயக்கத்திற்கான ஒரு DMA எஞ்சின் ஆகியவற்றைக் கொண்ட ஒரு அதிநவீன அலகு ஆகும். இந்த சிக்கலான வடிவமைப்பு, அதன் முக்கிய AI பணிகளுக்கு மிகவும் திறமையான மற்றும் செலவு குறைந்த தீர்வை உருவாக்குவதில் Metaவின் உறுதிப்பாட்டை அடிக்கோடிட்டுக் காட்டியது.

MTIA 400: போட்டித்தன்மை வாய்ந்த GenAI செயல்திறனை அடைதல்

Generative AI இன் முன்னோடியில்லாத எழுச்சியுடன், Meta MTIA 300 ஐ MTIA 400 ஆக விரைவாக மேம்படுத்தியது, அதன் ஏற்கனவே உள்ள R&R திறன்களுடன் GenAI பணிச்சுமைகளுக்கு வலுவான ஆதரவை வழங்க. MTIA 400 ஒரு குறிப்பிடத்தக்க பாய்ச்சலைக் குறிக்கிறது, அதன் முன்னோடியுடன் ஒப்பிடும்போது 400% அதிக FP8 FLOPS மற்றும் HBM அலைவரிசையில் 51% அதிகரிப்பை வழங்குகிறது. MTIA 300 செலவு-திறனில் கவனம் செலுத்திய அதே வேளையில், MTIA 400 முன்னணி வணிக AI ஆக்சிலரேட்டர்களுடன் போட்டியிடும் மூல செயல்திறனை வழங்க வடிவமைக்கப்பட்டது.

இது இரண்டு கணினி சிப்லெட்டுகளை இணைத்து கணினி அடர்த்தியை திறம்பட இருமடங்காக்குவதன் மூலமும், MX8 மற்றும் MX4 இன் மேம்படுத்தப்பட்ட பதிப்புகளை ஆதரிப்பதன் மூலமும் இதை அடைகிறது, இது திறமையான GenAI இன்ஃபரன்ஸுக்கான முக்கியமான குறைந்த-துல்லிய வடிவங்கள். ஒரு ஸ்விட்ச்டு பேக்பிளேன் மூலம் இணைக்கப்பட்ட 72 MTIA 400 சாதனங்கள் பொருத்தப்பட்ட ஒரு ரேக், ஒரு சக்திவாய்ந்த ஸ்கேல்-அப் டொமைனை உருவாக்குகிறது. இந்த அமைப்புகள் மேம்பட்ட காற்று-உதவி திரவ குளிரூட்டும் (AALC) ரேக்குகளால் ஆதரிக்கப்படுகின்றன, இது மரபுவழி தரவு மையங்களிலும் விரைவான பயன்பாட்டை எளிதாக்குகிறது, Meta அதன் AI உள்கட்டமைப்பை உலகளவில் அளவிடுவதற்கான நடைமுறை அணுகுமுறையை வெளிப்படுத்துகிறது.

MTIA 450 மற்றும் 500: GenAI இன்ஃபரன்ஸுக்காக சிறப்பாக வடிவமைக்கப்பட்டது

GenAI இன்ஃபரன்ஸ் தேவையில் தொடர்ச்சியான அதிவேக வளர்ச்சியை எதிர்பார்த்து, Meta MTIA 400 ஐ மேலும் செம்மைப்படுத்தியது, இதன் விளைவாக MTIA 450 மற்றும் பின்னர் MTIA 500 உருவாக்கப்பட்டது. இந்த தலைமுறைகள் குறிப்பாக GenAI இன்ஃபரன்ஸின் தனிப்பட்ட சவால்களுக்காக உகந்ததாக வடிவமைக்கப்பட்டுள்ளன, நினைவகம் மற்றும் கணக்கீட்டில் உள்ள முக்கிய மேம்பாடுகளில் கவனம் செலுத்துகின்றன.

MTIA 450 குறிப்பிடத்தக்க முன்னேற்றங்களைச் செய்தது:

முந்தைய பதிப்பிலிருந்து HBM அலைவரிசையை இருமடங்காக்குவது, இது GenAI மாதிரிகளில் டிகோடிங் கட்டத்தை விரைவுபடுத்துவதற்கு முக்கியமானது.
MX4 FLOPS ஐ 75% அதிகரிப்பது, பெரிய மொழி மாதிரிகளில் பொதுவான mixture-of-experts (MoE) feed-forward network (FFN) கணக்கீடுகளை விரைவுபடுத்துகிறது.
கவனம் மற்றும் FFN கணக்கீடுகளை மிகவும் திறமையானதாக்க வன்பொருள் முடுக்கத்தை அறிமுகப்படுத்துவது, Softmax மற்றும் FlashAttention தொடர்பான தடைகளை நீக்குகிறது.
குறைந்த-துல்லிய தரவு வகைகளில் புதுமைப்படுத்துவது, FP8/MX8 ஐத் தாண்டி FP16/BF16 இன் MX4 FLOPS ஐ 6 மடங்கு வழங்குவது, மாதிரி தரத்தை பாதுகாக்கும் மற்றும் குறைந்த சிப் பகுதி தாக்கத்துடன் FLOPS ஐ அதிகரிக்கும் தனிப்பயன் தரவு-வகை கண்டுபிடிப்புகளுடன்.

MTIA 500, 450 இன் வெற்றியை அடிப்படையாகக் கொண்டு, HBM அலைவரிசையை மேலும் 50% அதிகரித்தது மற்றும் குறைந்த-துல்லிய தரவு வகைகளில் மேலும் கண்டுபிடிப்புகளை அறிமுகப்படுத்தியது, GenAI இன்ஃபரன்ஸ் செயல்திறனின் எல்லைகளைத் தள்ளும் Metaவின் உறுதிப்பாட்டை உறுதிப்படுத்துகிறது. இந்த தொடர்ச்சியான மேம்பாட்டு உந்துதல், Metaவின் AI அனுபவங்கள் அதிநவீனமாக இருப்பதை உறுதி செய்கிறது.

இந்த தலைமுறைகளில் உள்ள ஒட்டுமொத்த மேம்பாடுகள் தெளிவாக உள்ளன. MTIA 300 இலிருந்து MTIA 500 வரை, HBM அலைவரிசை ஒரு impressive 4.5 மடங்கு அதிகரித்துள்ளது, அதே நேரத்தில் கணினி FLOPS ஒரு astounding 25 மடங்கு அதிகரிப்பைக் கண்டுள்ளது (MTIA 300 இன் MX8 இலிருந்து MTIA 500 இன் MX4 க்கு). இரண்டு ஆண்டுகளுக்குள் இந்த விரைவான முடுக்கம் Metaவின் வேக உத்திக்கும் அதன் தனிப்பயன் சிலிக்கானை தொடர்ந்து மேம்படுத்தும் திறனுக்கும் ஒரு சான்றாகும். இந்த பரிணாம வளர்ச்சி, ஏஜென்டிக் AI ஐ செயல்படுத்துவதற்கும் மற்ற சிக்கலான மாதிரிகளை அளவில் செயல்படுத்துவதற்கும் முக்கியமானது.

MTIA குடும்பத்தின் முக்கிய விவரக்குறிப்புகளின் ஒரு பிரிப்பு இங்கே:

அம்சம்	MTIA 300	MTIA 400	MTIA 450	MTIA 500
கணினி டை	1	2	2	2
HBM அடுக்குகள்	4	4	8	8
HBM அலைவரிசை (GB/s)*	100	151	302	453
MX8 FLOPS (TFLOPS)	100	400	400	400
MX4 FLOPS (TFLOPS)	N/A	200	350	500
ஸ்கேல்-அப் டொமைன் அளவு	18 சாதனங்கள்**	72 சாதனங்கள்	72 சாதனங்கள்	72 சாதனங்கள்
முக்கிய மேம்படுத்தல்	R&R பயிற்சி, குறைந்த லேடன்சி தொடர்பு	பொது GenAI, போட்டித்தன்மை வாய்ந்த மூல செயல்திறன்	GenAI இன்ஃபரன்ஸ், HBM, தனிப்பயன் குறைந்த-துல்லியம்	GenAI இன்ஃபரன்ஸ், HBM, தனிப்பயன் குறைந்த-துல்லியம்

*சில விற்பனையாளர்கள் இருதிசை அலைவரிசையை தெரிவிக்கின்றனர். தொடர்புடைய இருதிசை அலைவரிசையைப் பெற அட்டவணையில் உள்ள மதிப்பை இரண்டால் பெருக்கவும். **MTIA 300 அதன் ஒப்பீட்டளவில் சிறிய ஸ்கேல்-அப் டொமைன் அளவு மற்றும் இலக்கு R&R பணிச்சுமைகள் காரணமாக அதிக அலைவரிசையுடன் (200 GB/s) ஒரு ஸ்கேல்-அவுட் நெட்வொர்க்குடன் கட்டமைக்கப்பட்டுள்ளது.

இந்த விவரக்குறிப்புகள் நினைவக அலைவரிசை மற்றும் கணினி சக்தியில் வியத்தகு மேம்பாடுகளை எடுத்துக்காட்டுகின்றன, ஒவ்வொரு MTIA தலைமுறையும் தற்போதைய மற்றும் எதிர்கால AI பயன்பாடுகளின், குறிப்பாக வள-செறிவுள்ள GenAI மாதிரிகளின், மிக அவசரமான கோரிக்கைகளை நிவர்த்தி செய்ய எவ்வாறு நுணுக்கமாக வடிவமைக்கப்பட்டுள்ளது என்பதைக் காட்டுகிறது.

MTIA குடும்பம் வழியாக தனிப்பயன் சிலிக்கான் தீர்வுகளை Meta தொடர்ந்து தேடுவது, உலகளவில் பில்லியன் கணக்கான பயனர்களுக்கு அதிநவீன AI அனுபவங்களை வழங்குவதற்கான அதன் உறுதிப்பாட்டை அடிக்கோடிட்டுக் காட்டுகிறது. உள் கண்டுபிடிப்புகளை மூலோபாய கூட்டாண்மைகளுடன் இணைப்பதன் மூலம், Meta அளவிடக்கூடிய மற்றும் செலவு குறைந்த AI உள்கட்டமைப்பின் சாத்தியக்கூறுகளை தொடர்ந்து மறுவரையறை செய்கிறது.