What is a zero-trust AI factory and why is it important for enterprises?

A zero-trust AI factory is a high-performance infrastructure designed to manufacture intelligence at scale, built on the principle of 'never trust, always verify.' It eliminates implicit trust in the underlying host infrastructure by using hardware-enforced Trusted Execution Environments (TEEs) and cryptographic attestation. This is crucial for enterprises dealing with sensitive data (like patient records or market research) and proprietary AI models, as it mitigates risks of data exposure, intellectual property theft, and privacy concerns, thereby accelerating the adoption of AI into production environments. Its importance lies in enabling secure processing of highly confidential information.

What is the 'trust dilemma' in deploying AI models in shared infrastructure?

The trust dilemma in AI deployment arises from conflicting trust requirements among model owners, infrastructure providers, and data owners. Model owners fear IP theft from infrastructure providers; infrastructure providers worry about malicious workloads from model owners; and data owners need assurance that neither infrastructure nor model providers will misuse or expose their sensitive data during execution. This circular lack of trust is primarily due to data not being encrypted while in use in traditional computing environments, leaving it vulnerable to inspection by system administrators and hypervisors, creating significant security challenges.

How does confidential computing enhance the security of AI models and data?

Confidential computing addresses the core issue of data exposure by ensuring that data and AI models remain cryptographically protected throughout their entire execution lifecycle. Unlike traditional systems where data in use is unencrypted, confidential computing leverages hardware-backed Trusted Execution Environments (TEEs) to encrypt memory. This means sensitive data, model weights, and inference payloads are shielded from unauthorized access, even from privileged host software or administrators, significantly reducing the risk of intellectual property theft and data breaches during AI model inference and training and ensuring robust protection.

What are Confidential Containers (CoCo), and how do they operationalize confidential computing for Kubernetes?

Confidential Containers (CoCo) operationalize the benefits of confidential computing within Kubernetes environments. Instead of running standard Kubernetes pods directly on the host kernel, CoCo wraps each pod in a lightweight, hardware-isolated virtual machine (VM) using Kata Containers. This approach maintains cloud-native workflows while enforcing strong isolation. For AI, CoCo ensures that proprietary model weights remain encrypted until the hardware mathematically proves the enclave's security via remote attestation. A Key Broker Service then releases decryption keys only into this protected memory, preventing exposure to the host OS or hypervisor.

What are the core pillars of NVIDIA's reference architecture for zero-trust AI factories?

NVIDIA's reference architecture combines several crucial components to build robust zero-trust AI factories. Key pillars include a Hardware Root of Trust, utilizing CPU TEEs and NVIDIA confidential GPUs for memory-encrypted AI workloads; Kata Containers runtime for hardware-isolated Kubernetes pods; a Hardened Micro-Guest Environment with a minimal guest OS to reduce the attack surface; an Attestation Service to cryptographically verify hardware integrity before releasing secrets; a Confidential Workload Lifecycle for secure image pulling and deployment; and Native Kubernetes and GPU Operator Integration for seamless management and deployment without application rewrites.

What security aspects are *not* covered by Confidential Containers (CoCo)?

While CoCo provides strong confidentiality and integrity guarantees for data and model execution, it does not protect against all types of attacks. Specifically, CoCo does not address application vulnerabilities, meaning flaws within the AI application code itself that could be exploited. It also doesn't inherently prevent availability attacks, which aim to disrupt service rather than steal data. Furthermore, network security, such as protecting data in transit or securing network endpoints, remains outside CoCo's direct scope. These aspects require complementary security measures alongside the confidential computing framework for a complete security posture.

מפעלי AI בארכיטקטורת 'אפס אמון': אבטחת עומסי עבודה סודיים של AI עם TEEs

ההתקדמות המהירה של ה-AI דחפה אותו משלבי ניסוי ללב הפעילות הארגונית. עם זאת, מכשול משמעותי נותר: הרוב המכריע של הנתונים הארגוניים הקריטיים, כולל רשומות מטופלים רגישות ביותר, מחקרי שוק קנייניים וידע ארגוני יקר ערך, נמצא מחוץ לענן הציבורי. שילוב מידע רגיש זה עם מודלי AI מציג חששות פרטיות ואמון ניכרים, ולעיתים קרובות מאט או חוסם לחלוטין את אימוץ ה-AI.

כדי לממש באמת את הפוטנציאל של ה-AI, ארגונים בונים 'מפעלי AI' – תשתיות ייעודיות ועתירות ביצועים שתוכננו לייצר בינה בקנה מידה גדול. כדי שמפעלים אלה יצליחו עם נתונים רגישים ומודלים קנייניים, עליהם להיבנות על יסוד בלתי מתפשר של 'אפס אמון'. פרדיגמה זו קובעת שאף ישות, בין אם משתמש, מכשיר או יישום, אינה זוכה לאמון מרומז. במקום זאת, כל בקשות הגישה מאומתות ומורשות בקפדנות. זה מושג באמצעות סביבות ביצוע מהימנות (TEEs) המבוססות חומרה ואימות קריפטוגרפי, ויוצר ארכיטקטורת אבטחה המבטלת אמון מובנה בתשתית המארחת הבסיסית. מאמר זה בוחן גישה מלאה, המתווה את ארכיטקטורת הייחוס של NVIDIA לשילוב יסוד 'אפס אמון' זה במפעלי AI מודרניים.

דילמת האמון במפעלי AI: אתגר רב-בעלי עניין

המעבר לכיוון פריסת מודלים מתקדמים, לעיתים קרובות קנייניים, על תשתית משותפת מציג דילמת אמון מורכבת ורב-צדדית בין בעלי העניין המרכזיים במערכת האקולוגית של מפעלי AI. 'חוסר אמון מעגלי' זה נובע בעיקרו מכשלונה של סביבת המחשוב המסורתית להצפין נתונים בזמן שימושם.

בעלי מודלים מול ספקי תשתית: בעלי מודלים משקיעים רבות בפיתוח מודלי AI קנייניים, שמשקליהם והלוגיקה האלגוריתמית שלהם מייצגים קניין רוחני משמעותי. הם אינם יכולים לסמוך באופן מרומז על כך שמערכת ההפעלה המארחת, ההיפרוויזר, או אפילו מנהל מערכת ראשי לא יבדקו, יגנבו או יחלצו את המודלים היקרים שלהם כאשר הם פרוסים על תשתית משותפת.
ספקי תשתית מול בעלי מודלים/דיירים: לעומת זאת, אלה המנהלים ומתפעלים את החומרה וקלסטרי Kubernetes – ספקי התשתית – אינם יכולים לסמוך בעיניים עצומות על כך שעומס העבודה של בעל מודל או דייר תמים. קיים סיכון מתמיד לקוד זדוני, ניסיונות להסלמת הרשאות, או פרצות של גבולות אבטחת המארח המוטמעים ביישומי AI פרוסים.
דיירים (בעלי נתונים) מול בעלי מודלים וספקי תשתית: בעלי נתונים, המספקים את הנתונים הרגישים ולעיתים קרובות מוסדרים המזינים את מודלי ה-AI, דורשים הבטחה חזקה כי המידע שלהם יישאר חסוי. הם אינם יכולים לסמוך על כך שספק התשתית לא יצפה בנתונים שלהם במהלך הביצוע, וגם אינם יכולים להיות בטוחים שספק המודל לא ינצל לרעה או ידליף את הנתונים במהלך הסקה או עיבוד.

חוסר אמון נפוץ זה מדגיש פגיעות קריטית: במחשוב קונבנציונלי, נתונים אינם מוצפנים בזמן שהם מעובדים באופן פעיל. זה משאיר נתונים רגישים ומודלים קנייניים חשופים בטקסט פשוט בזיכרון ונגישים למנהלי מערכת, ויוצר פרופיל סיכון בלתי מתקבל על הדעת עבור פריסות AI מודרניות.

מחשוב סודי ומכלים: יסוד האמון ב-AI

מחשוב סודי מתגלה כפתרון מרכזי לדילמת אמון עמוקה זו. הוא משנה באופן מהותי את נוף האבטחה בכך שהוא מבטיח שנתונים ומודלים יישארו מוגנים קריפטוגרפית לאורך כל מחזור הביצוע שלהם, לא רק במנוחה או במעבר. זה מושג על ידי מינוף סביבות ביצוע מהימנות (TEEs) המגובות חומרה, היוצרות אזורי זיכרון מבודדים ומוצפנים שבהם חישובים רגישים יכולים להתבצע ללא חשיפה למערכת ההפעלה המארחת או להיפרוויזר.

בעוד שמחשוב סודי מספק את בסיס החומרה המכריע, Confidential Containers (CoCo) מפעילים פרדיגמת אבטחה זו במיוחד עבור סביבות Kubernetes. CoCo מאפשר לפודים של Kubernetes לרוץ בתוך TEEs מגובים חומרה אלה מבלי לדרוש שינויים או שכתובים כלשהם בקוד היישום. במקום לשתף את ליבת המארח, כל פוד עטוף באופן שקוף במכונה וירטואלית (VM) קלת משקל ומבודדת חומרה המופעלת על ידי Kata Containers. גישה חדשנית זו שומרת על זרימות עבודה וכלים קיימים מבוססי ענן תוך אכיפת גבולות בידוד קפדניים, מה שמעלה את האבטחה מבלי לפגוע בזריזות תפעולית.

עבור ספקי מודלים, האיום של גניבת משקלי מודלים קנייניים הוא דאגה עליונה. CoCo מטפל בכך באופן ישיר על ידי הסרה אפקטיבית של מערכת ההפעלה המארחת וההיפרוויזר ממשוואת האמון הקריטית. כאשר מודל AI נפרס בתוך Confidential Container, הוא נשאר מוצפן. רק לאחר שהחומרה מאמתת מתמטית את שלמות ואבטחת מובלעת ה-TEE באמצעות תהליך המכונה אימות מרחוק, שירות מתווך מפתחות מיוחד (KBS) משחרר את מפתח הפענוח הנדרש. מפתח זה נמסר אז באופן בלעדי לזיכרון המוגן בתוך ה-TEE, מה שמבטיח שמשקלי המודל לעולם אינם חשופים בטקסט פשוט לסביבת המארח, אפילו למנהלים בעלי הרשאות גבוהות.

ארכיטקטורת הייחוס של NVIDIA בארכיטקטורת 'אפס אמון' עבור מפעלי AI מאובטחים

NVIDIA, בשיתוף פעולה עם קהילת Confidential Containers בקוד פתוח, פיתחה ארכיטקטורת ייחוס מקיפה עבור ערימת התוכנה של CoCo. תוכנית זו מגדירה גישה סטנדרטית ומושלמת לבניית מפעלי AI בארכיטקטורת 'אפס אמון' על תשתית Bare-Metal. היא מתווה בקפידה כיצד לשלב רכיבי חומרה ותוכנה מתקדמים כדי לפרוס מודלים פורצי דרך באופן מאובטח, תוך הגנה על הנתונים הרגישים ועל הקניין הרוחני שלהם מפני חשיפה לסביבת המארח.

עמודי התווך המרכזיים של ארכיטקטורה חזקה זו הם:

עמוד תווך	תיאור
בסיס אמון חומרתי	מנצל סביבות ביצוע מהימנות (TEEs) של המעבד בשילוב עם מעבדי GPU סודיים של NVIDIA (לדוגמה, NVIDIA Hopper, NVIDIA Blackwell) עבור עומסי עבודה של AI מוצפני זיכרון המואצים בחומרה.
סביבת ריצה של Kata Containers	עוטף פודים סטנדרטיים של Kubernetes במכונות וירטואליות קלות משקל ומבודדות חומרה (UVMs), ומספק בידוד חזק במקום שיתוף ליבת המארח.
סביבת מיקרו-אורח מוקשחת	משתמש במערכת הפעלה אורחת מינימלית ללא הפצה (distro-less) הכוללת מערכת קבצים ראשית מחוטבת (chiseled root filesystem) ו-NVIDIA Runtime Container (NVRC) למערכת אתחול מאובטחת, המפחיתה באופן דרסטי את שטח התקיפה של ה-VM.
שירות אימות	מאמת קריפטוגרפית את שלמות סביבת החומרה לפני שחרור מפתחות פענוח מודלים רגישים או סודות לאורח, לעיתים קרובות כולל שירות מתווך מפתחות (KBS).
מחזור חיים של עומסי עבודה סודיים	מאפשר משיכה מאובטחת של תמונות מוצפנות וחתומות (מכלים, מודלים, ארטיפקטים) ישירות לזיכרון TEE מוצפן, מונע חשיפה במנוחה או במעבר, ומאפשר מדיניות ממשק מדויקת.
שילוב Kubernetes מקורי ומפעיל GPU	מאפשר ניהול של הערימה כולה באמצעות פרימיטיבים סטנדרטיים של Kubernetes ומפעיל ה-GPU של NVIDIA, ומאפשר פריסת יישומי AI בגישת 'lift-and-shift' ללא כתיבה מחדש.

ארכיטקטורה זו מבטיחה שעומסי עבודה של AI ייהנו מביצועי מעבדי ה-GPU של NVIDIA תוך כדי עטיפה בתוך גבולות מאובטחים קריפטוגרפית.

הבנת מודל האיומים של CoCo וגבולות האמון באבטחת AI

Confidential Containers (CoCo) פועלים תחת מודל איומים מוגדר בקפדנות. בתוך מודל זה, שכבת התשתית כולה – כולל מערכת ההפעלה המארחת, ההיפרוויזר, ואף ספק הענן עצמו – נחשבת כבלתי מהימנה מטבעה. הנחה בסיסית זו קריטית לגישת 'אפס אמון'.

במקום להסתמך על עירנותם או יושרם של מנהלי תשתית לאכיפת בקרות אבטחה, CoCo מעביר אסטרטגית את גבול האמון העיקרי לסביבות ביצוע מהימנות (TEEs) המגובות חומרה. משמעות הדבר היא שעומסי עבודה של AI מתבצעים בסביבות וירטואליות מוצפנות שבהן תכולת הזיכרון בלתי ניתנת לפענוח על ידי המארח. באופן מכריע, סודות רגישים, כגון מפתחות פענוח מודלים, משוחררים רק לאחר שסביבת הביצוע הוכיחה קריפטוגרפית את שלמותה ואותנטיותה באמצעות אימות מרחוק.

אולם, חיוני להבין את ההיקף המדויק של הגנה זו – מה CoCo מגן ומה נשאר מחוץ לתחומו.

מה CoCo מגן עליו

CoCo מספק הבטחות חזקות הן לסודיות והן לשלמות במהלך הביצוע של עומסי עבודה של AI:

הגנת נתונים ומודלים: הצפנת זיכרון היא אבן יסוד, המונעת מסביבת המארח לגשת לנתונים רגישים, משקלי מודלים קנייניים או מטעני קלט בזמן שעומס העבודה פועל באופן פעיל בתוך ה-TEE.
שלמות ביצוע: אימות מרחוק ממלא תפקיד קריטי על ידי אימות שעומס העבודה אכן פועל בתוך סביבה מהימנה ולא פרוצה עם מדידות תוכנה צפויות לפני שמשוחררים סודות רגישים או מפתחות פענוח מודלים כלשהם.
טיפול מאובטח בתמונות ואחסון: תמונות מכולה נמשכות, מאומתות ונפרקות ישירות בתוך סביבת האורח המאובטחת והמוצפנת. זה מבטיח שתשתית המארח אינה יכולה לבדוק או לשנות את קוד היישום או את ארטיפקטי המודל היקרים בכל שלב.
הגנה מפני גישת רמת-מארח: הארכיטקטורה מגינה ביעילות על עומסי עבודה מפעולות מארח מיוחסות. כלי ניפוי באגים אדמיניסטרטיביים, בדיקת זיכרון או גירוד דיסק על ידי המארח אינם יכולים לחשוף את התוכן הסודי של עומס העבודה של ה-AI הפועל.

מה CoCo אינו מגן עליו

בעוד שהוא יעיל ביותר, סיכונים ווקטורי התקפה מסוימים נופלים מחוץ לתחום הארכיטקטורה של CoCo:

חולשות יישומים: CoCo מבטיח את סביבת הביצוע המאומתת והסודית, אך הוא אינו מתקן או מונע באופן מהותי חולשות בתוך קוד יישום ה-AI עצמו. אם ליישום יש באג המוביל לדליפת נתונים או עיבוד שגוי, CoCo אינו יכול למתן זאת.
התקפות זמינות: המיקוד העיקרי של CoCo הוא סודיות ושלמות. הוא אינו מונע ישירות התקפות מניעת שירות (DoS) או התקפות זמינות אחרות שמטרתן לשבש שירות ולא לגנוב נתונים. אמצעים כמו תשתית יתירה והגנות ברמת הרשת עדיין נחוצים.
אבטחת רשת: נתונים במעבר, אבטחת נקודות קצה של רשת וחולשות בפרוטוקולי רשת נופלים מחוץ להגנה הישירה של ה-TEE. ערוצי תקשורת מאובטחים (לדוגמה, TLS/SSL) ופילוח רשת חזק הם דרישות משלימות. לתובנות עמוקות יותר בנוגע לאבטחת AI, שקול לבחון אסטרטגיות לשיבוש שימושי AI זדוניים.

בניית עתיד ה-AI המאובטח

מסע ה-AI מניסוי לייצור דורש שינוי פרדיגמה באבטחה. ארגונים אינם רק פורסים מודלים; הם בונים מפעלי AI מורכבים המייצרים בינה בקנה מידה גדול. ארכיטקטורת 'אפס אמון' של NVIDIA, המופעלת על ידי Confidential Containers ו-TEEs המגובים בחומרה, מספקת את הבסיס הקריטי לעידן חדש זה. על ידי טיפול קפדני בדילמות האמון הטבועות ומתן ערבויות קריפטוגרפיות חזקות, ארגונים יכולים לפרוס בביטחון מודלים קנייניים ולעבד נתונים רגישים, ובכך להאיץ את אימוץ ה-AI מבלי להתפשר על אבטחה. גישה זו לא רק מגנה על קניין רוחני ומידע פרטי אלא גם מטפחת רמת אמון חדשה בכל מחזור החיים של פיתוח ופריסת AI. ככל שה-AI ממשיך להתפתח, שילוב מסגרות אבטחה מתקדמות כאלה יהיה בעל חשיבות עליונה למימוש מלוא הפוטנציאל הטרנספורמטיבי שלו. יתר על כן, שיתוף הפעולה האסטרטגי המתמשך בין מובילי התעשייה, כגון AWS ו-NVIDIA המעמיקים את שיתוף הפעולה האסטרטגי שלהם להאצת AI, מדגיש את מחויבות התעשייה לקידום פתרונות AI מאובטחים וניתנים להרחבה.