What is a zero-trust AI factory and why is it important for enterprises?

A zero-trust AI factory is a high-performance infrastructure designed to manufacture intelligence at scale, built on the principle of 'never trust, always verify.' It eliminates implicit trust in the underlying host infrastructure by using hardware-enforced Trusted Execution Environments (TEEs) and cryptographic attestation. This is crucial for enterprises dealing with sensitive data (like patient records or market research) and proprietary AI models, as it mitigates risks of data exposure, intellectual property theft, and privacy concerns, thereby accelerating the adoption of AI into production environments. Its importance lies in enabling secure processing of highly confidential information.

What is the 'trust dilemma' in deploying AI models in shared infrastructure?

The trust dilemma in AI deployment arises from conflicting trust requirements among model owners, infrastructure providers, and data owners. Model owners fear IP theft from infrastructure providers; infrastructure providers worry about malicious workloads from model owners; and data owners need assurance that neither infrastructure nor model providers will misuse or expose their sensitive data during execution. This circular lack of trust is primarily due to data not being encrypted while in use in traditional computing environments, leaving it vulnerable to inspection by system administrators and hypervisors, creating significant security challenges.

How does confidential computing enhance the security of AI models and data?

Confidential computing addresses the core issue of data exposure by ensuring that data and AI models remain cryptographically protected throughout their entire execution lifecycle. Unlike traditional systems where data in use is unencrypted, confidential computing leverages hardware-backed Trusted Execution Environments (TEEs) to encrypt memory. This means sensitive data, model weights, and inference payloads are shielded from unauthorized access, even from privileged host software or administrators, significantly reducing the risk of intellectual property theft and data breaches during AI model inference and training and ensuring robust protection.

What are Confidential Containers (CoCo), and how do they operationalize confidential computing for Kubernetes?

Confidential Containers (CoCo) operationalize the benefits of confidential computing within Kubernetes environments. Instead of running standard Kubernetes pods directly on the host kernel, CoCo wraps each pod in a lightweight, hardware-isolated virtual machine (VM) using Kata Containers. This approach maintains cloud-native workflows while enforcing strong isolation. For AI, CoCo ensures that proprietary model weights remain encrypted until the hardware mathematically proves the enclave's security via remote attestation. A Key Broker Service then releases decryption keys only into this protected memory, preventing exposure to the host OS or hypervisor.

What are the core pillars of NVIDIA's reference architecture for zero-trust AI factories?

NVIDIA's reference architecture combines several crucial components to build robust zero-trust AI factories. Key pillars include a Hardware Root of Trust, utilizing CPU TEEs and NVIDIA confidential GPUs for memory-encrypted AI workloads; Kata Containers runtime for hardware-isolated Kubernetes pods; a Hardened Micro-Guest Environment with a minimal guest OS to reduce the attack surface; an Attestation Service to cryptographically verify hardware integrity before releasing secrets; a Confidential Workload Lifecycle for secure image pulling and deployment; and Native Kubernetes and GPU Operator Integration for seamless management and deployment without application rewrites.

What security aspects are *not* covered by Confidential Containers (CoCo)?

While CoCo provides strong confidentiality and integrity guarantees for data and model execution, it does not protect against all types of attacks. Specifically, CoCo does not address application vulnerabilities, meaning flaws within the AI application code itself that could be exploited. It also doesn't inherently prevent availability attacks, which aim to disrupt service rather than steal data. Furthermore, network security, such as protecting data in transit or securing network endpoints, remains outside CoCo's direct scope. These aspects require complementary security measures alongside the confidential computing framework for a complete security posture.

Núll-traust gervigreindarverksmiðjur: Að tryggja trúnaðar gervigreindarverkefni með TEE-um

Hröð framþróun gervigreindar hefur fært hana frá tilraunastigi í kjarnann í rekstri fyrirtækja. Samt sem áður er veruleg hindrun eftir: Langflest mikilvægra fyrirtækjagagna, þar á meðal mjög viðkvæmar sjúkraskrár, einkaréttar markaðsrannsóknir og ómetanleg arfleifðarþekking, eru staðsett utan almenningsskýsins. Samþætting þessara viðkvæmu upplýsinga við gervigreindarlíkön vekur miklar áhyggjur varðandi persónuvernd og traust, sem oft hægir á eða kemur alveg í veg fyrir innleiðingu gervigreindar.

Til að nýta sannarlega möguleika gervigreindar eru fyrirtæki að byggja "gervigreindarverksmiðjur"—sérhæfða, afkastamikla innviði sem eru hannaðir til að mynda greind í stórum stíl. Til að þessar verksmiðjur nái árangri með viðkvæmum gögnum og einkaréttum líkönum verða þær að vera byggðar á óhagganlegum núll-traust grunni. Þessi hugmyndafræði kveður á um að enginn aðili, hvort sem er notandi, tæki eða forrit, sé óbeint treyst. Þess í stað eru allar aðgangsbeiðnir staðfestar og heimilaðar af nákvæmni. Þessu er náð með vélbúnaðarþvinguðum Traustum Framkvæmdaumhverfum (TEEs) og dulritunarvottun, sem skapar öryggisarkitektúr sem útilokar innra traust á undirliggjandi hýsingarinnviðum. Þessi grein skoðar heildræna nálgun og lýsir tilvísunararkitektúr NVIDIA fyrir samþættingu þessa núll-trausts grunns í nútíma gervigreindarverksmiðjur.

Traustvandinn í gervigreindarverksmiðjum: Margra hagsmunaaðila áskorun

Tilfærsla í átt að innleiðingu háþróaðra landamódelra, oft einkaréttra, á sameiginlega innviði skapar flókinn og margþættan traustvanda meðal helstu hagsmunaaðila í vistkerfi gervigreindarverksmiðju. Þessi "hringlaga skortur á trausti" stafar í grundvallaratriðum af því að hefðbundið tölvuumhverfi tekst ekki að dulkóða gögn meðan þau eru í notkun.

Líkanseigendur á móti innviðaveitendum: Líkanseigendur fjárfesta mikið í þróun einkaréttra gervigreindarlíkana, en þyngdir þeirra og reiknifræðilegur rökfræði tákna veruleg hugverkaréttindi. Þeir geta ekki óbeint treyst því að hýsingarstýrikerfið, sýndarvélastjórinn eða jafnvel rótarstjórnandi muni ekki skoða, stela eða draga út verðmætu líkönin þeirra þegar þau eru sett upp á sameiginlegum innviðum.
Innviðaveitendur á móti líkanseigendum/leigjendum: Aftur á móti geta þeir sem stjórna og reka vélbúnaðinn og Kubernetes klasana—innviðaveitendurnir—ekki blint treyst því að verkefni líkanseiganda eða leigjanda sé góðkynja. Það er stöðug áhætta á illgjörnum kóða, tilraunum til forréttindaaukningar eða brotum á öryggismörkum hýsingar, sem eru innbyggð í innleidd gervigreindarforrit.
Leigjendur (gagnaeigendur) á móti líkanseigendum og innviðaveitendum: Gagnaeigendur, sem leggja til viðkvæm og oft reglusett gögn sem knýja gervigreindarlíkön, krefjast öflugrar tryggingar fyrir því að upplýsingar þeirra haldist trúnaðarmál. Þeir geta ekki treyst því að innviðaveitandinn muni ekki skoða gögnin þeirra meðan á framkvæmd stendur, né geta þeir verið vissir um að líkanveitandinn muni ekki misnota eða leka gögnunum meðan á ályktun eða vinnslu stendur.

Þessi útbreiddi skortur á trausti undirstrikar mikilvægan veikleika: í hefðbundinni tölvuvinnslu eru gögn ekki dulkóðuð meðan þau eru virk í vinnslu. Þetta skilur viðkvæm gögn og einkaréttar líkön eftir afhjúpuð í venjulegum texta í minni og aðgengileg kerfisstjórum, sem skapar óviðunandi áhættusnið fyrir nútíma gervigreindarinnleiðingar.

Trúnaðarreiknirit og gámar: Grundvöllur trausts í gervigreind

Trúnaðarreiknirit kemur fram sem lykillausnin á þessum djúpstæða traustvanda. Það breytir öryggisumhverfinu í grundvallaratriðum með því að tryggja að gögn og líkön haldist dulritunarvarið alla framkvæmdartíð þeirra, ekki bara í hvíld eða í flutningi. Þessu er náð með því að nýta vélbúnaðarstudda Traust Framkvæmdaumhverfi (TEEs) sem búa til einangruð, dulkóðuð minnissvæði þar sem hægt er að framkvæma viðkvæmar útreikningar án þess að afhjúpast hýsingarstýrikerfinu eða sýndarvélastjóranum.

Þó að trúnaðarreiknirit veiti mikilvægan vélbúnaðargrunn, gera trúnaðar gámar (CoCo) þessa öryggishugmyndafræði nothæfa sérstaklega fyrir Kubernetes umhverfi. CoCo gerir Kubernetes pod-um kleift að keyra inni í þessum vélbúnaðarstuddu TEE-um án þess að þurfa breytingar eða endurskrifanir á forritskóðanum. Í stað þess að deila hýsingarkjarnanum er hver pod gagnsætt hylktur innan léttvættrar, vélbúnaðareinangraðrar sýndarvélar (VM) knúin af Kata Containers. Þessi nýstárlega nálgun varðveitir núverandi skýjafrumbyggilega vinnuferla og verkfæri á sama tíma og hún þvingar fram strangar einangrunarmörk, eykur öryggi án þess að skerða rekstrarþrótt.

Fyrir líkanveitendur er ógnin um þjófnað á einkaréttum líkanþyngdum mikilvægt áhyggjuefni. CoCo tekur beint á þessu með því að fjarlægja í raun hýsingarstýrikerfið og sýndarvélastjórann úr mikilvægu traustsjafnanum. Þegar gervigreindarlíkani er dreift innan trúnaðar gáms er það áfram dulkóðað. Aðeins eftir að vélbúnaðurinn sannreynir stærðfræðilega heiðarleika og öryggi TEE umgjörðarinnar með ferli sem kallast fjaraðvottun, gefur sérhæfð lyklaþjónusta (KBS) út nauðsynlegan afkóðunarlykil. Þessi lykill er síðan afhentur eingöngu í varið minni innan TEE, sem tryggir að líkanþyngdirnar séu aldrei afhjúpaðar í venjulegum texta fyrir hýsingarumhverfið, jafnvel ekki fyrir mjög forréttindakerfisstjóra.

Tilvísunararkitektúr NVIDIA fyrir núll-traust fyrir öruggar gervigreindarverksmiðjur

NVIDIA, í samstarfi við opna Confidential Containers samfélagið, hefur þróað alhliða tilvísunararkitektúr fyrir CoCo hugbúnaðarstaflann. Þessi teikning skilgreinir staðlaða, heildræna nálgun fyrir byggingu núll-trausts gervigreindarverksmiðja á berum vélbúnaðarinnviðum. Hún lýsir nákvæmlega hvernig á að samþætta nýjustu vélbúnaðar- og hugbúnaðaríhluti til að dreifa landamódelum á öruggan hátt, og vernda bæði viðkvæm gögn þeirra og hugverkaréttindi fyrir afhjúpun í hýsingarumhverfi.

Helstu stoðir þessarar öflugu arkitektúrs eru:

Stoð	Lýsing
Vélbúnaðar traustsrót	Nýtir örgjörva Traust Framkvæmdaumhverfi (TEEs) pöruð með trúnaðar GPU-um frá NVIDIA (t.d. NVIDIA Hopper, NVIDIA Blackwell) fyrir vélbúnaðarhraðað, minnisdulkóðað gervigreindarverkefni.
Kata Containers keyrslutími	Hylur staðlaða Kubernetes Pod-a í léttum, vélbúnaðareinangruðum gagnavélum (UVMs), sem veitir sterka einangrun í stað þess að deila hýsingarkjarnanum.
Hert örgestaumhverfi	Notar stýrikerfi án dreifingar (distro-less), lágmarks gestastýrikerfi með 'chiseled' rótarskrárkerfi og NVIDIA Runtime Container (NVRC) fyrir öruggt ræsikerfi, sem dregur verulega úr árásaryfirborði sýndarvélarinnar.
Vottunarþjónusta	Dulritunarstaðfestir heiðarleika vélbúnaðarumhverfisins áður en viðkvæmum líkan afkóðunarlyklum eða trúnaðargögnum er sleppt til gestins, oft með aðkomu lyklaþjónustuaðila (KBS).
Lífsferill trúnaðarverkefna	Auðveldar örugga sókn dulkóðaðra og undirritaðra mynda (gáma, líkana, hluta) beint inn í dulkóðað TEE minni, kemur í veg fyrir afhjúpun í hvíld eða í flutningi, og gerir kleift að stilla fínstilltar viðmótsstefnur.
Innfæddur Kubernetes og GPU Operator samþætting	Gerir stjórnun alls staflans kleift með því að nota staðlaða Kubernetes frumþætti og NVIDIA GPU Operator, sem leyfir 'lyftu-og-færðu' innleiðingu gervigreindarforrita án þess að endurskrifa þau.

Þessi arkitektúr tryggir að gervigreindarverkefni njóti góðs af afköstum NVIDIA GPU-a á meðan þau eru hylkt innan dulritunarvarinna marka.

Að skilja ógnamódel CoCo og traustmörk í gervigreindaröryggi

Trúnaðar gámar (CoCo) starfa undir nákvæmlega skilgreindu ógnamódeli. Innan þessa módels er allur innviðalagið—þar á meðal hýsingarstýrikerfið, sýndarvélastjórinn og hugsanlega skýjaþjónustuveitandinn sjálfur—meðhöndlað sem eðlilega ótreyst. Þessi grundvallarforsenda er mikilvæg fyrir núll-traust nálgunina.

Í stað þess að treysta á árvekni eða heiðarleika innviðastjórnenda til að framfylgja öryggisráðstöfunum, færir CoCo á strategískan hátt aðal traustmarkið til vélbúnaðarstudda Trausts Framkvæmdaumhverfis (TEEs). Þetta þýðir að gervigreindarverkefni eru framkvæmd innan dulkóðaðra, sýndarvæddra umhverfa þar sem minnisinnihald er ólesanlegt fyrir hýsinguna. Mikilvægt er að viðkvæm trúnaðargögn, svo sem afkóðunarlyklar líkana, eru aðeins gefin út eftir að framkvæmdaumhverfið hefur dulritunarstaðfest heiðarleika sinn og áreiðanleika með fjaraðvottun.

Það er þó mikilvægt að skilja nákvæmt umfang þessarar verndar—hvað CoCo verndar og hvað er utan gildissviðs þess.

Hvað CoCo verndar

CoCo veitir öflugar tryggingar fyrir bæði trúnað og heiðarleika meðan á framkvæmd gervigreindarverkefna stendur:

Gagna- og líkanvernd: Minniskóðun er hornsteinn sem kemur í veg fyrir að hýsingarumhverfið fái aðgang að viðkvæmum gögnum, einkaréttum líkanþyngdum eða ályktunarhleðslum á meðan verkefnið er virkt í gangi innan TEE.
Heiðarleiki framkvæmdar: Fjaraðvottun gegnir lykilhlutverki með því að sannreyna að verkefnið sé sannarlega í gangi innan trausts, ósnertanlegs umhverfis með væntanlegum hugbúnaðarmælingum áður en nokkur viðkvæm trúnaðargögn eða afkóðunarlyklar líkana eru nokkru sinni gefnir út.
Örugg mynd- og geymsluumsýsla: Gámamyndir eru sóttar, sannreyndar og pakkaðar út beint innan öruggs, dulkóðaðs gestaumhverfis. Þetta tryggir að hýsingarinnviðir geta ekki skoðað eða átt við forritskóðann eða verðmætar líkanhluti á nokkrum tímapunkti.
Vernd gegn aðgangi á hýsingarstigi: Arkitektúrinn verndar verkefni á áhrifaríkan hátt fyrir forréttindaaðgerðum hýsingarinnar. Stjórnunarvilluleitarverkfæri, minnisskoðun eða disksköfun af hálfu hýsingarinnar getur ekki afhjúpað trúnaðarinnihald gervigreindarverkefnisins sem er í gangi.

Hvað CoCo verndar ekki

Þó að CoCo sé mjög áhrifaríkt, falla ákveðnar áhættur og árásarvektorar utan beins gildissviðs CoCo arkitektúrsins:

Veikleikar í forritum: CoCo tryggir staðfest og trúnaðar framkvæmdaumhverfi, en það lagfærir eða kemur ekki í veg fyrir veikleika í gervigreindarforritskóðanum sjálfum. Ef forrit hefur galla sem leiðir til gagnaskorts eða rangrar vinnslu, getur CoCo ekki dregið úr þessu.
Framboðsárásir: Aðaláhersla CoCo er trúnaður og heiðarleiki. Það kemur ekki beint í veg fyrir afneitunarþjónustu (DoS) eða aðrar framboðsárásir sem miða að því að raska þjónustu frekar en að stela gögnum. Ráðstafanir eins og offramboðsinnviðir og vernd á netstigi eru enn nauðsynlegar.
Netöryggi: Gögn í flutningi, öryggi netendapunkta og veikleikar í netsamskiptareglum falla utan beinnar verndar TEE. Örugg samskiptaleiðir (t.d. TLS/SSL) og öflug netgreining eru viðbótarkröfur. Fyrir dýpri innsýn í öryggi gervigreindar, íhugaðu að kanna aðferðir til að trufla illgjarna notkun gervigreindar.

Að byggja framtíð öruggrar gervigreindar

Ferðalag gervigreindar frá tilraunastigi til framleiðslu krefst hugmyndafræðilegrar breytingar í öryggismálum. Fyrirtæki eru ekki lengur einfaldlega að innleiða líkön; þau eru að byggja flóknar gervigreindarverksmiðjur sem framleiða greind í stórum stíl. Núll-traust arkitektúr NVIDIA, knúinn af trúnaðar gámum og vélbúnaðarstuddu TEE-um, veitir mikilvægan grunn fyrir þessa nýju öld. Með því að taka nákvæmlega á innbyggðum traustvöndum og veita öflugar dulritunartryggingar geta fyrirtæki öruggilega innleitt einkaréttar líkön og unnið með viðkvæm gögn, sem flýtir fyrir innleiðingu gervigreindar án þess að skerða öryggi. Þessi nálgun verndar ekki aðeins hugverkaréttindi og persónulegar upplýsingar heldur ýtir einnig undir nýtt trauststig yfir allan lífsferil gervigreindarþróunar og innleiðingar. Þar sem gervigreind heldur áfram að þróast, mun samþætting slíkra háþróaðra öryggisramma vera afar mikilvæg til að ná fram öllum umbreytandi möguleikum hennar. Ennfremur undirstrikar áframhaldandi stefnumótandi samstarf milli leiðtoga í iðnaði, eins og AWS og NVIDIA að dýpka stefnumótandi samstarf sitt til að flýta fyrir gervigreind, skuldbindingu iðnaðarins til að efla öruggar og stigstærðar gervigreindarlaussnir.