What is a zero-trust AI factory and why is it important for enterprises?

A zero-trust AI factory is a high-performance infrastructure designed to manufacture intelligence at scale, built on the principle of 'never trust, always verify.' It eliminates implicit trust in the underlying host infrastructure by using hardware-enforced Trusted Execution Environments (TEEs) and cryptographic attestation. This is crucial for enterprises dealing with sensitive data (like patient records or market research) and proprietary AI models, as it mitigates risks of data exposure, intellectual property theft, and privacy concerns, thereby accelerating the adoption of AI into production environments. Its importance lies in enabling secure processing of highly confidential information.

What is the 'trust dilemma' in deploying AI models in shared infrastructure?

The trust dilemma in AI deployment arises from conflicting trust requirements among model owners, infrastructure providers, and data owners. Model owners fear IP theft from infrastructure providers; infrastructure providers worry about malicious workloads from model owners; and data owners need assurance that neither infrastructure nor model providers will misuse or expose their sensitive data during execution. This circular lack of trust is primarily due to data not being encrypted while in use in traditional computing environments, leaving it vulnerable to inspection by system administrators and hypervisors, creating significant security challenges.

How does confidential computing enhance the security of AI models and data?

Confidential computing addresses the core issue of data exposure by ensuring that data and AI models remain cryptographically protected throughout their entire execution lifecycle. Unlike traditional systems where data in use is unencrypted, confidential computing leverages hardware-backed Trusted Execution Environments (TEEs) to encrypt memory. This means sensitive data, model weights, and inference payloads are shielded from unauthorized access, even from privileged host software or administrators, significantly reducing the risk of intellectual property theft and data breaches during AI model inference and training and ensuring robust protection.

What are Confidential Containers (CoCo), and how do they operationalize confidential computing for Kubernetes?

Confidential Containers (CoCo) operationalize the benefits of confidential computing within Kubernetes environments. Instead of running standard Kubernetes pods directly on the host kernel, CoCo wraps each pod in a lightweight, hardware-isolated virtual machine (VM) using Kata Containers. This approach maintains cloud-native workflows while enforcing strong isolation. For AI, CoCo ensures that proprietary model weights remain encrypted until the hardware mathematically proves the enclave's security via remote attestation. A Key Broker Service then releases decryption keys only into this protected memory, preventing exposure to the host OS or hypervisor.

What are the core pillars of NVIDIA's reference architecture for zero-trust AI factories?

NVIDIA's reference architecture combines several crucial components to build robust zero-trust AI factories. Key pillars include a Hardware Root of Trust, utilizing CPU TEEs and NVIDIA confidential GPUs for memory-encrypted AI workloads; Kata Containers runtime for hardware-isolated Kubernetes pods; a Hardened Micro-Guest Environment with a minimal guest OS to reduce the attack surface; an Attestation Service to cryptographically verify hardware integrity before releasing secrets; a Confidential Workload Lifecycle for secure image pulling and deployment; and Native Kubernetes and GPU Operator Integration for seamless management and deployment without application rewrites.

What security aspects are *not* covered by Confidential Containers (CoCo)?

While CoCo provides strong confidentiality and integrity guarantees for data and model execution, it does not protect against all types of attacks. Specifically, CoCo does not address application vulnerabilities, meaning flaws within the AI application code itself that could be exploited. It also doesn't inherently prevent availability attacks, which aim to disrupt service rather than steal data. Furthermore, network security, such as protecting data in transit or securing network endpoints, remains outside CoCo's direct scope. These aspects require complementary security measures alongside the confidential computing framework for a complete security posture.

Nulinio pasitikėjimo dirbtinio intelekto gamyklos: konfidencialių DI darbo krūvių saugumo užtikrinimas su TEEs

Spartus dirbtinio intelekto (DI) pažanga iš eksperimentinės stadijos perkėlė jį į įmonių veiklos pagrindą. Vis dėlto, išlieka didelė kliūtis: didžioji dauguma kritinių įmonės duomenų, įskaitant itin jautrius pacientų įrašus, nuosavus rinkos tyrimus ir neįkainojamą paveldėtą žinias, yra už viešojo debesies ribų. Šios jautrios informacijos integravimas su DI modeliais sukelia didelių privatumo ir pasitikėjimo problemų, dažnai lėtinančių arba visiškai blokuojančių DI diegimą.

Norėdamos iš tikrųjų išnaudoti DI potencialą, įmonės kuria „DI gamyklas“ – specializuotas, didelio našumo infrastruktūras, skirtas kurti intelektą dideliu mastu. Kad šios gamyklos sėkmingai veiktų su jautriais duomenimis ir nuosavais modeliais, jos turi būti pastatytos ant tvirto nulinio pasitikėjimo pagrindo. Ši paradigma diktuoja, kad jokiam subjektui, nesvarbu, ar tai vartotojas, įrenginys, ar programa, nėra automatiškai pasitikima. Vietoj to, visi prieigos prašymai yra griežtai autentifikuojami ir autorizuojami. Tai pasiekiama naudojant aparatine įranga sustiprintas Patikimos vykdymo aplinkas (TEEs) ir kriptografinį patvirtinimą, sukuriant saugumo architektūrą, kuri pašalina numanomą pasitikėjimą pagrindine prieglobos infrastruktūra. Šiame straipsnyje apžvelgiamas visas architektūros spektras, pristatant NVIDIA referencinę architektūrą, skirtą šio nulinio pasitikėjimo pagrindo integravimui į modernias DI gamyklas.

DI gamyklos pasitikėjimo dilema: daugelio suinteresuotųjų šalių iššūkis

Perėjimas prie pažangių, dažnai nuosavų, ribinių modelių diegimo bendroje infrastruktūroje sukuria sudėtingą, įvairiapusę pasitikėjimo dilemą tarp pagrindinių suinteresuotųjų šalių DI gamyklos ekosistemoje. Šis „abipusis pasitikėjimo trūkumas“ iš esmės kyla dėl to, kad tradicinė skaičiavimo aplinka nešifruoja duomenų, kai jie naudojami.

Modelių savininkai prieš Infrastruktūros teikėjus: Modelio savininkai daug investuoja į nuosavų DI modelių kūrimą, kurių svoriai ir algoritminė logika yra reikšminga intelektinė nuosavybė. Jie negali automatiškai pasitikėti, kad prieglobos operacinė sistema, hipervizorius ar net šakninis administratorius nepatikrins, nepavogs ar neekstrahuos jų vertingų modelių, kai jie bus diegiami bendroje infrastruktūroje.
Infrastruktūros teikėjai prieš Modelių savininkus/Nuomininkus: Ir atvirkščiai, tie, kurie valdo ir eksploatuoja aparatinę įrangą ir Kubernetes klasterius – infrastruktūros teikėjai – negali aklai pasitikėti, kad modelio savininko ar nuomininko darbo krūvis yra gerybinis. Visada egzistuoja kenkėjiško kodo, bandymų didinti privilegijas ar prieglobos saugumo ribų pažeidimų rizika, įterpta į diegiamas DI programas.
Nuomininkai (Duomenų savininkai) prieš Modelių savininkus ir Infrastruktūros teikėjus: Duomenų savininkai, kurie teikia jautrius ir dažnai reguliuojamus duomenis, maitinančius DI modelius, reikalauja tvirto užtikrinimo, kad jų informacija išliks konfidenciali. Jie negali pasitikėti, kad infrastruktūros teikėjas peržiūrės jų duomenis vykdymo metu, taip pat negali būti tikri, kad modelio teikėjas nepiktnaudžiaus ar neatskleis duomenų išvadų kūrimo ar apdorojimo metu.

Šis plačiai paplitęs pasitikėjimo trūkumas atskleidžia kritinį pažeidžiamumą: įprastoje skaičiavimo sistemoje duomenys nėra šifruojami, kai jie aktyviai apdorojami. Tai palieka jautrius duomenis ir nuosavus modelius atskleistus nešifruotame tekste atmintyje ir prieinamus sistemos administratoriams, sukuriant nepriimtiną rizikos profilį šiuolaikiniams DI diegimams.

Konfidencialus skaičiavimas ir konteineriai: DI pasitikėjimo pagrindas

Konfidencialus skaičiavimas tampa esminiu šios gilios pasitikėjimo dilemos sprendimu. Jis iš esmės keičia saugumo aplinką, užtikrindamas, kad duomenys ir modeliai išliktų kriptografiškai apsaugoti per visą jų vykdymo gyvavimo ciklą, o ne tik ramybės būsenoje ar perdavimo metu. Tai pasiekiama naudojant aparatine įranga paremtas Patikimos vykdymo aplinkas (TEEs), kurios sukuria izoliuotas, šifruotas atminties sritis, kuriose gali vykti jautrūs skaičiavimai, neatskleidžiant jų prieglobos operacinei sistemai ar hipervizoriui.

Nors konfidencialus skaičiavimas suteikia esminį aparatinės įrangos pagrindą, Konfidencialūs Konteineriai (CoCo) įgyvendina šią saugumo paradigmą specialiai Kubernetes aplinkoms. CoCo leidžia Kubernetes pod'ams veikti šiose aparatine įranga paremtose TEEs, nereikalaujant jokių programos kodo pakeitimų ar perrašymų. Vietoj dalijimosi prieglobos branduoliu, kiekvienas pod'as skaidriai inkapsuliuojamas lengvoje, aparatine įranga izoliuotoje virtualioje mašinoje (VM), naudojant Kata Containers. Šis novatoriškas požiūris išsaugo esamas debesies gimtosios (cloud-native) darbo eigas ir įrankius, tuo pačiu užtikrindamas griežtas izoliacijos ribas, padidindamas saugumą, tačiau nekompromituodamas operacinio lankstumo.

Modelių teikėjams nuosavų modelių svorių vagystės grėsmė yra didžiausias rūpestis. CoCo tiesiogiai sprendžia šią problemą, efektyviai pašalindama prieglobos operacinę sistemą ir hipervizorių iš kritinės pasitikėjimo lygties. Kai DI modelis diegiamas konfidencialiame konteineryje, jis išlieka šifruotas. Tik po to, kai aparatinė įranga matematiškai patvirtina TEE anklavo vientisumą ir saugumą per procesą, žinomą kaip nuotolinis patvirtinimas, specializuota raktų brokerio paslauga (Key Broker Service, KBS) išleidžia reikiamą dešifravimo raktą. Šis raktas tuomet pristatomas išskirtinai į apsaugotą atmintį TEE viduje, užtikrinant, kad modelio svoriai niekada nebūtų atskleisti nešifruotame tekste prieglobos aplinkai, net ir itin privilegijuotiems administratoriams.

NVIDIA nulinio pasitikėjimo referencinė architektūra saugioms DI gamykloms

NVIDIA, bendradarbiaudama su atvirojo kodo Konfidencialių Konteinerių bendruomene, sukūrė išsamią referencinę architektūrą CoCo programinės įrangos rinkiniui. Šis planas apibrėžia standartizuotą, visą architektūros spektrą apimantį požiūrį, skirtą nulinio pasitikėjimo DI gamyklų kūrimui „bare-metal“ infrastruktūroje. Jame detaliai aprašoma, kaip integruoti pažangius aparatinės ir programinės įrangos komponentus, siekiant saugiai diegti ribinius modelius, apsaugant tiek jų jautrius duomenis, tiek intelektinę nuosavybę nuo atskleidimo prieglobos aplinkai.

Pagrindiniai šios tvirtos architektūros ramsčiai yra:

Ramstis	Aprašymas
Aparatinės įrangos patikimumo šaknis	Naudoja CPU patikimos vykdymo aplinkas (TEEs), suporuotas su NVIDIA konfidencialiais GPU (pvz., NVIDIA Hopper, NVIDIA Blackwell), skirtoms aparatine įranga pagreitintiems, atminties šifruotiems DI darbo krūviams.
Kata Containers vykdymo aplinka	Apgaubia standartinius Kubernetes pod'us lengvose, aparatine įranga izoliuotose paslaugų VM (UVMs), užtikrinant stiprią izoliaciją, o ne dalijimąsi prieglobos branduoliu.
Sustiprinta mikro-svečio aplinka	Naudoja be-distribucijos, minimalią svečio OS, turinčią apkarpytą šakninę failų sistemą ir NVIDIA Runtime Container (NVRC) saugiai inicijavimo sistemai, drastiškai sumažindama VM atakos paviršių.
Patvirtinimo paslauga	Kriptografiškai patvirtina aparatinės įrangos aplinkos vientisumą prieš išleidžiant jautrius modelio dešifravimo raktus ar paslaptis svečiui, dažnai naudojant raktų brokerio paslaugą (Key Broker Service, KBS).
Konfidencialaus darbo krūvio gyvavimo ciklas	Palengvina saugų užšifruotų ir pasirašytų atvaizdų (konteinerių, modelių, artefaktų) įkėlimą tiesiai į užšifruotą TEE atmintį, užkertant kelią atskleidimui ramybės būsenoje ar perdavimo metu, ir leidžia nustatyti smulkius sąsajos politikas.
Natyvi Kubernetes ir GPU Operator integracija	Leidžia valdyti visą sistemą naudojant standartinius Kubernetes primityvus ir NVIDIA GPU Operator, leidžiant „pakelti ir perkelti“ (lift-and-shift) DI programas be perrašymo.

Ši architektūra užtikrina, kad DI darbo krūviai gautų naudos iš NVIDIA GPU našumo, būdami inkapsuliuoti kriptografiškai apsaugotose ribose.

CoCo grėsmių modelio ir pasitikėjimo ribų supratimas DI saugume

Konfidencialūs Konteineriai (CoCo) veikia pagal griežtai apibrėžtą grėsmių modelį. Pagal šį modelį visas infrastruktūros sluoksnis – įskaitant prieglobos operacinę sistemą, hipervizorių ir potencialiai patį debesų paslaugų teikėją – yra laikomas iš esmės nepatikimu. Ši esminė prielaida yra kritiškai svarbi nulinio pasitikėjimo požiūriui.

Vietoj to, kad pasitikėtų infrastruktūros administratorių budrumu ar vientisumu, siekiant užtikrinti saugumo kontrolę, CoCo strategiškai perkelia pirminę pasitikėjimo ribą į aparatine įranga paremtas Patikimos vykdymo aplinkas (TEEs). Tai reiškia, kad DI darbo krūviai vykdomi užšifruotose, virtualizuotose aplinkose, kurių atminties turinys yra neįskaitomas prieglobai. Itin svarbu, kad jautrios paslaptys, pvz., modelio dešifravimo raktai, išleidžiamos tik po to, kai vykdymo aplinka kriptografiškai įrodė savo vientisumą ir autentiškumą nuotoliniu patvirtinimu.

Tačiau gyvybiškai svarbu suprasti tikslią šios apsaugos apimtį – ką CoCo saugo ir kas lieka už jos ribų.

Ką CoCo apsaugo

CoCo suteikia tvirtas konfidencialumo ir vientisumo garantijas vykdant DI darbo krūvius:

Duomenų ir modelio apsauga: Atminties šifravimas yra kertinis akmuo, neleidžiantis prieglobos aplinkai pasiekti jautrių duomenų, nuosavų modelio svorių ar išvadų duomenų, kol darbo krūvis aktyviai veikia TEE viduje.
Vykdymo vientisumas: Nuotolinis patvirtinimas vaidina kritinį vaidmenį, patvirtindamas, kad darbo krūvis tikrai veikia patikimoje, nepažeistoje aplinkoje su numatomais programinės įrangos matavimais, prieš išleidžiant bet kokias jautrias paslaptis ar modelio dešifravimo raktus.
Saugus atvaizdų ir saugojimo valdymas: Konteinerių atvaizdai įkeliami, patvirtinami ir išpakuojami tiesiogiai saugioje, šifruotoje svečio aplinkoje. Tai užtikrina, kad prieglobos infrastruktūra negali jokiu metu patikrinti ar pakeisti programos kodo ar vertingų modelio artefaktų.
Apsauga nuo prieglobos lygio prieigos: Architektūra efektyviai apsaugo darbo krūvius nuo privilegijuotų prieglobos veiksmų. Administraciniai derinimo įrankiai, atminties patikrinimas ar disko valymas prieglobos lygiu negali atskleisti konfidencialaus veikiančio DI darbo krūvio turinio.

Ko CoCo neapsaugo

Nors yra labai efektyvus, tam tikra rizika ir atakos vektoriai patenka už numatytosios CoCo architektūros apimties:

Programos pažeidžiamumai: CoCo užtikrina patikrintą ir konfidencialią vykdymo aplinką, tačiau ji savaime nepataiso ir neužkerta kelio pažeidžiamumams pačiame DI programos kode. Jei programoje yra klaida, dėl kurios nuteka duomenys arba vykdomas neteisingas apdorojimas, CoCo negali to sušvelninti.
Prieinamumo atakos: Pagrindinis CoCo dėmesys skiriamas konfidencialumui ir vientisumui. Jis tiesiogiai neužkerta kelio paslaugos atsisakymo (DoS) ar kitoms prieinamumo atakoms, kurių tikslas yra sutrikdyti paslaugą, o ne pavogti duomenis. Vis dar būtinos priemonės, tokios kaip perteklinė infrastruktūra ir tinklo lygio apsaugos.
Tinklo saugumas: Duomenys perdavimo metu, tinklo galinių taškų saugumas ir tinklo protokolų pažeidžiamumai patenka už tiesioginės TEE apsaugos ribų. Saugūs komunikacijos kanalai (pvz., TLS/SSL) ir tvirtas tinklo segmentavimas yra papildomi reikalavimai. Norėdami giliau suprasti DI saugumą, apsvarstykite strategijas, skirtas kenkėjiškų DI naudojimo būdų sutrikdymui.

Saugios DI ateities kūrimas

DI kelias nuo eksperimentavimo iki gamybos reikalauja paradigminio saugumo pokyčio. Įmonės ne tik diegia modelius; jos stato sudėtingas DI gamyklas, kurios dideliu mastu kuria intelektą. NVIDIA nulinio pasitikėjimo architektūra, pagrįsta konfidencialiais konteineriais ir aparatine įranga paremtomis TEEs, suteikia kritinį pagrindą šiai naujai erai. Kruopščiai sprendžiant būdingas pasitikėjimo dilemas ir teikiant tvirtas kriptografines garantijas, organizacijos gali užtikrintai diegti nuosavus modelius ir apdoroti jautrius duomenis, paspartindamos DI diegimą be kompromisų saugumui. Šis požiūris ne tik apsaugo intelektinę nuosavybę ir privačią informaciją, bet ir skatina naują pasitikėjimo lygį per visą DI kūrimo ir diegimo gyvavimo ciklą. Kadangi DI toliau vystosi, tokių pažangių saugumo sistemų integravimas bus nepaprastai svarbus, siekiant realizuoti visą jo transformacinį potencialą. Be to, vykstantis strateginis bendradarbiavimas tarp pramonės lyderių, pvz., AWS ir NVIDIA, gilinantys savo strateginį bendradarbiavimą, siekiant paspartinti DI, pabrėžia pramonės įsipareigojimą plėtoti saugius ir masto keitimo DI sprendimus.