Code Velocity
AI saugumas

OpenAI įsigyja Promptfoo, kad sustiprintų AI saugumą ir testavimą

·5 min skaitymo·OpenAI, Promptfoo·Originalus šaltinis
Dalintis
OpenAI ir Promptfoo logotipai, simbolizuojantys jų įsigijimą, siekiant pagerinti AI saugumą ir testavimą

OpenAI įsigyja Promptfoo, siekdama sustiprinti įmonių AI saugumą

San Franciskas, Kalifornija – 2026 m. kovo 10 d. – Atlikdama reikšmingą žingsnį, skirtą sustiprinti įmonėms skirto dirbtinio intelekto (AI) saugumą ir patikimumą, „OpenAI“ šiandien paskelbė įsigijusi „Promptfoo“ – pirmaujančią AI saugumo platformą. Šiuo strateginiu įsigijimu siekiama integruoti pažangias „Promptfoo“ testavimo ir vertinimo galimybes tiesiogiai į „OpenAI Frontier“ – bendrovės platformą, skirtą AI virtualių darbuotojų kūrimui ir veikimui. Įsigijimas, kuriam dar turi būti įvykdytos įprastinės uždarymo sąlygos, žymi esminį žingsnį sprendžiant didėjantį poreikį užtikrinti tvirtą AI saugumą, kadangi organizacijos vis dažniau diegia sudėtingus AI agentus į realius verslo procesus.

Kadangi AI sistemos, ypač agentinis AI, tampa vis autonomiškesnės ir giliau integruojamos į kritines operacijas, vertinimo, saugumo ir atitikties iššūkiai išaugo. Įmonėms reikalingos sisteminės metodikos, skirtos kruopščiai išbandyti agentų elgesį, nustatyti potencialias rizikas prieš diegimą ir tvarkyti išsamius įrašus nuolatinei priežiūrai, valdymui ir atskaitomybei. „Promptfoo“, atpažįstama dėl savo galingo įrankių rinkinio, kuriuo pasitiki daugiau nei 25 procentai „Fortune 500“ įmonių, siūlo būtent šias galimybes, kartu su plačiai naudojama atvirojo kodo komandų eilutės sąsaja (CLI) ir biblioteka didelių kalbos modelių (LLM) programų vertinimui ir raudonųjų komandų testavimui.

Pažangaus AI saugumo testavimo integravimas į „OpenAI Frontier“

Pagrindinis šio įsigijimo tikslas yra sklandžiai integruoti sudėtingas „Promptfoo“ saugumo funkcijas į „OpenAI Frontier“. „OpenAI Frontier“ sukurta siekiant suteikti įmonėms galimybę efektyviai kurti ir valdyti AI virtualius darbuotojus, o ši integracija žymiai pagerins jos pagrindinę saugumo padėtį. Srinivas Narayanan, „OpenAI“ B2B programų CTO, pabrėžė strateginę svarbą: „Promptfoo“ atneša gilią inžinerinę patirtį vertinant, užtikrinant saugumą ir testuojant AI sistemas įmonės mastu. Jų darbas padeda įmonėms diegti saugias ir patikimas AI programas, ir mes džiaugiamės galėdami šias galimybes integruoti tiesiogiai į „Frontier“.“

Integracija bus sutelkta į kelias kritines sritis, keičiančias įmonių požiūrį į AI kūrimą ir diegimą:

Pagrindiniai patobulinimai, atsirandantys integravus „Promptfoo“

Funkcijų sritisAprašymasNauda įmonėms
Vietinis saugumo ir patikimumo testavimasAutomatizuoto saugumo testavimo ir raudonųjų komandų testavimo galimybės, integruotos tiesiogiai į „Frontier“ platformą.Proaktyviai nustato ir pašalina rizikas, tokias kaip nurodymų injekcijos, saugumo apėjimas, duomenų nutekėjimas ir netinkamas įrankių naudojimas prieš diegimą.
Integruotos kūrimo darbo eigosGilus saugumo ir vertinimo įrankių integravimas į AI kūrimo gyvavimo ciklą.Leidžia anksčiau aptikti, tirti ir pašalinti agentų rizikas, padarant saugumą pagrindine kūrimo dalimi.
Patobulinta priežiūra ir atskaitomybėIntegruoto ataskaitų teikimo ir atsekamumo funkcijos, skirtos išsamiam AI sistemų dokumentavimui ir stebėsenai.Palaiko tvirtus valdymo, rizikos ir atitikties (GRC) reikalavimus, užtikrinant aiškius audito pėdsakus ir skaidrumą.
Atvirojo kodo tęstinumasNuolatinis „Promptfoo“ atvirojo kodo CLI ir bibliotekos kūrimas ir palaikymas.Skatina bendruomenės inovacijas ir teikia prieinamus įrankius LLM vertinimui ir raudonųjų komandų testavimui, naudingus platesnei kūrėjų bazei.

Šis išsamus požiūris užtikrina, kad saugumas būtų ne papildoma mintis, o neatsiejama AI kūrimo ir veikimo proceso dalis „Frontier“ ekosistemoje.

„Promptfoo“ įrodyta patirtis: saugaus AI pagrindas

Už „Promptfoo“ stovinti komanda, vadovaujama vienų iš įkūrėjų Iano Websterio ir Michaelo D’Angelo, įgijo reputaciją teikdama praktiškus ir efektyvius AI saugumo sprendimus. Jų atvirojo kodo indėlis buvo itin svarbus skatinant bendruomenės valdomą požiūrį į LLM elgesio vertinimą, o jų įmonėms skirti pasiūlymai pelnė ketvirtadalio „Fortune 500“ įmonių pasitikėjimą.

Ianas Websteris išsakė „Promptfoo“ varomąją jėgą ir susijaudinimą dėl šio naujo skyriaus: „Mes pradėjome „Promptfoo“, nes kūrėjams reikėjo praktiško būdo apsaugoti AI sistemas. Kadangi AI agentai vis labiau jungiasi su realiais duomenimis ir sistemomis, jų apsauga ir patvirtinimas yra sudėtingesnis ir svarbesnis nei bet kada anksčiau. Prisijungimas prie „OpenAI“ leidžia mums paspartinti šį darbą, suteikiant stipresnes saugumo, patikimumo ir valdymo galimybes komandoms, kuriančioms realaus pasaulio AI sistemas.“ Šis požiūris pabrėžia bendrą abiejų įmonių viziją – tobulinti saugų ir patikimą AI.

Kritinių AI rizikų sprendimas: nuo nurodymų injekcijų iki duomenų nutekėjimo

Integracija tiesiogiai spręs kai kurias aktualiausias AI saugumo problemas šiandien. Automatizuoto saugumo testavimo ir raudonųjų komandų testavimo galimybės taps neatsiejama „OpenAI Frontier“ dalimi, leidžiančia įmonėms proaktyviai nustatyti ir sušvelninti daugybę pažeidžiamumų, įskaitant:

  • Nurodymų injekcijos: Kenkėjiški įvesties duomenys, skirti manipuliuoti AI elgesiu arba išvestimi. Čia labai svarbu suprasti geriausią praktiką, susijusią su nurodymų inžinerija naudojant OpenAI API, o „Promptfoo“ įrankiai automatizuos tokių pažeidžiamumų aptikimą.
  • Saugumo apėjimai: Metodai, naudojami apeiti AI būdingus saugumo mechanizmus ir etines gaires.
  • Duomenų nutekėjimai: Neteisėtas jautrios informacijos, apdorojamos AI agentų, atskleidimas ar prieiga prie jos. Išlaikyti tvirtą įmonės privatumą tampa dar svarbiau, kai naudojamas agentinis AI.
  • Įrankių piktnaudžiavimas: Užtikrinimas, kad AI agentai sąveikautų su išoriniais įrankiais ir sistemomis tik numatytais ir saugiais būdais.
  • Nuo politikos nukrypstantis agentų elgesys: Aptikimas, kai AI agentas nukrypsta nuo nustatytų veiklos gairių ar etinių ribų.

Integruojant šias galimybes tiesiogiai į kūrimo darbo eigas, įmonės gali daug anksčiau nustatyti, tirti ir pašalinti agentų rizikas, skatinant „saugumo pagal projektą“ paradigmą AI sistemoms.

AI valdymo ir atskaitomybės gerinimas įmonėms

AI agentų plitimas verslo aplinkoje reikalauja griežtų valdymo, rizikos ir atitikties (GRC) sistemų. Patobulinta „OpenAI Frontier“ platforma žymiai sustiprins organizacijos gebėjimą patenkinti šiuos reikalavimus. Integruotos ataskaitų teikimo ir atsekamumo funkcijos bus itin svarbios, padedančios organizacijoms:

  • Dokumentuoti testavimą: Tvarkyti aiškius ir audituojamus visų saugumo testavimo ir vertinimo veiklų įrašus.
  • Stebėti pokyčius: Stebėti, kaip AI sistemos elgesys keičiasi laikui bėgant, ir įvertinti atnaujinimų ar modifikacijų poveikį saugumo padėčiai.
  • Atitikti atitikties reikalavimus: Patenkinti augančius reguliavimo reikalavimus AI skaidrumui, saugumui ir etiniam diegimui įvairiose pramonės šakose.

Šis dėmesys išsamiai priežiūrai ir atskaitomybei suteiks įmonėms galimybę diegti AI virtualius darbuotojus su didesniu pasitikėjimu, žinant, kad jos gali įrodyti atitiktį vidinėms politikoms ir išoriniams reglamentams.

Saugios agentinio AI plėtros ateitis

„Promptfoo“ įsigijimas „OpenAI“ reiškia tvirtą įsipareigojimą tobulinti saugaus ir patikimo AI ribas. Sujungus „OpenAI“ pažangiausius AI modelius ir platformos galimybes su „Promptfoo“ specializuota patirtimi AI saugumo testavimo srityje, pramonė yra pasirengusi naujai įmonių AI diegimo erai, kurioje saugumas ir pasitikėjimas yra integruoti nuo pat pradžių.

Vykstant įsigijimo užbaigimui, bendros abiejų komandų pastangos žada sukurti platformą, kuri ne tik leidžia kurti novatoriškas AI programas, bet ir užtikrina, kad jos veiktų pagal aukščiausius saugumo, etikos ir atskaitomybės standartus. Ši strateginė sąjunga paspartins kelionę link ateities, kurioje AI virtualūs darbuotojai galės būti sklandžiai ir saugiai integruoti į kiekvieną įmonės veiklos aspektą.

Dažniausiai užduodami klausimai

What is Promptfoo, and what problem does it solve for AI development?
Promptfoo is an advanced AI security platform specializing in identifying and remediating vulnerabilities within AI systems during their development lifecycle. It provides a comprehensive suite of tools, including a widely used open-source CLI and library, for evaluating and red-teaming Large Language Model (LLM) applications. The platform directly addresses the critical challenge of ensuring AI safety, security, and compliance as enterprises increasingly deploy sophisticated AI agents and coworkers into real-world workflows. By enabling systematic testing of agent behavior, detection of risks pre-deployment, and maintenance of clear audit trails, Promptfoo helps businesses build and operate secure, reliable, and accountable AI solutions, mitigating potential issues like prompt injections, jailbreaks, and data leaks before they impact operations.
Why is OpenAI acquiring Promptfoo, and what is the strategic significance?
OpenAI's acquisition of Promptfoo is a strategic move to significantly accelerate its agentic security testing and evaluation capabilities, particularly within its OpenAI Frontier platform. The acquisition underscores OpenAI's commitment to enabling safe and secure deployment of enterprise-grade AI. As AI coworkers become more integrated into critical business processes, the need for robust security, evaluation, and compliance frameworks becomes paramount. By bringing Promptfoo's proven expertise and tools in-house, OpenAI aims to provide enterprises with native, comprehensive solutions for identifying and remediating AI risks such as prompt injections, jailbreaks, and data leaks. This integration is crucial for fostering trust, ensuring governance, and meeting regulatory demands for AI deployments at scale.
What is OpenAI Frontier, and how does Promptfoo enhance its capabilities?
OpenAI Frontier is OpenAI's dedicated platform designed for enterprises to build, deploy, and operate AI coworkers effectively and securely within their existing ecosystems. It serves as the operational backbone for integrating advanced AI into real-world business workflows. With the acquisition of Promptfoo, Frontier will gain significantly enhanced, native capabilities in AI security testing, evaluation, and governance. Promptfoo's technology will integrate automated security testing and red-teaming directly into the Frontier platform, empowering enterprises to proactively identify and remediate critical risks like prompt injections, jailbreaks, and out-of-policy agent behaviors. This strategic addition transforms Frontier into an even more robust and trustworthy platform for developing and managing secure, compliant, and accountable AI solutions at scale.
How will Promptfoo's technology be integrated into OpenAI Frontier for enterprises?
Promptfoo's technology will be deeply integrated into OpenAI Frontier, becoming a native and foundational component for enterprise AI development and operations. This integration will manifest in several key ways: automated security testing and red-teaming capabilities will be built directly into the platform, allowing for continuous identification and remediation of risks such as prompt injections, jailbreaks, and data leaks. Furthermore, these security and evaluation tools will be seamlessly woven into enterprise development workflows, enabling the identification and remediation of agent risks earlier in the lifecycle. Finally, integrated reporting and traceability features will be enhanced, providing comprehensive documentation of testing, monitoring of changes, and support for robust AI governance, risk, and compliance requirements.
What specific AI security risks will the integrated OpenAI Frontier platform address?
The integrated OpenAI Frontier platform, powered by Promptfoo's technology, will directly address a range of critical AI security risks that are increasingly relevant for enterprise deployments. These include prompt injections, where malicious inputs manipulate an AI's behavior; jailbreaks, which bypass safety mechanisms; data leaks, preventing unauthorized access or exposure of sensitive information; tool misuse, ensuring AI agents only interact with approved tools as intended; and out-of-policy agent behaviors, guaranteeing that AI actions align with organizational guidelines and ethical standards. By automating the detection and remediation of these vulnerabilities, the platform aims to significantly enhance the safety, reliability, and trustworthiness of AI coworkers operating within enterprise environments.
Will the open-source Promptfoo project continue after the acquisition?
Yes, the open-source Promptfoo project, which includes its widely used CLI and library for evaluating and red-teaming LLM applications, will indeed continue to be supported and developed even after the acquisition by OpenAI. Both OpenAI and the Promptfoo team, led by co-founder Ian Webster, have committed to continuing to build on the open-source project. This commitment ensures that the broader developer community will still benefit from Promptfoo's innovative tools, while its integrated enterprise capabilities will be further advanced within OpenAI's Frontier platform. This dual approach allows for both community-driven innovation and enterprise-focused security solutions.
What are the primary benefits for enterprises using the enhanced OpenAI Frontier platform?
Enterprises utilizing the enhanced OpenAI Frontier platform will gain significant advantages in deploying and managing AI coworkers. Key benefits include dramatically improved security posture through automated testing and red-teaming, proactively identifying vulnerabilities like prompt injections and data leaks before deployment. The deep integration of security into development workflows will enable earlier risk detection and remediation, making security an inherent part of AI system development. Furthermore, comprehensive oversight and accountability features, including integrated reporting and traceability, will help organizations meet stringent governance, risk and compliance (GRC) requirements. This ensures secure, reliable, and compliant AI deployments, fostering trust and enabling responsible scaling of AI within complex organizational structures.

Būkite informuoti

Gaukite naujausias AI naujienas el. paštu.

Dalintis