АИ Агенти: Отпорност на Вбризгување на Наредби со Социјален Инженеринг

АИ агентите брзо ги прошируваат своите способности, од пребарување на интернет до пребарување сложени информации и извршување дејства во име на корисниците. Додека овие напредоци ветуваат невидена корисност и ефикасност, тие истовремено воведуваат софистицирани нови напаѓачки површини. Главна меѓу нив е вбризгувањето на наредби—метод каде злонамерни упатства се вградени во надворешна содржина, со цел да се манипулира со АИ модел да изврши ненамерни дејства. OpenAI истакнува критична еволуција во овие напади: тие сè повеќе имитираат тактики на социјален инженеринг, барајќи фундаментална промена во стратегиите за одбрана од едноставно филтрирање на влезни податоци до робусен системски дизајн.

Еволуирачка закана: Вбризгување на наредби и социјален инженеринг

Првично, нападите со вбризгување на наредби често беа едноставни, како што е вградување директни противнички команди во статија на Википедија која АИ агент може да ја обработи. Раните модели, на кои им недостасуваше искуство во такви противнички средини за време на тренирањето, беа склони да ги следат овие експлицитни упатства без прашање. Меѓутоа, како што АИ моделите созреаа и станаа пософистицирани, нивната ранливост на такви отворени сугестии се намали. Ова ги поттикна напаѓачите да развијат понуансирани методи кои вклучуваат елементи на социјален инженеринг.

Оваа еволуција е значајна бидејќи се движи надвор од едноставното идентификување на злонамерна низа. Наместо тоа, таа ги предизвикува АИ системите да се спротивстават на погрешна или манипулативна содржина во поширок контекст, слично како што човекот би се соочил со социјален инженеринг. На пример, напад со вбризгување на наредби во 2025 година, пријавен до OpenAI, вклучуваше создавање е-пошта која изгледаше безопасна, но содржеше вградени упатства дизајнирани да измамат АИ асистент да извлече чувствителни податоци за вработени и да ги достави до „систем за валидација на усогласеност“. Овој напад покажа 50% стапка на успех во тестирањето, покажувајќи ја ефикасноста на комбинирање на барања кои звучат легитимно со злонамерни директиви. Ваквите комплексни напади често ги заобиколуваат традиционалните „АИ заштитни ѕидови“, кои обично се обидуваат да ги класифицираат влезовите врз основа на едноставни хеуристики, бидејќи откривањето на овие нијансирани манипулации станува исто толку тешко како и распознавањето лага или дезинформација без целосен ситуациски контекст.

АИ агенти како човечки пандани: Лекции од одбраните од социјален инженеринг

За да се спротивстави на овие напредни техники за вбризгување на наредби, OpenAI усвои промена на парадигмата, гледајќи го проблемот низ призмата на човечкиот социјален инженеринг. Овој пристап препознава дека целта не е совршена идентификација на секој злонамерен влез, туку дизајнирање на АИ агенти и системи така што влијанието на манипулацијата е сериозно ограничено, дури и ако нападот делумно успее. Овој начин на размислување е аналоген на управувањето со ризиците од социјален инженеринг за човечки вработени во организација.

Размислете за човечки агент за услуги на клиенти на кој му е доверена способноста да издава поврат на средства или картички за подарок. Додека агентот се стреми да му служи на клиентот, тој континуирано е изложен на надворешни влезови—од кои некои може да бидат манипулативни, па дури и принудни. Организациите го ублажуваат овој ризик со имплементација на правила, ограничувања и детерминистички системи. На пример, агент за услуги на клиенти може да има ограничување на бројот на поврати на средства што може да ги издаде, или специфични процедури за обележување сомнителни барања. Слично на тоа, АИ агент, додека работи во име на корисник, мора да има вродени ограничувања и заштитни мерки. Со замислување на АИ агенти во рамките на овој „систем со три актери“ (корисник, агент, надворешен свет), каде што агентот мора да навигира низ потенцијално непријателски надворешни влезови, дизајнерите можат да изградат отпорност. Овој пристап признава дека некои напади неизбежно ќе се провлечат, но осигурува дека нивниот потенцијал за штета е минимизиран. Овој принцип ја поддржува робусната низа контрамерки применети од OpenAI.

Повеќеслојни одбрани на OpenAI во ChatGPT

OpenAI го интегрира овој модел на социјален инженеринг со традиционалните техники за безбедносно инженерство, особено „анализа на извор-слив“, во рамките на ChatGPT. Во оваа рамка, на напаѓачот му се потребни две клучни компоненти: „извор“ за инјектирање влијание (на пр., недоверлива надворешна содржина) и „слив“ за искористување на опасна способност (на пр., пренос на информации, следење злонамерна врска или интеракција со компромитирана алатка). Примарна цел на OpenAI е да ги одржи основните безбедносни очекувања: опасните дејства или преносот на чувствителни информации никогаш не треба да се случуваат тивко или без соодветни заштитни мерки.

Многу напади против ChatGPT се обидуваат да го измамат асистентот да извлече тајни конверзациски информации и да ги пренесе на злонамерна трета страна. Додека безбедносната обука на OpenAI често води кон тоа агентот да одбие такви барања, критична стратегија за ублажување за случаи каде агентот е убеден е Безбедна URL-адреса. Овој механизам е специјално дизајниран да открие кога информациите научени за време на разговор може да се пренесат на надворешна URL-адреса од трета страна. Во такви ретки случаи, системот или ги прикажува информациите на корисникот за експлицитна потврда или целосно го блокира преносот, поттикнувајќи го агентот да најде алтернативен, безбеден начин за исполнување на барањето на корисникот. Ова спречува ексфилтрација на податоци дури и ако агентот е моментално компромитиран. За понатамошни сознанија за заштита од интеракции со врски управувани од агенти, корисниците можат да се повикаат на посветениот блог пост, Keeping your data safe when an AI agent clicks a link.

Улогата на Безбедна URL-адреса и Песочна кутија во Агентски АИ

Механизмот Безбедна URL-адреса, дизајниран за откривање и контролирање на пренос на чувствителни податоци, го проширува својот заштитен дострел надвор од само кликови на врски. Слични заштитни мерки се применуваат на навигациите и обележувачите во Atlas и на функциите за пребарување и навигација во Deep Research. Овие апликации инхерентно вклучуваат АИ агенти кои комуницираат со огромни надворешни извори на податоци, што ги прави робусните контроли за излезни податоци од најголема важност.

Понатаму, агентските карактеристики како ChatGPT Canvas и ChatGPT Apps усвојуваат слична безбедносна филозофија. Кога агентите создаваат и користат функционални апликации, овие операции се ограничени во безбедна средина на песочна кутија. Оваа песочна кутија овозможува откривање на неочекувани комуникации или дејства. Клучно, секоја потенцијално чувствителна или неовластена интеракција предизвикува барање за експлицитна согласност од корисникот, осигурувајќи дека корисниците ја задржуваат крајната контрола над нивните податоци и однесувањето на агентот. Овој повеќеслоен пристап, комбинирајќи анализа на извор-слив со контекстуална свесност, согласност на корисникот и извршување во песочна кутија, формира робусна одбрана од еволуирачките напади со вбризгување на наредби и социјален инженеринг. За повеќе детали за тоа како овие агентски способности се операционализираат безбедно, погледнете ги дискусиите за операционализација на агентски АИ.

Идно-отпорни автономни агенти против противнички напади

Обезбедувањето безбедна интеракција со противничкиот надворешен свет не е само пожелна карактеристика, туку неопходна основа за развој на целосно автономни АИ агенти. Препораката на OpenAI за програмерите кои интегрираат АИ модели во нивните апликации е да размислат какви контроли би имал човечки агент во слична ситуација со висок ризик и да ги имплементираат тие аналогни ограничувања во АИ системот.

Додека аспирацијата е за максимално интелигентни АИ модели на крајот да се спротивстават на социјалниот инженеринг поефективно од човечките агенти, ова не е секогаш изводлива или исплатлива непосредна цел за секоја апликација. Затоа, дизајнирањето системи со вградени ограничувања и надзор останува клучно. OpenAI е посветена на континуирано истражување на импликациите на социјалниот инженеринг против АИ моделите и развивање напредни одбрани. Овие наоди се интегрирани и во нивните безбедносни архитектури за апликации и во тековните процеси на тренирање за нивните АИ модели, осигурувајќи проактивен и адаптивен пристап кон безбедноста на АИ во постојано еволуирачкиот пејзаж на закани. Оваа напредна стратегија има за цел да ги направи АИ агентите и моќни и инхерентно доверливи, одразувајќи ги напорите за подобрување на безбедноста низ целиот АИ екосистем, вклучувајќи иницијативи како попречување на злонамерните употреби на АИ.