Code Velocity
Sigurnost AI-ja

Sigurnost AI agenata: GitHub-ova Igra sigurnog koda usavršava agentske AI vještine

·7 min čitanja·GitHub·Izvorni izvor
Podijeli
Stilizirana slika koja prikazuje hakerski pogled na kod AI agenta, predstavljajući obuku iz sigurnosti agentske umjetne inteligencije unutar GitHub-ove Igre sigurnog koda.

title: "Sigurnost AI agenata: GitHub-ova Igra sigurnog koda usavršava agentske AI vještine" slug: "hack-the-ai-agent-build-agentic-ai-security-skills-with-the-github-secure-code-game" date: "2026-04-17" lang: "hr" source: "https://github.blog/security/hack-the-ai-agent-build-agentic-ai-security-skills-with-the-github-secure-code-game/" category: "Sigurnost AI-ja" keywords:

  • Sigurnost AI agenata
  • Sigurnost umjetne inteligencije
  • GitHub Secure Code Game
  • Obuka iz kibernetičke sigurnosti
  • Sigurno kodiranje
  • OWASP Top 10 for Agentic Applications
  • AI agenti
  • Procjena ranjivosti
  • GitHub Codespaces
  • Edukacija o sigurnosti
  • Sigurnost inženjeringa upita
  • Sigurnosne vještine developera meta_description: "Istražite četvrtu sezonu GitHub-ove Igre sigurnog koda kako biste razvili ključne agentske AI sigurnosne vještine. Naučite prepoznati i popraviti ranjivosti u autonomnim AI agentima poput ProdBota u ovoj interaktivnoj, besplatnoj obuci." image: "/images/articles/hack-the-ai-agent-build-agentic-ai-security-skills-with-the-github-secure-code-game.png" image_alt: "Stilizirana slika koja prikazuje hakerski pogled na kod AI agenta, predstavljajući obuku iz sigurnosti agentske umjetne inteligencije unutar GitHub-ove Igre sigurnog koda." quality_score: 94 content_score: 93 seo_score: 95 companies:
  • GitHub schema_type: "NewsArticle" reading_time: 7 faq:
  • question: "Trebam li iskustvo s umjetnom inteligencijom ili kodiranjem za igranje 4. sezone Igre sigurnog koda?" answer: "Ne, prethodno iskustvo s umjetnom inteligencijom ili kodiranjem nije potrebno za sudjelovanje u 4. sezoni GitHub-ove Igre sigurnog koda. Cjelokupno iskustvo osmišljeno je da bude dostupno kroz interakcije prirodnog jezika unutar sučelja naredbenog retka (CLI). Igrači jednostavno koriste običan engleski, ili bilo koji preferirani jezik, za davanje uputa ProdBotu, a bot odgovara u skladu s tim. Glavni uvjet je znatiželja i spremnost na eksperimentiranje. Ovaj pristup omogućuje developerima, sigurnosnim stručnjacima, pa čak i onima novima u AI-u ili programiranju da se usredotoče na razvoj ključnih sigurnosnih instinkata i razumijevanje obrazaca napada, umjesto da se opterećuju složenom sintaksom ili naprednim AI konceptima. Igra vas uči razmišljati poput napadača istražujući ranjivosti putem intuitivnih naredbi, čineći je 'zanimljivim i učinkovitim alatom za učenje za široku publiku'."
  • question: "Je li obavezno završiti prethodne sezone prije nego što se upustite u 4. sezonu?" answer: "Ne, dovršavanje prethodnih sezona Igre sigurnog koda nije preduvjet za igranje 4. sezone. Svaka je sezona osmišljena kao samostalna, što igračima omogućuje da odmah uskoče u najnovije izazove bez prethodnog znanja o ranijem sadržaju. Međutim, valja napomenuti da se 3. sezona posebno fokusirala na sigurnost velikih jezičnih modela (LLM), pokrivajući teme poput stvaranja zlonamjernih upita i obrane od njih. Ovaj temelj u općoj sigurnosti AI-ja može biti vrlo koristan za razumijevanje šireg konteksta ranjivosti agentske umjetne inteligencije, budući da agentski sustavi često uključuju LLM-ove. Iako nije obavezno, igrači zainteresirani za izgradnju sveobuhvatnog razumijevanja sigurnosti AI-ja mogli bi smatrati 3. sezonu korisnim, iako opcionalnim, pripremnim iskustvom, koje obično traje oko 1.5 sat."
  • question: "Koje je približno trajanje potrebno za dovršetak 4. sezone?" answer: "Procijenjeno vrijeme za dovršetak 4. sezone Igre sigurnog koda je otprilike dva sata. Međutim, ovo trajanje može značajno varirati ovisno o individualnom stilu igre i dubini istraživanja. Neki igrači bi mogli brže napredovati kroz razine, dok bi drugi mogli odlučiti dublje zaroniti u svaki izazov, eksperimentirajući s više pristupa za iskorištavanje ranjivosti i razumijevanje temeljnih mehanizama. Igra potiče temeljito istraživanje i 'hakerski mentalitet', gdje je isprobavanje različitih naredbi i pomicanje granica ProdBotovih mogućnosti dio procesa učenja. Stoga, igrači koji se upuste u opsežnije eksperimentiranje mogli bi provesti više vremena, u konačnici stječući bogatije razumijevanje sigurnosti agentske umjetne inteligencije."
  • question: "Je li sudjelovanje u 4. sezoni GitHub-ove Igre sigurnog koda besplatno?" answer: "Da, 4. sezona Igre sigurnog koda potpuno je besplatna za igranje. To je inicijativa otvorenog koda tvrtke GitHub, osmišljena da pruži dostupnu i zanimljivu obuku iz kibernetičke sigurnosti. Igra se u potpunosti odvija unutar GitHub Codespacesa, razvojnog okruženja temeljenog na oblaku koje nudi do 60 sati besplatnog korištenja mjesečno. To znači da igrači ne moraju instalirati nikakav softver lokalno, konfigurirati složena razvojna okruženja ili snositi bilo kakve troškove povezane sa samom platformom, pod uvjetom da ostanu unutar besplatnog paketa Codespacesa. Ova postavka čini nevjerojatno jednostavnim i isplativim za svakoga tko ima GitHub račun da se odmah uključi i počne usavršavati svoje agentske AI sigurnosne vještine, bez financijskih prepreka."
  • question: "Postoje li ograničenja brzine (rate limits) prilikom igranja 4. sezone i kako ona utječu na igrivost?" answer: "Da, 4. sezona Igre sigurnog koda koristi GitHub modele za svoje AI mogućnosti, koje podliježu specifičnim ograničenjima brzine (rate limits). Ova su ograničenja postavljena kako bi se osiguralo odgovorno korištenje temeljne AI infrastrukture i spriječila zlouporaba. Ako igrač naiđe na ograničenje brzine tijekom igre, ProdBot će ga obavijestiti da je privremeno prekoračio dopušteni broj zahtjeva. U takvim slučajevima, preporučena radnja je jednostavno pričekati da se ograničenje brzine resetira, nakon čega se igra može neometano nastaviti tamo gdje je stala. GitHub pruža dokumentaciju o odgovornom korištenju GitHub modela, uključujući pojedinosti o ograničenjima brzine, kako bi pomogao igračima da razumiju te operativne parametre i u skladu s tim planiraju svoju igru. To osigurava pošteno i održivo okruženje za sve sudionike."

Sigurnost agentske umjetne inteligencije: Unaprijedite svoju obranu uz GitHub-ovu Igru sigurnog koda

Brza evolucija umjetne inteligencije nastavlja preoblikovati naš digitalni krajolik. Nedavno su alati poput OpenClawa, osobnog AI asistenta otvorenog koda, zarobili maštu, obećavajući čišćenje pretinaca e-pošte, upravljanje kalendarima, pregledavanje weba, pa čak i pisanje vlastitih dodataka. Iako je potencijal takvih autonomnih AI agenata nedvojbeno transformativan, on također postavlja kritično pitanje: što se događa kada ova moć padne u zlonamjerne ruke? Što ako agent bude prevaren da pristupi neovlaštenim datotekama, obrađuje zlonamjerni web sadržaj ili slijepo vjeruje oštećenim podacima unutar radnog tijeka s više agenata?

Ove goruće sigurnosne brige upravo su ono što GitHub nastoji riješiti 4. sezonom svoje hvaljene Igre sigurnog koda. Nadovezujući se na svoju misiju da sigurnosnu obuku učini zanimljivom i dostupnom, ovo najnovije izdanje izaziva developere i sigurnosne entuzijaste da 'hakiraju AI agenta', čime izgrađuju vitalne agentske AI sigurnosne vještine.

Igra sigurnog koda: Platforma koja se razvija za vještine kibernetičke sigurnosti

Od svog početka u ožujku 2023., Igra sigurnog koda nudi jedinstveno iskustvo učenja unutar editora, gdje igrači iskorištavaju, a zatim popravljaju namjerno ranjiv kod. Osnovna filozofija – učiniti sigurnosnu obuku zabavnom – ostala je konstantna, razvijajući se zajedno s krajolikom prijetnji.

Sezona 1 upoznala je developere s temeljnim praksama sigurnog kodiranja, nudeći praktičan pristup identificiranju i krpanju ranjivosti. Sezona 2 proširila je ove izazove na okruženja s više slojeva (multi-stack), potičući doprinose zajednice u popularnim jezicima poput JavaScripta, Pythona, Goa i GitHub Actionsa. Prepoznajući rastuću važnost umjetne inteligencije, Sezona 3 prebacila se na sigurnost velikih jezičnih modela (LLM), učeći igrače kako kreirati i braniti se od zlonamjernih upita. Preko 10.000 developera iskoristilo je ovu platformu za izoštravanje svoje sigurnosne oštroumnosti, prilagođavajući se novim izazovima kako tehnologija napreduje.

Sada, s AI pomoćnicima za kodiranje koji postaju uobičajeni i autonomnim AI agentima koji se kreću od istraživačkih prototipova do proizvodnje, Sezona 4 se bavi sljedećom granicom: sigurnošću agentskih AI sustava. Ovi sustavi, sposobni za autonomno pregledavanje weba, API pozive i koordinaciju više agenata, predstavljaju novu klasu vektora napada koji zahtijevaju specijalizirano razumijevanje i obrambene strategije. Za one koji žele produbiti svoje razumijevanje osnova sigurnosti AI-ja, istraživanje resursa poput Operacionalizacija agentske umjetne inteligencije: 1. dio - Vodič za dionike može pružiti vrijedan kontekst.

Zašto je sigurnost agentske umjetne inteligencije kritičan imperativ

Vrijeme za posvećenu obuku o sigurnosti agentske umjetne inteligencije nije slučajno. Usvajanje autonomnih AI agenata se ubrzava, ali sigurnosna spremnost kritično zaostaje. Nedavna izvješća industrije ističu ovaj sve veći jaz:

  • OWASP Top 10 za agentske aplikacije 2026., razvijen uz doprinos preko 100 sigurnosnih istraživača, sada navodi prijetnje poput otmice cilja agenta, zlouporabe alata, zlouporabe identiteta i trovanja memorije kao glavne zabrinutosti.
  • Anketa Dark Readinga otkrila je da 48% stručnjaka za kibernetičku sigurnost predviđa da će agentska umjetna inteligencija postati primarni vektor napada do kraja 2026. godine.
  • Ciscovo izvješće 'Stanje sigurnosti AI-ja 2026.' alarmantno je otkrilo da, dok 83% organizacija planira implementirati agentske AI mogućnosti, samo 29% se osjeća spremnim to učiniti sigurno.

Ova oštra razlika stvara plodno tlo za ranjivosti. Najučinkovitiji način za premošćivanje ovog jaza i učvršćivanje sustava jest naučiti razmišljati poput napadača – princip koji podupire cijelo iskustvo Igre sigurnog koda. Razumijevanje kako iskoristiti ove sustave prvi je korak prema izgradnji robusne obrane. Dodatni uvidi u osiguravanje AI sustava mogu se pronaći u raspravama oko Dizajniranja agenata da se odupru 'Prompt Injectionu'.

Predstavljamo ProdBota: Vaš namjerno ranjivi AI asistent

Sezona 4 Igre sigurnog koda stavlja igrače u ulogu napadača koji cilja ProdBota, namjerno ranjivog AI asistenta usmjerenog na produktivnost za vaš terminal. Inspiriran stvarnim alatima poput OpenClawa i GitHub Copilot CLI-ja, ProdBot prevodi prirodni jezik u bash naredbe, navigira simuliranim webom, komunicira s MCP (Model Context Protocol) poslužiteljima, izvršava odobrene vještine, održava trajnu memoriju i orkestrira složene radne tijekove s više agenata.

Misija igrača kroz pet progresivnih razina je zavaravajuće jednostavna: koristiti upite prirodnog jezika kako bi se ProdBota prisililo da otkrije tajnu koju nikada ne bi smio izložiti – konkretno, sadržaj password.txt. Uspješno dohvaćanje ove datoteke označava otkrivanje i iskorištavanje sigurnosne ranjivosti. Nije potrebno prethodno AI ili iskustvo kodiranja; potrebna je samo znatiželja i spremnost na eksperimentiranje jer se sve interakcije odvijaju putem prirodnog jezika unutar CLI-ja.

Progresivne ranjivosti: Ovladavanje agentskom napadačkom površinom

Igra sigurnog koda Sezona 4 strukturirana je tako da odražava evoluciju AI alata u stvarnom svijetu. Svaka od pet razina uvodi nove mogućnosti ProdBotu, istovremeno izlažući nove napadačke površine koje igrači mogu otkriti i iskoristiti. Ova inkrementalna složenost pomaže igračima razumjeti kako se ranjivosti akumuliraju i mijenjaju kako AI agenti stječu više autonomije i pristupa.

Evo pregleda ProdBotove evolucije i odgovarajućih sigurnosnih izazova:

RazinaNova sposobnost ProdBotaNapadačka površina i izazov
1Izvršavanje Bash naredbi u sandboxed radnom prostoru.Izlazak iz sandboxed okruženja.
2Web pristup simuliranom internetu.Iskorištavanje ranjivosti uvedenih nepouzdanim web sadržajem.
3Povezivanje s vanjskim MCP poslužiteljima (burzovni podaci, pregledavanje weba, sigurnosna kopija u oblaku).Identificiranje slabosti u integraciji alata i interakciji s vanjskim uslugama.
4Vještine odobrene od organizacije i trajna memorija.Zaobilaženje slojeva povjerenja, iskorištavanje unaprijed izgrađenih dodataka ili manipulacija memorijom.
5Orkestracija šest specijaliziranih agenata, tri MCP poslužitelja, tri vještine i simulirane web stranice projekta otvorenog koda.Testiranje tvrdnji o sandboxing agentima i prethodnoj provjeri podataka u složenom okruženju s više agenata.

Ovaj napredak osmišljen je za izgradnju intuitivnog razumijevanja sigurnosnih rizika agentske umjetne inteligencije. Obrasci napada otkriveni u 4. sezoni nisu teorijski; oni predstavljaju stvarne prijetnje s kojima se sigurnosni timovi trenutno suočavaju dok se autonomni AI sustavi implementiraju u produkcijska okruženja. Glavni primjer je CVE-2026-25253 (CVSS 8.8 – visoko), nazvan 'ClawBleed', ranjivost daljinskog izvršavanja koda (RCE) jednim klikom koja je napadačima omogućila krađu autentifikacijskih tokena putem zlonamjerne poveznice, čime su stekli potpunu kontrolu nad instancom OpenClawa.

Krajnji cilj nadilazi puko otkrivanje specifičnog iskorištavanja. Radi se o razvijanju inherentnog sigurnosnog instinkta – sposobnosti prepoznavanja ovih opasnih obrazaca bilo prilikom pregleda arhitekture agenta, revizije integracija alata ili određivanja odgovarajuće razine autonomije za AI asistenta u vašem timu. Radi se o razumijevanju kako izgraditi sigurnije agentske radne tijekove, tema koja je detaljnije razrađena u raspravama o Razvoju vođenom agentima u Copilot Applied Science.

Počnite i izoštrite svoje sigurnosne instinkte za umjetnu inteligenciju danas

Jedan od najprivlačnijih aspekata Igre sigurnog koda je njezina dostupnost. Cijelo iskustvo odvija se unutar GitHub Codespacesa, eliminirajući potrebu za bilo kakvim lokalnim instalacijama ili složenim konfiguracijama. Uz do 60 sati besplatnog korištenja mjesečno koje pruža Codespaces, igrači mogu zaroniti u ProdBotov terminal za manje od dvije minute, potpuno besplatno. Svaka sezona je samostalna, što igračima omogućuje da odmah uskoče u 4. sezonu bez da su završili prethodne, iako 3. sezona nudi korisne temelje u općoj sigurnosti umjetne inteligencije.

Sve što vam treba je hakerski mentalitet i spremnost na eksperimentiranje. Budućnost umjetne inteligencije sve je više agentska, a razumijevanje njezinih sigurnosnih implikacija više nije opcija.

Spremni hakirati AI agenta i izgraditi svoje agentske AI sigurnosne vještine? Započnite 4. sezonu sada >

Posebna zahvala Rahulu Zhadeu, Staff Product Security Engineeru u GitHubu, i Bartoszu Gałeku, tvorcu 3. sezone, na njihovom neprocjenjivom doprinosu testiranju i poboljšanju 4. sezone.

Često postavljana pitanja

Do I need AI or coding experience to play Season 4 of the Secure Code Game?
No, prior AI or coding experience is not necessary to participate in Season 4 of the GitHub Secure Code Game. The entire experience is designed to be accessible through natural language interactions within a command-line interface (CLI). Players simply use plain English, or any preferred language, to prompt ProdBot, and the bot responds accordingly. The primary requirement is curiosity and a willingness to experiment. This approach allows developers, security professionals, and even those new to AI or programming to focus on developing crucial security instincts and understanding attack patterns, rather than getting bogged down in complex syntax or advanced AI concepts. The game teaches you to think like an attacker by exploring vulnerabilities through intuitive commands, making it an an engaging and effective learning tool for a broad audience.
Is it mandatory to complete previous seasons before diving into Season 4?
No, completing the previous seasons of the Secure Code Game is not a prerequisite for playing Season 4. Each season is designed to be self-contained, allowing players to jump directly into the latest challenges without prior knowledge of earlier content. However, it's worth noting that Season 3 specifically focused on Large Language Model (LLM) security, covering topics like crafting malicious prompts and defending against them. This foundation in general AI security can be quite beneficial for understanding the broader context of agentic AI vulnerabilities, as agentic systems often incorporate LLMs. While not required, players interested in building a comprehensive understanding of AI security might find Season 3 to be a helpful, though optional, preparatory experience, typically taking around 1.5 hours to complete.
What is the approximate duration required to complete Season 4?
The estimated time to complete Season 4 of the Secure Code Game is approximately two hours. However, this duration can vary significantly based on individual playstyle and depth of exploration. Some players might progress through the levels more quickly, while others may choose to delve deeper into each challenge, experimenting with multiple approaches to exploit vulnerabilities and understand the underlying mechanisms. The game encourages thorough exploration and a 'hacker mindset,' where trying different commands and pushing the boundaries of ProdBot's capabilities is part of the learning process. Therefore, players who engage in more extensive experimentation might spend more time, ultimately gaining a richer understanding of agentic AI security.
Is participation in the GitHub Secure Code Game Season 4 free of charge?
Yes, Season 4 of the Secure Code Game is completely free to play. It is an open-source initiative by GitHub, designed to provide accessible and engaging cybersecurity training. The game runs entirely within GitHub Codespaces, a cloud-based development environment that offers up to 60 hours of free usage per month. This means there's no need for players to install any software locally, configure complex development environments, or incur any costs related to the platform itself, as long as they stay within the free Codespaces tier. This setup makes it incredibly easy and cost-effective for anyone with a GitHub account to jump in and start honing their agentic AI security skills immediately, without financial barriers.
Are there any rate limits when playing Season 4, and how do they impact gameplay?
Yes, Season 4 of the Secure Code Game utilizes GitHub Models for its AI capabilities, which are subject to specific rate limits. These limits are in place to ensure responsible use of the underlying AI infrastructure and to prevent abuse. If a player encounters a rate limit during gameplay, ProdBot will inform them that they have temporarily exceeded the allowed number of requests. In such cases, the recommended action is to simply wait for the rate limit to reset, after which gameplay can be seamlessly resumed from where it left off. GitHub provides documentation on the responsible use of GitHub Models, including details on rate limits, to help players understand these operational parameters and plan their gameplay accordingly. This ensures a fair and sustainable environment for all participants.

Budite u toku

Primajte najnovije AI vijesti na e-mail.

Podijeli