SageMaker AI: Pospeševanje klicanja agentnih orodij z brezstrežniško prilagoditvijo

Agentna umetna inteligenca (AI) je revolucionirala naše razmišljanje o avtomatiziranih nalogah, saj sistemom omogoča sprejemanje odločitev in interakcijo s svetom preko specializiranih orodij. Vendar pa je resnična uporabnost AI agentov v produkciji odvisna od njihove zmožnosti zanesljivega izvajanja klicanja agentnih orodij. Tako agenti poizvedujejo po bazah podatkov, sprožajo kompleksne delovne tokove, pridobivajo podatke v realnem času in odločno ukrepajo v imenu uporabnika. Na žalost je pogosta ovira za širšo uporabo bila nagnjenost osnovnih velikih jezikovnih modelov (LLM), da halucinirajo orodja, posredujejo napačne parametre ali poskušajo izvesti dejanja, ko je potrebno pojasnilo. Takšne napake zmanjšujejo zaupanje in bistveno ovirajo produkcijsko uvedbo.

Amazon SageMaker AI se loteva reševanja teh kritičnih izzivov. Z brezstrežniško prilagoditvijo modelov lahko razvijalci fino uglasijo LLM-je za robustno klicanje agentnih orodij brez običajnih operativnih stroškov. Ključnega pomena za to inovacijo je učenje z ojačitvami z preverljivimi nagradami (RLVR), tehnika, ki modelom omogoča generiranje in potrjevanje lastnih odgovorov, s čimer se učijo dajati prednost uspešnim interakcijam z orodji. Ta objava podrobneje opisuje, kako SageMaker AI z uporabo RLVR dramatično izboljšuje zanesljivost agenta, kar prikazuje 57-odstotno izboljšanje nagrade za klic orodja v nepredvidenih scenarijih s fino uglašenim modelom Qwen 2.5 7B Instruct.

Obljube in nevarnosti klicanja agentnih orodij

Koncept AI agentov, ki interagirajo z zunanjimi sistemi prek orodij, je temelj naprednih AI aplikacij. Predstavljajte si agenta, ki lahko rezervira lete, povzema dokumente iz baze podatkov ali celo izvaja kodo na podlagi naravnega jezikovnega poziva. Ta funkcionalnost je natančno tisto, kar omogoča klicanje agentnih orodij. Vendar je pot do zanesljive uporabe orodij polna izzivov.

Osnovni LLM-ji, čeprav so močni pri generiranju jezika, pogosto nimajo niansiranega razumevanja, potrebnega za natančno priklic orodja. Lahko bi sklepali na orodje, ki ne obstaja, napačno razlagali uporabnikov namen, kar bi vodilo do napačnih vrednosti parametrov, ali ne bi prepoznali, kdaj manjkajo kritične informacije. Te napake vodijo do frustrirajočih uporabniških izkušenj in tvegane uvedbe na ravni podjetja. Za organizacije, ki želijo učinkovito operacionalizirati AI agente, je zagotavljanje predvidljivega in zanesljivega izvajanja orodij izjemno pomembno. Vložki so visoki, saj lahko zanesljivi agenti odklenejo neprimerljive ravni avtomatizacije in učinkovitosti, medtem ko nezanesljivi lahko vodijo do dragih napak in nezadovoljstva uporabnikov. Zato je robustna optimizacija modelov za agentske delovne tokove bistvena, naloga pa je poenostavljena s platformami, kot je SageMaker AI.

Brezstrežniška prilagoditev modelov: prednost SageMaker AI

Tradicionalni pristop k izboljšanju zmogljivosti LLM-jev pogosto vključuje pomembno upravljanje infrastrukture – od nabave GPE in orkestracije pomnilnika do kompleksne infrastrukture nagrajevanja in kontrolnih točk za učenje z ojačitvami. Te naloge prinašajo precejšnje operativne stroške, ki preusmerjajo dragocene razvijalske vire od osrednjega problema: izboljšanja vedenja modela.

Brezstrežniška prilagoditev modelov v Amazon SageMaker AI odpravlja to breme. Razvijalci lahko izberejo temeljni model (npr. Qwen, Llama, GPT-OSS), konfigurirajo tehniko finega uglaševanja, kot je RLVR, pokažejo na svoje podatke in definirajo funkcijo nagrajevanja. SageMaker AI nato upravlja celoten zaledni proces, od skaliranja računalniških virov do upravljanja faz usposabljanja in uglaševanja hiperparametrov. Ta abstrakcija omogoča ekipam, da se osredotočijo na kakovost nabora podatkov in zasnovo funkcije nagrajevanja, ki sta resnična gonila izboljšanja modela. Za podjetja se ta brezstrežniški pristop prevaja v hitrejše iteracijske cikle, zmanjšane stroške in nižjo vstopno oviro za napredno prilagoditev LLM-jev. To je prelomnica za tiste, ki želijo razširiti AI za vse, s poenostavitvijo kompleksnih procesov finega uglaševanja LLM-jev.

Zakaj je RLVR odličen za klicanje agentnih orodij

Ko gre za učenje AI agenta, da zanesljivo uporablja orodja, niso vse tehnike finega uglaševanja enake. Nadzorovano fino uglaševanje (SFT) zahteva natančno označene primere za vsako možno vedenje, ki naj bi ga model prikazoval – klicanje orodja, prosenje za pojasnilo ali zavrnitev zahteve. Izziv pri SFT je njegova težava pri posploševanju procesa odločanja med temi različnimi vedenji, pogosto dobro deluje na vzorcih, videnih med usposabljanjem, vendar odpove pri novih scenarijih.

Učenje z ojačitvami z preverljivimi nagradami (RLVR) ponuja bolj dinamično in učinkovito rešitev. Za razliko od SFT, RLVR deluje na povratni zanki:

1. Generiranje kandidatov: Za vsak poziv model generira več (npr. osem) potencialnih odgovorov.
2. Vrednotenje funkcije nagrajevanja: Vnaprej določena funkcija nagrajevanja objektivno oceni vsakega kandidata, kar kaže na njegovo kakovost, pravilnost in skladnost z želenim vedenjem (npr. ali je poklical pravo orodje z ustreznimi parametri?).
3. Posodobitev politike: Z uporabo optimizacije politike relativne skupine (GRPO) se politika modela posodobi, da okrepi odgovore, ki so dosegli nadpovprečno oceno znotraj generirane skupine. Ta proces iterativno vodi model k bolj optimalnemu vedenju.

To iterativno učenje omogoča modelu, da razume ne le kako izvesti določeno dejanje, ampak tudi kdaj ga izvesti. Nauči se nians razlikovanja med situacijami, ko je klic orodja ustrezen, ko je potrebno pojasnilo ali ko je zavrnitev najboljši potek dejanja. Ker ima klicanje orodij naravno preverljiv cilj – ali je model poklical pravo funkcijo z ustreznimi parametri – se izjemno dobro ujema s paradigmo RLVR, zaradi česar je idealen za AI agente, ki zahtevajo visoko zanesljivost. Ta metoda učinkovito obravnava izziv oblikovanja agentov, odpornih na vbrizgavanje pozivov, z okrepitvijo natančnih vzorcev delovanja.

Priprava visokokakovostnih učnih podatkov za RLVR

Uspeh vsakega prizadevanja za fino uglaševanje, še posebej z RLVR, je odvisen od kakovosti in celovitosti učnih podatkov. Za klicanje agentnih orodij mora nabor podatkov model naučiti več kot le pravilne priklicovanja API-ja; zajeti mora celoten spekter zahtevanih vedenj agenta.

Naš pristop je vključeval generiranje 1.500 sintetičnih učnih primerov z uporabo Kiro, Amazonovega IDE-ja, ki ga poganja umetna inteligenca. Ti primeri so zajemali pet različnih shem orodij: get_weather_forecast, search_flights, translate_text, currency_convert in get_statistics. Ključno je, da so bili podatki razdeljeni med tri primarna vedenja agenta, da se zagotovi uravnoteženo učenje:

Vsak učni primer je sledil formatu JSONL, vključno z pozivom (sistemska navodila in uporabnikova zahteva) in ground_truth v polju reward_model, proti kateremu funkcija nagrajevanja točkuje. Različna formulacija med formalnim, neformalnim in jedrnatim je dodatno izboljšala robustnost nabora podatkov. Medtem ko sintetični podatki zagotavljajo praktično izhodišče, lahko organizacije z obstoječimi agentskimi delovnimi tokovi izkoristijo realne uporabniške pozive in klice orodij iz produkcijskih dnevnikov za doseganje še višje kakovosti usposabljanja. Ta priprava podatkov je ključen korak v inženiringu pozivov za kompleksna vedenja agentov.

{
  "prompt": [
    {"role": "system", "content": "You are a helpful assistant. When using tools, respond with: [...]"},
    {"role": "user", "content": "Get weather for San Francisco"}
  ],
  "reward_model": {
    "ground_truth": "[{"name": "get_weather_forecast", "arguments": {"city": "San Francisco"}}]"
  }
}

{
  "prompt": [
    {"role": "system", "content": "You are a helpful assistant. When using tools, respond with: [...]"},
    {"role": "user", "content": "Get the weather"}
  ],
  "reward_model": {
    "ground_truth": "To provide you with the weather information, could you please specify the location?"
  }
}

Fino uglaševanje Qwen 2.5 7B Instruct z SageMaker AI

Postopek finega uglaševanja modela, kot je Qwen 2.5 7B Instruct, v Amazon SageMaker AI Studio je poenostavljen in intuitiven. Ko so izpolnjeni potrebni predpogoji (račun AWS, vloga IAM, domena SageMaker AI, vedro S3), lahko uporabniki v SageMaker AI Studio krmarijo do razdelka Modeli.

Od tam, izbira Qwen 2.5 7B Instruct in nato Prilagodi z uporabniškim vmesnikom odpre namensko stran za konfiguracijo. Ta vmesnik omogoča:

• Izbira tehnike: Izrecno izbiro Učenja z ojačitvami z preverljivimi nagradami (RLVR) iz spustnega menija.
• Vnos podatkov: Prikaz na pripravljene učne podatke, shranjene v vedru Amazon S3.
• Funkcija nagrajevanja: Konfiguracijo večstopenjskega mehanizma točkovanja, ki določa, kako se kandidatni odgovori ocenjujejo glede na ground_truth.
• Konfiguracija hiperparametrov: Prilagajanje parametrov, kot je velikost paketa, čeprav SageMaker AI pogosto samodejno obravnava optimalne nastavitve.

SageMaker AI podpira raznoliko paleto družin modelov, vključno z Amazon Nova, GPT-OSS, Llama, Qwen in DeepSeek, skupaj z različnimi tehnikami, kot so nadzorovano fino uglaševanje (SFT), optimizacija neposrednih preferenc (DPO), RLVR in učenje z ojačitvami iz povratnih informacij AI (RLAIF). Integrirano sledenje MLflow zagotavlja preglednost metrik usposabljanja in validacije, kar poenostavlja spremljanje zmogljivosti in iteracijo. Ta enostavnost uporabe dramatično pospešuje razvojni življenjski cikel za razvijalce, ki gradijo sofisticirane github-agentske-delovne-tokove.

Uspeh pri vrednotenju in uvedbi

Učinkovitost našega fino uglašenega modela Qwen 2.5 7B Instruct je bila strogo ovrednotena na podatkih, ki niso bili vključeni v usposabljanje, vključno s scenariji s popolnoma nevidnimi orodji – ključen test za posploševanje. Rezultati so bili prepričljivi: fino uglašen model je dosegel izjemno 57-odstotno izboljšanje nagrade za klic orodja v primerjavi z osnovnim modelom. Ta pomemben skok v zmogljivosti pri scenarijih, s katerimi se med usposabljanjem ni srečal, poudarja moč RLVR pri poučevanju modelov robustnih sposobnosti odločanja za interakcijo z orodji.

Ta izboljšana zanesljivost se neposredno prevaja v večje zaupanje pri uvajanju AI agentov v produkcijska okolja. Z zmanjšanjem primerov 'halucinacij' orodij, napačnih parametrov in neprimernih dejanj lahko podjetja izkoriščajo AI agente za bolj kritične in občutljive naloge. Ker SageMaker AI obravnava kompleksnost uvajanja modelov in upravljanja infrastrukture, se lahko razvijalci nemoteno premaknejo od finega uglaševanja do produkcije, s čimer uresničijo polni potencial svojih agentskih rešitev AI. Ta zmogljivost se ujema s širšo vizijo operacionalizacije agentske AI za vpliv v realnem svetu.

Če povzamemo, kombinacija brezstrežniške prilagoditve modelov Amazon SageMaker AI in robustnih učnih zmožnosti RLVR zagotavlja zmogljivo pot do izgradnje visoko zanesljivih sistemov klicanja agentnih orodij. Ta inovativen pristop pospešuje razvoj, zmanjšuje operativno breme in na koncu prinaša AI agente, ki delujejo z izjemno natančnostjo in zanesljivostjo.