What is the primary challenge enterprises face when attempting to operationalize Agentic AI?

The main challenge enterprises face isn't a lack of advanced AI models or capable vendors, but rather a significant execution gap. Many organizations launch promising Agentic AI pilots that fail to scale or integrate into real-world business processes. This often stems from an undefined operating model, leading to issues like vague use cases, data quality problems, insufficient controls, and a lack of clear agreement on what constitutes success. Bridging this execution gap requires a fundamental shift in how work is defined, managed, and improved within the organization, focusing on meticulous workflow definition and robust governance.

What are the three key characteristics of organizations successfully implementing Agentic AI?

Organizations that successfully implement Agentic AI exhibit three core characteristics: First, their work is defined with painful detail, allowing for step-by-step understanding of inputs, processes, and 'done' states, including exception handling. Second, autonomy is strictly bounded, meaning agents operate within clear authority limits, have explicit escalation rules, and provide human oversight mechanisms. Third, improvement is ingrained as a habit, with regular cadences for reviewing agent performance, identifying friction points, and iteratively refining their behavior, rather than treating improvements as one-off projects.

How can businesses identify tasks that are truly 'agent-shaped' and suitable for Agentic AI?

To identify 'agent-shaped' work, organizations should look for tasks with four key characteristics. The work must have a clear start, end, and purpose, with agents able to understand intent and handle variations. It should require judgment across tools, where the agent reasons about information needs and interacts with defined, secure system interfaces. Success must be observable and measurable, allowing for objective evaluation of outputs and the agent's reasoning. Finally, the work should initially have a 'safe mode,' meaning mistakes are quickly caught, easily corrected, and don't lead to irreversible harm, allowing for trust-building and maturity.

Why is starting with 'safe mode' tasks crucial for Agentic AI adoption?

Starting with 'safe mode' tasks is crucial because it allows organizations to build trust, establish robust controls, and mature their evaluation processes with minimal risk. Tasks where actions are reversible, or where the agent's output serves as a recommendation for a human to act upon, provide a controlled environment for learning. This approach minimizes the cost of potential errors and allows teams to refine agent behavior, data quality, and governance frameworks. As trust and maturity grow, the organization can then strategically transition the Agentic AI to higher-stakes work where agents close the loop autonomously, confident in their reliability and safety.

What does it mean for Agentic AI to require 'judgment across tools'?

For Agentic AI to require 'judgment across tools' means that the agent doesn't simply follow a rigid, hard-coded script. Instead, it must be capable of reasoning to determine what information it needs, decide which systems or tools to query, interpret the findings, and select the appropriate action based on the context. This adaptability allows it to handle variations and understand when a situation falls outside its competence, necessitating human intervention. This capability relies heavily on existing systems having well-defined, secure, and reliable interfaces that the agent can seamlessly interact with to read data, update records, trigger transactions, or facilitate communications.

How does observability contribute to the effective improvement of AI agents?

Observability is paramount for effectively improving AI agents because it provides the necessary transparency into their operations and decision-making processes. Beyond merely checking the final output, observability involves being able to see how an agent arrived at its answer—what data it utilized, which tools it invoked, the options it considered, and the rationale behind its chosen action. Without this insight into the agent's reasoning, it becomes impossible to accurately evaluate its performance, identify areas for improvement, or defend its decisions when discrepancies arise. This deep visibility fosters continuous learning and refinement, transforming improvement into a habitual, data-driven process.

에이전트형 AI 운영화: 기업에서 약속을 성과로

에이전트형 AI의 약속은 기업 운영 방식을 재정의할 수 있는 전례 없는 효율성과 자동화를 제공하며 혁신적입니다. 하지만 많은 조직은 유망한 프로토타입에서 실제적이고 측정 가능한 영향으로 전환하지 못하고 지연되는 파일럿 프로젝트로 인해 어려움을 겪고 있습니다. AWS 생성형 AI 혁신 센터 전문가들이 관찰한 바와 같이, 이러한 과제는 기반 모델이나 첨단 공급업체의 부족이 아니라 운영화의 근본적인 결함에 있습니다. 에이전트형 AI는 단순히 '켜는' 기능이 아닙니다. 이는 업무가 정의되고, 실행되며, 거버넌스 되는 방식에 대한 심오한 변화를 요구합니다.

이 기사는 2부작 시리즈의 첫 번째 글로, 에이전트형 AI 도입의 진정한 가치 격차가 주로 실행 문제인 이유를 파고듭니다. 우리는 성공적인 구현과 지연된 프로젝트를 구별하는 중요한 요소를 탐구하고, 진정으로 '에이전트형'인 작업을 식별하기 위한 이해관계자 가이드를 제공할 것입니다. 2부에서는 이 새로운 시대의 특정 책임에 대해 C-suite 임원 및 사업주들에게 직접적으로 다룰 것입니다.

기업 AI 가치 격차 해소: 기술 그 이상

경영진 회의실에서 '우리는 AI에 충분히 투자하고 있는가?'라는 질문은 종종 '그렇다'는 우렁찬 대답을 이끌어냅니다. 그러나 이어서 나오는 'AI 에이전트 덕분에 오늘날 어떤 특정 워크플로우가 실질적으로 개선되었으며, 우리는 어떻게 이를 아는가?'라는 질문에는 침묵이 흐르는 경우가 많습니다. 이러한 극명한 대조는 기술적인 문제가 아닌, 중요한 실행 격차를 부각시킵니다. 이 두 답변 사이에 놓인 것은 누락된 대규모 언어 모델이나 전문 공급업체가 아니라, 누락된 운영 모델입니다.

에이전트형 AI를 성공적으로 배포하여, 단순히 희망적인 개념에서 가치를 창출하는 유형의 자산으로 전환하는 조직은 세 가지 공통된 진실을 공유합니다.

업무가 고통스러울 정도로 상세하게 정의됨: 성공은 세심한 명확성에 달려 있습니다. 팀은 입력, 프로세스, 그리고 '완료'의 정의가 무엇인지 정확하게 설명해야 합니다. 여기에는 예외 및 오류 처리 방식에 대한 예상과 상세화가 포함됩니다.
자율성은 제한적임: AI 에이전트는 명확한 경계 내에서 번성합니다. 이들에게는 명시적인 권한 한계, 정의된 에스컬레이션 경로, 그리고 인간이 결정을 모니터링하고 필요하다면 재정의할 수 있는 투명한 인터페이스가 할당됩니다.
개선은 습관이지 프로젝트가 아님: 에이전트형 AI의 여정은 반복적입니다. 에이전트 성능을 검토하고, 마찰 지점을 식별하며, 지속적인 조정을 수행하는 정기적인 주기가 있습니다. 이는 산발적인 프로젝트 기반의 개선보다는 지속적인 최적화 문화를 조성합니다.

이러한 기본적인 요소들이 없다면, 기업들은 종종 익숙한 패턴에 직면하게 됩니다. 실험실에만 머무르는 인상적인 개념 증명, 조용히 사라지는 파일럿 프로젝트, 그리고 미래 잠재력에 대해 묻던 리더들이 현재 지출에 의문을 제기하는 상황 말입니다.

에이전트형 작업 식별: 성공을 위한 기반

많은 조직은 '어디서 에이전트를 사용할 수 있을까?'라고 물으며 에이전트형 AI 여정을 시작합니다. 더 전략적이고 생산적인 질문은 '에이전트가 할 수 있는 일처럼 이미 구조화된 작업은 어디에 있는가?'입니다. 이러한 재구성은 실행 가능한 사용 사례를 식별하고 일반적인 함정을 피하는 데 매우 중요합니다.

실제로, 진정으로 '에이전트형'인 작업은 네 가지 핵심 특성을 가집니다.

1. 명확한 시작, 끝, 그리고 목적

에이전트는 작업의 전체 수명 주기를 이해해야 합니다. 클레임이 접수되든, 인보이스가 나타나든, 지원 티켓이 열리든, 에이전트는 언제 시작할 충분한 정보가 있는지, 어떤 특정 목표를 향해 작업하는지, 그리고 언제 작업이 확실히 완료되거나 인간에게 인계되어야 하는지 인식해야 합니다. 이는 단순한 트리거와 완료 지점을 넘어섭니다. 에이전트는 사례별 명시적인 지시 없이 합리적인 변형을 처리하기 위해 기본 의도를 파악해야 합니다. 팀이 예외 관리를 포함하여 작업이 '잘 완료된' 것이 무엇인지 명확히 설명할 수 없다면, 아직 에이전트를 위한 준비가 되지 않은 것입니다.

2. 도구 전반의 판단

고정된 스크립트를 따르는 전통적인 자동화와 달리, 에이전트는 추론합니다. 에이전트는 어떤 정보가 필요한지 결정하고, 어떤 시스템에 쿼리할지 결정하며, 검색된 데이터를 해석하고, 상황에 따라 적절한 조치를 선택합니다. 이러한 적응성은 에이전트가 변형을 처리하고, 자신의 역량을 벗어나는 상황을 식별할 수 있게 합니다. 결정적으로, 에이전트는 도구를 통해 작동합니다. 기존 시스템은 에이전트가 데이터를 읽고, 업데이트를 기록하며, 트랜잭션을 트리거하거나, 통신을 보내기 위해 호출할 수 있는 잘 정의되고 안전하며 신뢰할 수 있는 인터페이스(API)를 제공해야 합니다. 현재 프로세스가 주로 이메일과 스프레드시트를 통해 인간이 추론하는 것을 포함한다면, 에이전트형 AI 솔루션이 실행 가능해지기 전에 상당한 프로세스 설계 및 도구 작업이 필요합니다. 에이전트가 도구와 상호 작용하는 방식에 대한 자세한 내용은 GitHub Agentic Workflows를 참조하세요.

3. 관측 가능하고 측정 가능한 성공

에이전트형 AI의 성공은 정량화 가능하고 투명해야 합니다. 심지어 직접적인 팀 외부의 누구라도 에이전트의 출력을 평가하고, '마음을 읽을' 필요 없이 올바른지 또는 조정이 필요한지 판단할 수 있어야 합니다. 이는 정시 티켓 해결, 양식 완성도, 거래 잔액 또는 고객 응답 품질을 확인하는 것을 포함할 수 있습니다. 그러나 관측 가능성은 단순히 출력 확인을 넘어섭니다. 에이전트의 추론, 즉 어떤 데이터를 사용했는지, 어떤 도구를 호출했는지, 어떤 옵션을 고려했는지, 그리고 특정 경로를 선택한 이유에 대한 가시성이 필요합니다. 에이전트의 추론에 대한 이러한 통찰력 없이는 에이전트를 개선하는 것이 불가능해지며, 문제가 발생했을 때 에이전트의 결정을 옹호하는 것은 유지 불가능합니다.

4. 문제가 발생했을 때의 안전 모드

에이전트형 AI를 위한 최고의 초기 후보는 오류가 쉽게 감지되고, 저렴하게 수정되며, 되돌릴 수 없는 손상으로 이어지지 않는 작업입니다. 에이전트가 지원 티켓을 잘못 분류하면 재라우팅될 수 있습니다. 에이전트가 잘못된 답변을 초안하면, 인간이 전송 전에 편집할 수 있습니다. 그러나 에이전트가 자율적으로 결제를 승인하거나, 금융 거래를 실행하거나, 법적 구속력이 있는 통신을 보내면, 잘못될 경우의 비용은 극적으로 증가합니다.

행동이 되돌릴 수 있거나, 에이전트의 출력이 최종적으로 인간이 행동하는 추천으로 사용되는 작업을 우선시하세요. 신뢰, 통제, 평가 프로세스가 성숙해짐에 따라, 에이전트가 스스로 루프를 닫는 더 높은 위험의 작업에 에이전트를 배포할 권리를 얻게 됩니다. 이러한 반복적인 배포 접근 방식은 신뢰를 구축하고 견고한 시스템 개발을 가능하게 합니다.

다음 표는 에이전트형 작업 식별을 위한 이러한 중요한 특성들을 요약합니다.

특성	설명	에이전트형 AI에 왜 중요한가요?
명확한 시작, 끝, 목적	작업은 명확한 시작, 정의된 목표, 그리고 측정 가능한 결론을 가집니다. 에이전트는 의도를 이해하고 사례별 명시적인 지시 없이 합리적인 변형을 처리할 수 있습니다.	에이전트가 언제 시작해야 하는지, 어떤 목표를 달성해야 하는지, 그리고 언제 작업이 완료되거나 에스컬레이션되어야 하는지 확인합니다. 모호성과 범위 확장을 방지합니다.
도구 전반의 판단	에이전트는 정보 요구 사항에 대해 추론하고, 어떤 시스템/도구를 사용할지 결정하며, 결과를 해석하고, 상황에 따라 올바른 조치를 결정하여 고정된 스크립트를 따르기보다 접근 방식을 조정할 수 있습니다.	동적인 문제 해결과 변형에 대한 적응성을 허용합니다. 에이전트가 기존 시스템과 상호 작용하기 위한 잘 정의되고 안전한 인터페이스를 요구합니다.
관측 가능하고 측정 가능함	성공 지표는 명확하고 정량화 가능합니다. 누구든 에이전트의 출력을 객관적으로 평가할 수 있습니다. 에이전트의 추론(사용된 데이터, 호출된 도구, 내려진 결정)에 대한 투명성이 제공됩니다.	성능 평가, 마찰 지점 식별, 지속적인 개선을 가능하게 합니다. 에이전트 결정을 옹호하고 신뢰를 구축하기 위한 기반을 제공합니다.
오류를 위한 안전 모드	실수는 쉽게 감지되고, 저렴하게 수정되며, 되돌릴 수 없는 손상으로 이어지지 않습니다. 이상적인 초기 후보는 최종 실행 전 되돌릴 수 있는 행동이나 인간의 감독을 포함합니다.	초기 배포 시 위험을 최소화하고, 이해관계자의 신뢰를 구축하며, 고위험 자율 운영을 다루기 전에 에이전트와 그 제어 시스템의 반복적인 학습 및 개선을 가능하게 합니다. 강력한 기업 개인정보 보호 및 보안 태세에 기여합니다.

전략적 배포: 신뢰 확보 및 영향력 확대

이 네 가지 요소가 존재할 때, 에이전트형 AI 솔루션의 확실한 후보를 갖게 됩니다. 이들이 없을 때, 대화는 종종 '어시스턴트', '코파일럿', 또는 '자동화'와 같은 모호한 용어로 퇴화하는데, 이는 이해관계자마다 다르게 해석되어 혼란과 진행 지연을 초래합니다. AI 에이전트를 구상하는 것부터 성공적인 광범위한 배포에 이르는 여정은 근본적으로 일관되고 측정 가능한 가치를 입증함으로써 신뢰를 얻는 것에 관한 것입니다.

이를 위해서는 전략적인 접근 방식이 필요합니다. 작게 시작하고, 철저히 검증하며, 신중하게 확장해야 합니다. 본질적인 '안전 모드'를 가진 작업에 집중함으로써, 조직은 불필요한 위험에 노출되지 않고 필요한 거버넌스 구조를 배우고, 적응하며, 구축할 수 있습니다. 에이전트의 성능과 신뢰성이 낮은 위험 환경에서 입증됨에 따라, 조직은 점진적으로 자율성을 확장하고 더 복잡하고 영향력 있는 워크플로우를 처리할 수 있습니다.

앞으로 나아갈 길: 기업 리더를 위한 실행 가능한 단계

1부에서 설명된 패턴은 이론적인 것이 아닙니다. 이는 모든 규모의, 모든 산업의 조직에서 나타납니다. 고무적인 소식은 현재 상태와 원하는 상태 사이의 격차가 주로 기술 부족이 아니라는 점입니다. 이는 실행 격차이며, 실행 격차는 본질적으로 해결 가능합니다.

에이전트형 AI를 효과적으로 운영화하기 위해 즉시 취할 수 있는 세 가지 조치는 다음과 같습니다.

바람이 아닌 업무를 명확히 하세요: 조직 내에서 명확한 시작, 확고한 끝, 그리고 모호하지 않고 측정 가능한 '완료' 정의를 가진 하나의 워크플로우를 식별하세요. 이것이 에이전트형 AI 파일럿을 위한 최우선 후보가 됩니다. 모호한 열망보다는 정확한 워크플로우 명확화에 집중하세요.
회의실에서 어려운 질문을 던지세요: 다음 리더십 회의에서 대화를 전환하세요. '우리는 AI에 충분히 투자하고 있는가?'라고 묻는 대신, 팀에게 'AI 에이전트 덕분에 오늘날 어떤 특정 워크플로우가 실질적으로 개선되었으며, 우리는 어떻게 이를 아는가?'라고 질문하여 도전하세요. 이어지는 침묵은 종종 전략적 초점을 위한 중요한 영역을 부각시키고 운영화 및 측정의 기존 격차를 드러낼 것입니다.
직무 설명을 먼저 시작하세요: 어떤 기술이나 공급업체를 고려하기 전에 에이전트의 '직무 설명'을 명확히 하세요. 에이전트가 정확히 무엇을 할지, 상호 작용해야 할 도구는 무엇인지, 성공적인 실행은 어떤 모습인지, 그리고 가장 중요하게는 실패하거나 그 범위를 벗어나 작동할 때 어떤 일이 발생하는지 상세히 설명하세요. 이 페이지를 종합적으로 채울 수 없다면, 조직은 아직 성공적인 배포를 위한 준비가 되지 않은 것입니다. 이 기본적인 작업은 처음부터 정렬과 명확성을 보장합니다.

이러한 원칙들을 수용함으로써, 기업들은 파일럿 프로젝트와 개념 증명을 넘어, 에이전트형 AI를 진정으로 운영화하여 문서화된 생산성 향상과 전략적 이점을 제공할 수 있습니다. 진정한 지능형 기업으로 나아가는 여정은 세심한 계획, 명확한 실행, 그리고 지속적인 개선에 대한 헌신으로 시작됩니다.

에이전트형 AI 운영화: 이해관계자를 위한 안내서