에이전트 혼돈: 엔터프라이즈 AI가 확장에 실패하는 이유

엔터프라이즈 AI는 한계를 넘어서고 있습니다. 거의 모든 조직이 코파일럿이나 어시스턴트, 자율 에이전트를 실험하고 있으며 여러 부서에서 동시에 실험하는 경우도 많습니다. 서류상으로 도입률은 그 어느 때보다 높습니다. 실제로는 '에이전트 혼돈'이 뿌리내리기 시작하면서 성과를 파악하기가 더 어려워지고 있습니다.

수치는 극명한 결과를 보여줍니다. MIT 연구에 따르면 엔터프라이즈 AI 파일럿의 95%가 상당한 비용과 경영진의 집중에도 불구하고 측정 가능한 투자 수익을 달성하지 못합니다. 또한 McKinsey 보고에 따르면 88%의 조직이 AI를 사용하고 있지만, 39%만이 EBIT에서 성과를 달성하고 있으며 그러한 성과도 대부분 5% 미만입니다.

AI는 널리 퍼졌지만 비즈니스 성과는 드뭅니다.

익숙한 장면: 기업 내부에 퍼진 에이전트 혼돈

오늘날 대규모 조직 전반에서 벌어지고 있는 일반적인 상황을 생각해 보겠습니다.

고객 지원 팀은 케이스를 더 빠르게 해결하기 위해 AI 에이전트를 배포합니다. 재무 팀은 조정 작업을 신속하게 처리하기 위해 코파일럿을 적용합니다. 영업 운영 팀은 제안서를 작성하고 계정 정보를 요약하기 위해 어시스턴트를 도입합니다. 각각의 배포가 부서 내부에서는 잘 운영됩니다. 주기 시간이 감소합니다. 팀들은 생산성이 향상되었다고 느낍니다.

하지만 넓게 보면 문제가 드러납니다.

케이스는 여전히 하위 승인을 기다리고 있습니다. 한 시스템에서 다른 시스템으로 데이터가 이동할 때 오류가 발생하기 시작합니다. 예외가 쌓일수록 비용이 증가합니다. 리더들은 생산성은 향상되었는데, 왜 처리량이나 수익, 고객 경험에서는 그러한 점이 나타나지 않는지 설명하기 어려워합니다.

AI에는 '문제'가 없습니다. 문제는 시스템에 있습니다.

이와 같은 상황을 에이전트 혼돈이라고 합니다. 즉, 인텔리전스가 구조와 조정, 거버넌스보다 더 빠르게 확산되는 상황을 말합니다.
 

어디에나 있는 인텔리전스, 어디에도 없는 성과

핵심 문제는 놀랍게도 간단합니다. 개별 생산성이 자연스럽게 기업 생산성으로 이어지는 것은 아닙니다.

AI 도구는 작성, 요약, 조사, 분류 등 개별 작업의 처리 속도를 높이는 데 뛰어납니다. 하지만 대부분의 기업 가치는 작업이 아니라 프로세스를 통해 창출됩니다. 이러한 프로세스가 계속 분산된 상태로 있으면 빠르게 처리된 작업이 다음 병목 지점에 더 빨리 도달할 뿐입니다.

이러한 현상은 코파일럿의 상승세에서 가장 뚜렷하게 나타납니다. Menlo Ventures에 따르면 기업의 범용 AI 어시스턴트에 대한 지출 중 86%가 코파일럿 형태의 도구에 집중되어 있으며, 이는 전체적인 업무의 실행보다는 주로 개별 생산성을 향상하는 데 목표를 둡니다.

결과는 쉽게 예측할 수 있습니다. 인텔리전스 단편들이 따로 존재하며 전체 효과로 이어지지 않게 됩니다. 잘못된 프로세스에서 속도만 빠르게 한다고 해서 프로세스의 근본 문제가 해결되지는 않습니다. 그럴수록 한계가 더 빨리 드러날 뿐입니다.

기대와 현실 간 격차

기업들이 AI 예산을 승인할 때, 기대는 매우 높았습니다.

• 자율적인 엔드 투 엔드 워크플로
• 측정 가능한 비용 및 생산성 향상
• 시스템 전반에서 더 빠른 의사 결정
• 개별 성과가 아닌, 전사적 성과로 영향력 확대

많은 조직이 실제로 겪는 상황은 사뭇 다릅니다.

• 분리된 애플리케이션에 탑재되어 있는 서로 연결되어 있지 않은 코파일럿
• 누적되지 않는 단편적인 이익
• 일관되지 않고 예측하기 어려운 에이전트 행동
• 승인되지 않은 AI 도구들이 빠르게 확산되는 현상

거버넌스 격차가 빠르게 벌어지고 있습니다. Varonis 연구에 따르면 98%의 조직에서 직원들이 IT 부서의 확인이나 통제 없이 승인되지 않은 앱(AI 도구 포함)을 사용하고 있는 것으로 나타났습니다. 이 시점에서 가치보다 복잡성이 더 빠르게 커집니다.

확장하기 전에 신뢰성이 먼저 무너지는 이유

파일럿 단계를 넘어선 조직들도 결국 두 번째 장벽인 신뢰성 문제에 직면하게 됩니다.

AI 에이전트는 확률적 시스템입니다. 즉, 가능성이 높은 결과를 생성하는 시스템이며, 올바른 결과를 보장하는 것은 아닙니다. 작업이 유사해 보여도 한 케이스에서는 성공하고 바로 옆의 유사한 케이스에서는 실패하는 등 성능이 일관되지 않을 수 있습니다. 일부는 이러한 현상을 '들쭉날쭉한 인텔리전스'라고 표현합니다.

소비자가 사용할 때는 이러한 비일관성이 어느 정도 감수될 수 있습니다. 하지만 엔터프라이즈 워크플로에서는 그럴 수 없습니다. 에이전트가 요청을 분류하거나 작업을 전달하거나 데이터를 추출하거나 트랜잭션을 트리거할 때 단 한 번의 오류도 운영상으로나 재정적으로 영향을 미칠 수 있으며, 특히 이러한 에이전트들이 연속적으로 연결되어 있을 때는 위험이 더 클 수 있습니다.

오류 연쇄 문제

여러 단계로 이루어진 프로세스에서는 오류가 누적됩니다. 10단계로 이루어진 워크플로에서 각 작업이 낙관적으로 80%의 정확도로 수행되더라도, 전체적인 정확도는 80%로 유지되지 않고 크게 떨어집니다. 각 단계에서 인계될 때마다 확률은 더해지는 것이 아니라 곱해집니다. 단계별로 효과적으로 보이는 시스템도 전체로 합치면 취약해질 수 있습니다.

많은 AI 배포가 데모에서는 잘 작동하지만 실제 운영에서는 어려움을 겪는 이유가 이 때문입니다. 문제는 모델이 미흡해서가 아닙니다. 확률적으로 동작하는 구성 요소들인데 결정론적 시스템처럼 동작하기를 바라기 때문입니다. 그러한 설계적인 선택은 필연적으로 실망스러운 결과를 안겨주게 되어 있습니다.

첫 번째 교훈: AI가 늘어난다고 성과가 늘어나는 것은 아니다

기업들이 첫 번째로 배우는 교훈은 AI 도입만으로는 가치를 창출할 수 없다는 점입니다.

성과는 프로세스에서 나옵니다. 인텔리전스가 전체적인 워크플로에 의도적으로 설계되어 들어가지 않으면 중요한 지표에 영향을 주지 못합니다.

실질적인 성과를 내는 조직들은 시작점이 다릅니다. 이들은 비즈니스 성과를 먼저 정한 다음, 이를 만들어내는 전체 프로세스를 매핑한 뒤, 엔터프라이즈 AI 오케스트레이션을 적용하여 시스템, 워크플로, 의사 결정을 처음부터 끝까지 연결합니다. 개별 작업이 아닌 시스템 전체를 기준으로 최적화를 진행합니다.

그때서야 비로소 생산성이 최종 수익으로 이어집니다.

두 번째 교훈: 신뢰성을 확보하려면 시스템 설계가 필요하다

높은 성과를 내는 조직은 제약 없는 에이전트를 배포하고서 최고를 기대하지 않습니다. 이들 조직은 실행 모드를 함께 활용하는 시스템을 설계합니다.

• AI가 판단, 추론 및 적응 담당
• 결정론적 동작으로 정확성과 반복 가능성 보장
• 비즈니스 컨텍스트를 기반으로 실제 제약 조건에 맞춰 의사 결정 수행
• 판단을 통해 실질적으로 가치를 창출할 수 있는 경우에만 사람 개입

이는 AI를 제한하는 것이 아니라 AI가 뛰어난 역량을 발휘할 수 있는 곳에 적용되도록 하는 것입니다.

자율성과 구조가 균형을 이루면 오류는 더 이상 증가하지 않습니다. 신뢰성은 모델이 더 발전해서가 아니라 시스템이 더 발전하기 때문에 향상됩니다.

세 번째 교훈: 거버넌스는 선택 사항이 아니다

마지막 교훈은 현재 떠오르고 있는 문제이며, 이를 무시하면 가장 위험한 결과를 초래할 수 있습니다. AI 도입 속도가 거버넌스보다 더 빠르게 확산되고 있습니다. 기업들은 이미 수백 개의 애플리케이션을 운영하고 있으며, 그중 많은 애플리케이션이 서로 연결되어 있지 않습니다. 이제 그러한 애플리케이션에는 기본 에이전트가 탑재되어 제공되는 경우가 늘어나고 있으며, 직원들은 독자적으로 자신만의 도구를 도입하고 있습니다.

이로 인해 섀도 AI 현상이 대규모로 발생합니다. 수동 소프트웨어와 달리 에이전트는 직접 행동을 수행합니다. 에이전트는 데이터를 이동시키고 워크플로를 트리거하며 리소스를 지속적으로 소비합니다. 중앙에서 한눈에 보고 통제할 수 없으면 위험이 소리 없이 증가하다가 문제가 발생합니다.

소프트웨어가 무분별하게 확산되면 혼란이 초래됩니다.

자율 에이전트를 무분별하게 확산하면 운영상 위험이 발생합니다.

우발적인 혼돈이 생기지 않도록 의도적인 설계 선택하기

에이전트 혼돈은 피할 수 있는 문제입니다. 에이전트 혼돈이란 시스템 설계나 조정, 거버넌스 없이 인텔리전스가 확산된 결과입니다.

AI에 대한 야심찬 목표를 지속 가능한 성과로 전환하고자 하는 조직들은 공통된 접근 방식을 취합니다. 이들 조직은 인텔리전스가 쓰이는 위치, 시스템 간 연결, 자율성 관리 방식을 의도적으로 설계합니다.

혼잡하고 빠르게 변화하는 AI 환경에서 성과 중심주의와 안정적인 시스템 설계는 제약이 아닌 강점이 됩니다.

조직은 신뢰할 수 있고 통합된 AI 생태계를 의도적으로 구축할 수 있습니다. 또는 연결되지 않은 에이전트들을 쌓아두었다가 나중에 정리할 수도 있습니다. 그러한 선택은 의식하고 있든 아니든 이미 이루어지고 있습니다.

선도적인 조직들이 에이전트 혼돈에서 벗어나, 오케스트레이션되고 거버넌스가 적용된 시스템을 통해 측정 가능한 성과를 어떻게 달성하고 있는지 자세히 살펴보세요.

FAQ

기업 환경에서의 에이전트 혼돈이란 무엇인가요?

에이전트 혼돈이란 AI 에이전트가 조직 전반에서 조정, 공유된 워크플로 또는 거버넌스 없이 배포될 때 발생하는 현상입니다. AI 에이전트는 개별적으로는 잘 작동할 수 있지만, 시스템 전체 수준에서는 단편화를 초래하여 성과를 개선하기보다 오히려 지연시킵니다.

'에이전트 혼돈'과 '혼돈의 에이전트'는 어떤 차이점이 있나요?

'혼돈의 에이전트'는 개별 AI 에이전트가 불안정하거나 오작동하고 있음을 의미합니다. 실제로, '에이전트 혼돈'은 시스템 수준의 문제입니다. 성능이 좋은 에이전트라도 조정, 공유된 워크플로 또는 명확한 의사 결정 기준 없이 운영될 경우 결과가 나빠질 수 있습니다.

AI 도입에도 불구하고 측정 가능한 비즈니스 ROI를 달성하지 못하는 이유는 무엇인가요?

대부분의 AI 배포는 전체적인 프로세스보다는 작성, 요약, 분류와 같은 개별 작업을 개선하는 데 중점을 둡니다. 이러한 개선 사항이 시스템과 워크플로 전반에서 연결되지 않으면 성과는 개별적인 상태에서 머물러 비즈니스 결과로 이어지지 않습니다.

AI 워크플로에서 오류 연쇄가 발생하는 원인은 무엇인가요?

오류 연쇄는 여러 단계로 이루어진 프로세스 전반에서 사소한 부정확성이 누적될 때 발생합니다. AI 시스템은 확률적인 시스템이기 때문에 각 단계에서 어느 정도 불확실성이 발생합니다. 이러한 단계들이 통제 없이 연속적으로 연결되면 전체적인 신뢰성이 빠르게 떨어집니다.

들쭉날쭉한 인텔리전스는 AI 에이전트의 신뢰성에 어떤 영향을 미치나요?

들쭉날쭉한 인텔리전스는 AI 시스템의 성능이 고르지 않다는 것을 의미합니다. AI 시스템은 한 시나리오에서는 성공할 수 있지만 매우 유사한 다른 시나리오에서는 실패할 수 있습니다. 엔터프라이즈 워크플로에서는 이러한 비일관성 때문에 에이전트를 특별히 설계된 프레임워크와 플랫폼 내에서 사용할 때만 신뢰할 수 있습니다.