기업 CIO 사이에서는 생성형 AI와 에이전틱 AI의 투자 대비 수익(ROI)을 명확히 입증하기 어렵다는 점이 이미 공감대로 자리 잡고 있다. 그럼에도 글로벌 컨설팅 기업 KPMG는 일부 기업이 이러한 한계를 인지한 상태에서도 AI 도입을 적극적으로 추진하고 있다고 전했다.
정량적으로 산출 가능한 ROI가 부족함에도, 경기 둔화가 AI 투자 계획을 늦추는 요인으로 작용하지는 않고 있다는 분석이다. KPMG는 “글로벌 리더의 4분의 3이 경제적 불확실성에도 불구하고 AI 투자를 우선순위에 둘 것”이라고 밝혔다.
KPMG는 ‘글로벌 AI 펄스 설문조사(Global AI Pulse Survey)’라는 자체 보고서에서 “여전히 실험 단계에 머무는 조직과 파일럿을 넘어 AI 에이전트를 전면 확장해 실질적인 비즈니스 가치를 창출하는 조직 사이에는 분명한 격차가 존재한다”라고 설명했다. 이어 “전 세계적으로 AI 도입은 가속화하고 있지만, 명확한 수익을 확인하고 있는 AI 리더 그룹은 소수에 불과하다. 이들 가운데 82%는 AI가 이미 의미 있는 비즈니스 가치를 제공하고 있다고 답했으며, 이는 다른 기업의 62%와 비교해 높은 수치다. 이는 단순한 AI 성숙도 차이를 넘어, AI를 전사적 혁신으로 접근하는 조직과 기존 모델에 덧붙이는 수준에 그치는 조직 간 성과 격차가 확대되고 있음을 보여준다”라고 분석했다.
영국을 중심으로 한 별도 분석에서도 유사한 흐름이 나타났다. KPMG는 “AI는 더 이상 전통적인 ROI 기준으로만 정당화되지 않는다”라며 “영국 응답자의 65%는 가시적인 ROI와 관계없이 AI 투자를 지속할 것이라고 답했다. 기업이 인공지능에 상당한 비용을 지출하고 있지만, 기술의 가치를 인정하는 데 반드시 전통적인 ROI가 필요한 것은 아니다”라고 밝혔다.
인식 전환
KPMG의 AI 부문 책임자 리앤 앨런은 전사 차원의 AI에 대한 높은 관심이 기술의 재무적 접근 방식에도 변화를 가져왔다고 설명했다.
앨런은 “AI를 즉각적인 수익을 창출해야 하는 기술로 보던 시각에서 벗어나, 전사적 혁신을 가능하게 하는 전략적 수단이자 장기 투자로 인식하는 방향으로 비즈니스 리더의 사고가 전환된 것은 중요한 이정표”라고 평가했다. 이어 “그러나 명확한 전략 없이 무작정 AI에 투자해서는 안 된다. AI는 조직 운영 방식과 의사결정 구조, 그리고 인간과 AI 에이전트가 일상적으로 협업하는 방식을 근본적으로 재편하고 있다”라고 밝혔다.
이 같은 사고의 전환은 현실적 판단에 기반한 측면도 있다. 많은 CIO가 이사회로부터 AI 투자는 선택 사항이 아니라는 메시지를 받고 있기 때문이다. 다만 AI의 ROI를 둘러싼 과제는 여전히 다양한 형태로 나타나고 있다.
AI ROI를 둘러싼 복합적 과제
AI 실험과 도입이 빠르게 진행되는 상황에서, 일부 경영진은 비현실적인 ROI 목표를 설정한 채 개념검증(PoC)을 추진하고 있다. 기술적으로 달성하기 어려운 기준을 적용해 성과를 평가한다면, 적절하지 않은 지표가 충족되지 않았다고 해서 이를 대형언어모델(LLM)의 한계로 단정하기는 어렵다.
또한 일부 기업은 AI 도입 과정에서 예상치 못한 비용을 경험하고 있다. 예를 들어 고객용 챗봇에 AI를 적용했지만, 이용자가 이를 ‘무료’ 생성형 AI 도구처럼 활용하면서 추가 토큰 사용량이 발생하고, 그 비용을 기업이 부담하는 사례가 나타나고 있다.
무엇을 측정해야 하는가
일부 분석가와 투자자는 AI가 대체하고 있는 지적 노동이 그동안 제대로 측정된 적이 거의 없었다는 점을 문제로 지적한다. 이로 인해 재무 부서는 AI의 ROI를 산정하기 위해 기존과는 다른 접근 방식을 모색해야 하는 상황에 놓였다.
투자 자문 기업 람튼 캐피털 파트너스의 매니징 파트너 벤 그랜트는 “문제는 측정 방식에 있다. 전통적인 ROI는 명확한 투입 대비 산출 구조를 요구하지만, 현재 대부분의 기업에서 AI는 그런 형태로 작동하지 않는다”라고 진단했다. 이어 “AI의 가치는 절약된 시간, 더 빠른 의사결정, 문제가 되기 전에 공백을 메우는 효과 등으로 나타난다. 이런 요소를 스프레드시트에 담기는 쉽지 않다”라고 설명했다.
그랜트는 또 “전통적인 ROI 없이 AI에 투자한다고 해서 무모하다고 보지는 않는다. 이는 실용적인 판단에 가깝다. 기업은 이미 충분한 가능성을 확인했지만, 재무 조직이 요구하는 방식으로 정량화하지 못하고 있을 뿐”이라고 언급했다.
컨설팅 기업 인포테크리서치그룹의 수석 연구 책임자 마니시 자인은 이러한 괴리가 발생하는 배경에 대해 “기업이 동시에 두 가지 모드로 운영되고 있기 때문”이라고 분석했다. 자인은 “학습 속도가 중요한 탐색 단계와, 가시적 성과 실현이 요구되지만 여전히 성숙도가 발전 중인 산업화 단계가 병존하고 있다”라고 설명했다.
자인은 또 기업의 기대치가 달라졌다고 짚었다. “기업이 수익을 중요하게 여기지 않는 것은 아니다. 다만 ROI에 집중하기에 앞서 AI 역량을 성숙시키는 것이 우선이라는 점을 학습했다는 의미”라며 “새로운 엔진이 등장했을 때 현명한 운영자는 그것이 얼마를 벌어들이는지부터 묻지 않는다. 오히려 자신만 그 엔진을 갖추지 못했을 때 어떤 일이 벌어질지를 먼저 고민한다”라고 말했다.
AI는 일상 기술이 되고 있는가
가트너의 부사장 애널리스트 나데르 헤네인은 AI의 산출물을 사소한 수준으로 보기는 어렵다고 전제하면서도, AI가 점차 일상적인 업무 기능에 통합되고 있다고 진단했다. 이러한 변화는 전통적인 ROI 산정 방식에 도전 과제를 던지고 있다는 설명이다.
헤네인은 “AI 어시스턴트와 같은 일부 투자는 오피스 제품군처럼 표준 업무 도구로 자리 잡아가고 있다. 워드 문서나 프레젠테이션 개수를 세어 ROI를 계산하지는 않는다”라고 말했다. 이어 “그렇다고 AI 프로젝트의 ROI 계산이 사라지는 것은 아니다. 자금만 소진하고 가시적인 성과를 내지 못한다면 결국 중단될 것이다. 상장 기업의 손익계산서와 투자자 기대는 변하지 않는다”라고 밝혔다.
지출과 기대 사이
무어 인사이트 앤 스트래티지의 부사장 겸 수석 애널리스트 마이클 리온은 AI 도입 방식의 다양성이 기존 ROI 체계를 무력화하는 요인으로 작용하고 있다고 분석했다.
리온은 “ERP나 클라우드 전환에 적용하던 기존 ROI 공식은 AI에 들어맞지 않는다. 내가 만난 모든 CIO가 이를 인지하고 있다”라며 “특정 워크플로에서 어떤 생산성 향상이 있었는지는 설명할 수 있지만, 3년 뒤 전사적 차원의 수익이 어떻게 나타날지 묻는 질문에는 명확한 답을 내놓기 어렵다. ‘ROI와 무관하게 투자한다’는 표현은 바로 이 지점에서 나온다. 개인적으로 리더가 그럼에도 투자를 지속하는 판단은 타당하다고 본다”라고 말했다.
이어 “예산 부족은 이미 AI 프로젝트를 좌초시키는 요인 목록에서 사라진 지 오래다. 자금도 확보됐고 추진 동력도 있다. 현재의 진짜 장애물은 보안과 프라이버시, 그리고 이를 대규모로 운영할 인력이 거의 없다는 점”이라며 “대부분 조직은 충분한 정보를 바탕으로 한 베팅을 하고 있다. 뒤처질 경우 치러야 할 비용을 계산해봤고, 그 결과가 만족스럽지 않았기 때문”이라고 설명했다.
리온은 실제로 복리 효과를 낼 수 있을 만큼 인재, 거버넌스, 운영 역량을 갖춘 기업은 10곳 중 1곳 수준에 불과하다고 덧붙였다. “나머지는 일단 투자하고 성과를 기대하는 상황이다. 그것이 현재의 현실”이라고 평가했다.
기술 분석가 카미 레비는 “최소한의 ROI 근거도 없이 최첨단 기술에 투자하는 것은 재정적으로 자살 행위에 가깝다”라고 지적했다. 그러나 동시에 “AI의 발전 속도와 범위가 워낙 빠르기 때문에, 전통적인 ROI 산정 방식은 이미 시대에 뒤처졌다. 이제 조직은 뒤처질 것에 대한 두려움 때문에라도 AI에 뛰어들 수밖에 없는 상황”이라고 분석했다.
레비는 이 같은 상황에서 재무 조직이 일시적으로 경직된 ROI 기준을 완화할 필요가 있다고 주장했다.
레비는 “AI 경쟁력을 유지하거나, 최소한 경쟁사가 AI를 이해해가는 동안 시야에서 벗어나지 않기 위해서는 과거와 동일한 수준의 재무적 엄밀성을 적용하기 어려울 수 있다”라며 “통상적으로 경제 환경이 불안정해지면 기업은 기술 투자를 줄이지만, AI가 기술 로드맵의 핵심으로 자리 잡으면서 이러한 공식이 시험대에 오르고 있다”라고 말했다.
이어 “많은 조직은 경제적 불확실성 속에서도 AI 중심 지출을 줄이지 않는 경쟁사에 뒤처질 위험을 피하기 위해 다른 영역에서 비용 절감을 모색할 것”이라며 “실제로 다수의 경영진은 AI를 향후 발생할 수 있는 비용 절감의 포괄적 동력으로 활용하고 있으며, AI 주도 흐름에서 뒤처지지 않으려는 급박함 속에서 이러한 논리는 최고경영진의 승인을 이끌어내기에 충분한 명분이 되고 있다”라고 설명했다.
dl-ciokorea@foundryco.com