CIO의 새로운 과제는 분명하다. 전사 차원의 AI 도입을 신속하게 추진하는 것이다.
CIO.com의 ‘2026 CIO 현황 보고서(State of the CIO)’에 따르면, CEO들이 IT 임원에게 가장 우선적으로 요구하는 과제는 AI를 통해 실질적인 비즈니스 성과를 창출하는 것이다. AI 제품을 조사하고 평가하는 단계부터 도입과 활용에 이르기까지, CIO는 이제 조직의 AI 전략을 이끄는 핵심 역할을 맡고 있다.
기업 경영진이 기대하는 것도 구체적인 성과다. 킨드릴(Kyndryl)의 ‘2025 레디니스 보고서(2025 Readiness Report)’에 따르면, 고위 경영진의 약 3분의 2는 AI 투자의 투자수익률(ROI)을 입증해야 한다는 압박이 지난해보다 더 커졌다고 답했다.
이 같은 압박은 이사회와 CEO는 물론 사업부, 경쟁사 등 다양한 곳에서 비롯된다고 손해보험 업계 고객 커뮤니케이션 플랫폼 기업 하이 말리(Hi Marley)의 최고 AI 책임자(CAIO) 겸 최고기술책임자(CTO)인 조너선 터시먼(Jonathan Tushman)은 설명했다.
터시먼은 “이 과제를 성공적으로 수행하려면 다양한 이해관계자와 복잡한 논의를 거쳐야 하며, 법무와 컴플라이언스 등 여러 검토 절차도 적절한 속도로 통과해야 한다”라고 말했다. 18개월 전 CAIO 역할을 맡은 이후 최근 6개월 동안 이러한 긴박감이 더욱 커졌다는 것이다. 업계 행사와 이사회, 기업 현장에서는 AI가 화두가 되고 있으며, 대화는 곧 경쟁에서 뒤처질 수 있다는 우려로 이어지고 있다고 그는 전했다.
이 같은 분위기는 직원들에게도 그대로 확산되고 있다. 터시먼은 “엔지니어링 조직뿐 아니라 마케팅, 영업, 재무 등 다양한 부서의 직원들이 AI 도구를 적극적으로 사용하려 한다”라며 “AI에 익숙하지 않은 사람들조차 가능한 한 빨리 이러한 도구를 활용하고 싶어 한다”라고 말했다.
CIO들이 AI를 조직 전반으로 확산하고 실질적인 성과를 입증해야 한다는 압박을 받는 가운데, 가장 큰 과제는 불필요한 마찰을 만들지 않으면서도 위험을 효과적으로 관리하는 일이다.
구독형 비즈니스 소프트웨어 기업 주오라(Zuora)의 수석부사장 겸 CIO, 엔터프라이즈 AI 총괄인 카르틱 차카라파니는 “CIO는 AI를 지나치게 위험한 기술로만 바라봐서는 안 된다”라며 “보안과 거버넌스는 반드시 확보해야 하지만, IT 조직이 혁신의 속도를 늦추는 존재로 비쳐서는 안 된다. 충분한 안전장치를 갖춘 고속도로를 만들되 과속방지턱은 최소화해야 한다”라고 말했다.
이어 그는 “AI는 기존 업무를 단순히 자동화하는 기술이 아니다”라며 “일하는 방식 자체를 새롭게 설계하는 과정”이라고 설명했다.
AI가 만든 새로운 위험 관리 과제
대부분의 IT 리더는 AI 시대에 요구되는 새로운 위험 관리 방식에 아직 익숙하지 않다. 앞서 언급한 킨드릴의 조사에 따르면, 외부 비즈니스 위험에 대해 조직이 충분히 대비돼 있다고 답한 응답자는 31%에 그쳤다.
하이 말리(Hi Marley)의 터시먼은 AI가 가져오는 위험은 기존 기술과 본질적으로 다른 두 가지 특성을 지닌다고 설명했다.
첫 번째는 AI가 비결정적(indeterminate)이라는 점이다. 대부분의 기존 기술은 입력과 조건이 같으면 동일한 결과를 내는 결정적(deterministic) 시스템인 반면, AI는 동일한 결과를 항상 보장하지 않는다.
터시먼은 “AI 시스템이 특정 행동을 하거나 하지 않을 것이라고 완전히 증명할 수는 없다”라며 “기존처럼 통제 장치를 마련한 뒤 이를 검증하는 방식만으로는 충분하지 않다. 행동을 근본적으로 예측하기 어려운 기술에 맞는 새로운 거버넌스 체계가 필요하다”라고 설명했다.
두 번째는 사용자들이 AI를 빠르게 활용하려는 강한 수요다.
그는 “기존 기술은 IT 부서가 충분한 검토를 마친 뒤 도입해도 큰 문제가 없었다”라며 “하지만 AI는 강력한 도구를 신속하게 제공하지 않으면 사용자가 승인되지 않은 서비스를 스스로 찾아 사용하게 된다. 이른바 ‘섀도 AI(Shadow AI)’는 통제된 환경에서 AI를 제공하는 것보다 더 큰 위험을 초래할 수 있다”라고 말했다.
이어 “AI는 도입 일정은 더욱 짧아지는 반면, 통제와 거버넌스는 오히려 더 어려워지는 특성을 갖고 있다”라고 덧붙였다.
IT 컨설팅 기업 노베라(Novera)의 설립자 겸 매니징 파트너인 토니 비자 역시 무조건 빠르게 도입하려는 접근이 오히려 모두가 우려하는 문제를 초래할 수 있다고 지적했다.
비자는 “적절한 거버넌스 없이 직원이 민감한 정보를 공개 AI 서비스에 입력하거나, AI가 생성한 내용을 검증 없이 그대로 복사해 고객에게 전달하는 일이 대표적인 사례”라고 말했다.
그는 기업이 ‘AI를 도입하지 않으면 뒤처질 것(FOMO)’이라는 불안감 때문에 성급하게 AI를 도입해서는 안 된다고 조언했다. 먼저 AI를 어디에, 어떤 목적으로 활용할 것인지를 명확히 정의해야 하며, 모든 위험 관리 역시 이러한 질문에서 출발해야 한다는 것이다.
비자는 “무엇을 해결하려는 것인가. 고객 서비스를 개선하려는 것인지, 데이터에서 더 깊은 인사이트를 얻으려는 것인지, 궁극적으로 달성하려는 목표가 무엇인지부터 분명히 해야 한다”라고 말했다.
또한 AI 관련 의사결정은 예상되는 성과, 투자 규모, 조직 목표에 대한 중요도를 함께 고려한 위험 평가를 기반으로 이뤄져야 한다고 강조했다.
그는 “조직이 감수할 수 있는 위험 수준을 정의하고, 위험 등록부(risk register)를 구축한 뒤, 각 위험에 대한 대응 방안을 마련해야 한다”라며 “예를 들어 공개 AI 모델을 사용할 경우에는 민감한 데이터를 입력하지 않도록 정책을 마련하거나, 적절한 라이선스를 구매해 보호 장치를 확보하고, 필요하다면 규제기관의 가이드라인을 확인한 뒤 활용해야 한다”라고 설명했다.
비자는 AI 서비스 역시 제3자(Third Party) 위험 관리 대상으로 다뤄야 하며, 모든 책임을 AI 서비스 제공업체에 떠넘겨서는 안 된다고 강조했다.
그는 “책임까지 외부에 위임할 수는 없다”라고 말했다.
이를 위해서는 AI 공급업체와 체결한 계약 내용을 면밀히 검토하고, 데이터 유출이 발생할 경우 책임 소재가 누구에게 있는지, 문제가 생겼을 때 조직이 어떤 방식으로 대응하거나 법적 조치를 취할 수 있는지까지 사전에 확인해야 한다고 설명했다.
비자는 “일부 기업은 이러한 절차를 위험 관리 체계에 포함하고 있지만, 어떤 기업은 이를 가볍게 여기거나 아예 이런 질문을 해야 한다는 사실조차 인식하지 못한다”라며 “결국 이런 차이가 시간이 지나면서 조직의 발목을 잡게 된다”라고 말했다.
조직 설계가 AI 성공을 좌우한다
하이 말리의 터시먼과 그의 팀은 AI 위험을 효과적으로 드러내고 관리하기 위해 조직 내에 ‘건전한 긴장 관계’를 의도적으로 만드는 구조를 설계했다. 대표적으로 제품 및 기술 조직의 ‘AI 도입 조직’과 컴플라이언스·법무 부서의 ‘AI 감독 조직’을 명확히 분리했다. 컴플라이언스 조직은 감사와 보안, 지속적인 감독을 담당하고, 법무 조직은 AI 활용 범위를 규정하는 문서를 관리한다.
터시먼은 “핵심은 AI 도입을 추진하는 조직과 감독 조직이 서로 독립적으로 운영되는 것”이라고 설명했다.
이어 “기업은 컴플라이언스 조직에 적극적으로 투자해야 한다. 뛰어난 판단력을 갖춘 인재를 확보하는 것이 중요하다”라며 “이들의 역할은 무조건 반대하는 것도, 모든 것을 형식적으로 승인하는 것도 아니다. 진정한 가치는 상황을 올바르게 판단하는 능력에 있다”라고 말했다.
터시먼은 AI 혁신을 총괄하며 조직의 AI 도입을 이끄는 역할을 맡고 있지만, 동시에 위험과 컴플라이언스, 법률 측면에서 끊임없이 검증받는 구조 속에서 일하고 있다고 설명했다.
그는 “우리 경영진은 의도적으로 서로 다른 의견이 충돌하도록 설계돼 있다”라며 “나는 CAIO 역할을 맡고 있고, 바로 옆에는 법무 책임자와 컴플라이언스 책임자가 있다. 의견이 충돌하면 각 선택의 장단점을 함께 검토한 뒤 경영진이 공동으로 의사결정을 내린다”라고 말했다.
터시먼은 이러한 구조가 조직에 긍정적인 긴장감을 만들어낸다고 평가했다. 혁신을 추진하는 리더가 새로운 시도를 제안하면, 컴플라이언스와 위험 관리 책임자가 이를 견제하며 균형을 맞춘다는 것이다. 다만 합의에 이르지 못할 경우에는 최종 결정권을 CEO에게 넘긴다.
그는 “의견이 팽팽하게 맞설 경우에는 조직 내 다른 임원이 최종 판단을 내리는 구조를 권장한다”라고 말했다.
터시먼은 AI 도입 전략만큼이나 조직 구조를 어떻게 설계하느냐도 기업의 경쟁력을 좌우할 수 있다고 강조했다.
그는 “초기에 올바른 조직 구조를 갖춘 기업이 장기적으로 훨씬 큰 경쟁 우위를 확보하게 될 것”이라고 말했다.
커지는 AI 수요, 위험 관리의 새로운 변수로
AI 열풍의 가장 큰 특징 가운데 하나는 이사회부터 일반 직원까지 누구나 AI 도구를 사용하고, 애플리케이션을 개발해 업무에 적용하고 싶어 한다는 점이다.
터시먼은 “지금은 모두가 AI를 직접 사용해보고 싶어 하는 상황”이라고 말했다.
하이 말리는 현재 AI 활용을 본격화하는 ‘활성화(Activation)’ 단계에 있다. 조직의 높은 수요를 충족시키면서도 안전장치를 함께 제공하는 데 초점을 맞추고 있다.
터시먼은 “현재 가장 중요한 목표는 직원들이 AI 도구를 배우고 실제 업무에 활용하면서 AI 활용 역량을 갖추도록 하는 것”이라며 “성과를 측정하는 단계도 결국 오겠지만, 지금은 측정에 지나치게 많은 시간을 쓰는 것은 효율적이지 않다”라고 말했다.
그는 다른 CIO들과 마찬가지로 AI 모델이 얼마나 빠르게 발전하는지를 주목하고 있다.
터시먼은 “AI는 조직을 어떻게 구성할지, 어떤 인재를 채용할지, 기술을 직접 개발할지 아니면 구매할지 등 거의 모든 의사결정에 큰 영향을 미친다”라고 설명했다.
구독형 비즈니스 소프트웨어 기업 주오라(Zuora)는 AI 도입을 시작한 지 약 3년이 됐다. 카르틱 차카라파니는 단순히 속도를 높이는 것이 목표가 아니라고 강조했다.
그는 “기존 프로세스를 단순히 더 빠르게 만드는 것은 의미가 없다. 그렇게 하면 혼란만 더 커질 뿐”이라며 “프로세스를 더 빠르고, 더 똑똑하게 만들면서 업무 방식 자체를 재설계해야 한다”라고 말했다.
토니 비자는 많은 CIO가 AI 도입 속도를 따라가기 위해 외부 전문가의 도움을 받을 필요가 있다고 진단했다.
그는 “아니면 CIO 스스로 AI에 대한 역량을 키워야 한다. AI는 기존 IT와 작동 방식이 매우 다르기 때문”이라고 말했다.
비자는 CIO들에게 세 가지를 조언했다. 첫째는 AI를 제대로 이해하거나 전문적인 조언을 받을 수 있는 전문가와 함께 의사결정을 내리는 것이다.
그는 “AI가 실제로 어떻게 작동하는지 이해하거나, 이를 제대로 조언해 줄 전문가를 확보한 뒤 의사결정을 해야 한다”라고 말했다.
둘째는 언제나 비즈니스 목적에 초점을 맞추는 것이다.
비자는 “AI에는 많은 기회가 있지만, 가장 중요한 질문은 ‘AI를 도입해 무엇을 이루려는가’이다”라고 설명했다.
셋째는 위험을 어떻게 관리할 것인지 미리 설계하는 것이다.
그는 “위험 자체가 반드시 나쁜 것은 아니다. 포뮬러1(F1) 경주차는 위험하지만 뛰어난 제동 시스템을 갖추고 있기 때문에 더 빠르게 달릴 수 있다”라며 “AI도 마찬가지다. 적절한 위험 관리 체계를 갖추면 기업은 부작용 없이 더 빠르게 혁신할 수 있다”라고 말했다.
차카라파니는 주오라가 지난 3년 가까운 AI 여정에서 실험 단계부터 시작해 현재는 전사 차원의 파일럿 프로젝트 12개를 실제 운영 환경으로 전환했다고 설명했다.
그는 AI 프로젝트를 평가할 때 ▲투입 노력(Effort) ▲비즈니스 가치(Value) ▲신뢰도(Confidence)라는 세 가지 기준을 활용한다고 소개했다.
차카라파니는 “투입 노력에는 보안 위험도 포함된다”라며 “보안 위험이 낮은지, 중간 수준인지, 높은지를 함께 평가한다”라고 말했다.
주오라는 비교적 단순한 과제부터 AI를 적용하기 시작했다. 초기 실험은 기대만큼 성공적이지 않았지만, 이후 프로젝트를 위한 중요한 교훈을 얻었다.
차카라파니는 “올바른 데이터, 적절한 콘텐츠와 맥락, 그리고 거버넌스가 갖춰져야 AI가 제대로 성과를 낸다는 사실을 배웠다”라고 말했다.
이후 주오라는 IT 서비스 관리(ITSM) 영역으로 AI 활용 범위를 확대했다. 이 과정에서 내부 조직과 사용자로부터 피드백을 수집하고, 보안과 거버넌스 문제를 해결하며 지속적으로 개선 작업을 이어갔다.
초기 AI 적용 분야는 마케팅과 영업, 제품 개발, 기술 조직이었다. 이를 통해 업무 처리량이 기존보다 10~25배 향상됐다. 성과는 매출 성장, 비용 절감, 고객 참여도 등 실제 비즈니스 지표를 기준으로 평가하고 있다.
이 같은 과정을 거치면서 주오라는 전사적인 AI 확산을 뒷받침하는 기반 작업도 함께 추진했다.
차카라파니는 “AI를 빠른 속도로, 그리고 대규모로 확산하려면 신뢰와 보안, 거버넌스가 먼저 갖춰져야 한다는 사실을 깨달았다”라고 말했다.
주오라는 전사 플랫폼을 통해 챗GPT를 비롯한 승인된 AI 서비스와 산업 특화 AI 도구를 조직의 정형·비정형 데이터와 연계하고 있다. 여기에 컨텍스트 계층(Context Layer)과 각종 서비스를 더해 직원들이 자체 AI 애플리케이션을 개발할 수 있도록 지원한다.
이 플랫폼은 기존 사내 로그인과 조직 정보를 그대로 활용하며, 역할 기반 접근 제어(RBAC)도 동일하게 적용한다.
차카라파니는 “AI 애플리케이션을 개발할 때 반드시 검토해야 하는 10~12개의 항목을 정리해 표준 프레임워크를 구축했다”라며 “직원이 AI 애플리케이션을 만들고 싶으면 해야 할 일과 하지 말아야 할 일이 담긴 가이드가 마크다운 파일 형태로 자동 제공된다”라고 설명했다.
주오라의 궁극적인 목표는 전사 거버넌스 플랫폼을 기반으로 IT와 인사(HR), 재무, 법무, 구매, 영업, 제품 조직 전반에서 최대 100배의 비즈니스 가치를 창출하는 것이다.
이 과정에서 IT 조직은 오케스트레이터 역할을 맡는다. 직원들이 AI 도구와 AI 에이전트에 접근할 수 있는 플랫폼을 제공하는 동시에, 각 사업 부서와 협력해 업무 프로세스를 새롭게 설계하는 역할을 수행한다.
AI 성숙도 모델
차카라파니는 AI 환경이 안전할수록 실험과 도입이 활발해지고, 궁극적으로 더 큰 비즈니스 성과로 이어질 수 있다고 본다. 주오라는 현재 조직의 AI 성숙도를 세 단계에 걸쳐 발전시켜 왔다.
1단계(Level 1)에서는 IT 조직이 AI 플랫폼과 서비스를 제공한다. 직원은 자신의 역할과 보안 권한에 따라 데이터에 접근하며, 개인용 AI 에이전트를 직접 만들 수 있다. 다만 최소한의 보안 및 컴플라이언스 기준을 충족하지 못하면 해당 프로젝트는 다음 단계로 진행할 수 없다.
2단계(Level 2)에서는 직원이 개발한 AI 에이전트가 IT 거버넌스 검토를 거친다. 중복 여부와 기능 겹침, 모델 개선 가능성, 보안 점검, 수동 검토 등을 통과하면 전사적으로 공유된다.
차카라파니는 “현재 이 과정은 잘 운영되고 있지만 자동화할 수 있는 도구가 시장에 아직 없기 때문에 상당 부분 수작업에 의존하고 있다”라고 말했다.
3단계(Level 3)에서는 조직 전체 애플리케이션에 안전한 기반을 구축해 AI를 대규모로 확장할 수 있는 수준에 도달한다. 주오라는 지난 6~8개월 동안 엔드포인트와 애플리케이션 보안을 강화하고, 모바일 기기 관리(MDM)를 의무화했으며, 직원들이 프롬프트에 어떤 데이터를 입력하는지까지 포함하는 AI 사용 모니터링 체계를 도입했다. 또한 승인되지 않은 애플리케이션에 개인 계정이나 대량 이메일 계정으로 접근하지 못하도록 구글 인증도 차단했다.
올해 초부터는 4단계(Level 4) 성숙도 달성을 위한 작업도 시작했다. 이 단계에서는 최소한의 사람 개입만으로 누구나 실제로 작동하는 AI 애플리케이션을 개발할 수 있는 환경을 목표로 한다. 다만 마지막 단계에서는 여전히 사람의 검토가 필요하기 때문에, 현실적으로는 전체 과정의 80~85% 정도를 ‘제로터치(Zero-touch)’ 방식으로 구현할 것으로 예상하고 있다.
차카라파니는 “궁극적인 목표는 조직 구성원 누구나 사람의 개입 없이 AI 애플리케이션을 만들 수 있는 제로터치 서비스를 제공하는 것”이라며 “이를 구현하면 아이디어 구상부터 프로토타입 제작, 설계, 운영 환경 배포까지 2주 이내에 완료할 수 있게 될 것”이라고 말했다.
dl-ciokorea@foundryco.com