지난 10여 년 동안 기업의 클라우드 전략은 비교적 명확한 방향성을 따라 발전해 왔다. 기업들은 확장성과 유연성, 비용 효율성을 확보하기 위해 워크로드를 퍼블릭 클라우드로 이전했다. 아마존웹서비스(AWS), 마이크로소프트(MS) 애저, 구글 클라우드 플랫폼(GCP)과 같은 하이퍼스케일러는 디지털 전환의 기본 인프라로 자리 잡았다.
하지만 이 모델은 이제 균열을 보이기 시작하고 있다. 차세대 투자 수요를 이끄는 AI가 퍼블릭 클라우드의 구조적 한계를 드러내고 있기 때문이다. 특히 기업들이 규모가 커지고 예측하기 어려워지는 AI 인프라 비용에 직면하면서 이러한 문제가 더욱 두드러지고 있다.
AI 워크로드는 장기간에 걸친 고강도 연산 자원을 필요로 하고, 방대한 양의 데이터를 처리하며, 지연 시간에도 민감한 특성을 지닌다. 대규모로 운영될 경우, 퍼블릭 클라우드의 매력을 뒷받침했던 경제적·아키텍처적 전제를 흔들어 놓는다. 컴퓨팅 비용은 높아지고 예측이 어려워지며, 대규모 데이터 전송은 비효율적으로 변한다. 또한 규제 요건이 강화되면서 데이터 저장 및 처리 위치에 대한 제약도 커지고 있다.
현재 나타나고 있는 변화는 퍼블릭 클라우드에서의 철수가 아니다. 퍼블릭 클라우드를 기본 선택지로 간주하던 관행에서 벗어나는 전환이다. 인프라 결정은 점차 워크로드별 특성을 반영하고 비용을 고려하는 방향으로 이뤄지고 있으며, 보다 체계적인 거버넌스 아래 관리되고 있다. 이제 기업의 고민은 클라우드를 사용할지 여부가 아니라, 언제·어디서·어떤 워크로드에 적용해야 실질적인 가치를 얻을 수 있는가로 바뀌고 있다.
클라우드 우선 전략이 더 이상 통하지 않는 이유
클라우드 우선(Cloud First) 전략은 대부분의 워크로드가 탄력성과 온디맨드 인프라의 이점을 누릴 수 있었던 시기에 의사결정을 단순화하는 역할을 했다. 그러나 AI가 주도하는 수요 환경에서는 이러한 전제가 더 이상 성립하지 않는다.
대신 워크로드 경제성(workload economics)을 중심으로 한 새로운 모델이 부상하고 있다. 기업들은 이제 인프라를 어디에서 확보할 수 있는지를 묻기보다, 각 워크로드의 연산 특성, 데이터 중력(Data Gravity), 지연 시간 민감도, 규제 요건 등을 고려했을 때 어디에서 가장 효율적으로 운영할 수 있는지를 검토하고 있다.
이는 전통적인 의미의 멀티클라우드 전략과는 다르다. 이중화나 벤더 다변화를 위해 여러 클라우드 사업자에 워크로드를 분산하는 것이 목적이 아니다. 핵심은 워크로드를 가장 적합한 환경에 의도적으로 배치하는 데 있다.
퍼블릭 클라우드는 여전히 탄력성이 높고 글로벌 분산이 필요한 워크로드에 가장 적합한 선택지다. 반면 지속적인 고성능 연산이나 데이터 집약적 처리에는 프라이빗 클라우드 또는 온프레미스 환경이 점차 경쟁력을 확보하고 있다. 또한 규제 및 관할권 관련 요구사항이 적용되는 경우에는 주권 클라우드(Sovereign Cloud)나 지역 기반 환경이 점점 더 필수적인 선택지가 되고 있다.
아울러 고성능 AI 연산, 비용 최적화된 GPU 자원 제공, 그리고 하이퍼스케일러가 효율적으로 지원하지 못하는 특정 워크로드를 겨냥한 전문 서비스 업체도 등장하고 있다.
예를 들어 수주 동안 연속적으로 실행되는 대규모 AI 학습 워크로드를 생각해보자. 퍼블릭 클라우드 환경에서는 지속적인 GPU 사용과 데이터 전송, 스토리지 비용이 결합되면서 비용이 크게 증가할 뿐 아니라 예측도 어려워질 수 있다. 반면 데이터와 가까운 전용 인프라나 코로케이션(Co-location) 환경에서 동일한 워크로드를 실행하면 훨씬 안정적인 비용 구조와 일관된 성능을 확보할 수 있다.
이 차이는 단순한 수준이 아니다. 워크로드의 경제성을 근본적으로 바꿔놓을 수 있는 변화다.
비용, 성능, 규제 준수, 통제력을 동시에 최적화할 수 있는 단일 환경은 존재하지 않는다. 따라서 기업의 목표는 더 이상 표준화가 아니다. 중요한 것은 일관되면서도 경제적으로 타당한 워크로드 배치 결정을 내릴 수 있는 역량이다.
진짜 제약은 실행 역량이다
오늘날 클라우드 전략의 핵심 제약 요소는 더 이상 인프라 접근성이 아니다. 중요한 것은 해당 인프라를 사용하는 방식에 경제적 규율을 얼마나 일관되게 적용할 수 있는가이다.
여러 환경으로 구성된 인프라 포트폴리오를 관리하는 일은 단일 플랫폼을 운영하는 것보다 훨씬 복잡하다. 이를 위해서는 워크로드 배치에 대한 명확한 책임 체계, 비용과 성능 간의 절충 관계에 대한 가시성, 그리고 아키텍처 선택과 비즈니스 목표 간의 정렬이 필요하다.
하지만 대부분의 기업은 이를 효과적으로 수행할 준비가 되어 있지 않다.
각 팀은 자신이 맡은 영역을 중심으로 최적화를 추진한다. 개발 속도를 우선시하고, 가장 접근하기 쉬운 도구를 도입하며, 개발 기간 단축에 집중한다. 개별 프로젝트 수준에서는 이러한 방식이 효과를 낼 수 있다. 그러나 규모가 커지면 상황은 달라진다. 속도를 위해 퍼블릭 클라우드에 배포된 AI 워크로드는 시간이 지나면서 비용 문제와 데이터 위치 제약이 드러나고, 결국 해당 아키텍처의 지속 가능성을 떨어뜨리는 경우가 많다.
그 결과는 예상 가능하다. 분산된 아키텍처, 증가하는 비용, 그리고 일관되지 않은 성과다.
문제는 인프라 자체가 아니다. 인프라 관련 의사결정을 어떻게 내릴 것인지에 대한 일관된 거버넌스 모델이 부재한 데 있다.
이러한 환경에서 클라우드 성과는 조직 역량에 의해 좌우된다. 성과가 높은 기업은 클라우드를 단순한 기술 플랫폼이 아니라 관리되는 비즈니스 역량으로 취급한다. 이들은 워크로드 배치에 대한 명확한 책임 체계를 구축하고, 여러 환경에 대한 가시성을 확보하며, 인프라 의사결정을 전략적 우선순위와 연계한다.
반면 그렇지 못한 기업은 정반대의 결과를 경험한다. 복잡성은 커지고 통제력은 약화되며, 그에 상응하는 가치 창출 없이 비용만 증가하게 된다.
인프라 전략이 더욱 신중해지는 이유
이러한 변화는 선택의 문제가 아니다. 데이터, 규제, 인프라를 둘러싼 구조적 제약이 이를 강제하고 있다.
프라이빗 클라우드는 퍼블릭 클라우드가 효율적으로 수용하지 못하는 제약 조건에 대응하기 위한 대안으로 다시 주목받고 있다. 또한 주권 클라우드(Sovereign Cloud)는 특정 분야에 한정된 옵션이 아니라 전략적 필수 요소로 자리 잡고 있다.
데이터 주권(Data Sovereignty)의 개념도 확대되고 있다. 이제는 데이터 저장 위치뿐 아니라 누가 데이터에 접근할 수 있는지, 어떤 방식으로 처리되는지, 그리고 어떤 법적 체계 아래 운영되는지까지 포함한다.
이에 따라 아키텍처의 분리는 선택이 아닌 필수가 되고 있다. 워크로드는 서로 다른 규제와 제약 조건을 가진 여러 국가와 지역에 분산 배치되고 있으며, 각 환경은 고유한 요구사항을 갖는다.
하이퍼스케일러들은 주권 클라우드 서비스를 확대하며 대응하고 있다. 지역 기반 서비스 업체들은 특정 규제 및 성능 요구사항을 충족시키며 영향력을 확대하고 있다. 또한 고강도 AI 워크로드를 보다 효율적으로 지원하기 위한 전문 플랫폼도 등장하고 있다.
이는 단순한 분산을 위한 분산이 아니다. 보다 신중하고, 제약 조건을 고려하며, 경제성을 기반으로 한 인프라 의사결정으로의 전환이다.
클라우드는 조합형 모델로 진화한다
클라우드 시장은 서로 다른 환경이 각자의 역할을 수행하는 조합형(compositional) 모델로 진화하고 있다.
퍼블릭 클라우드는 여전히 핵심적인 역할을 담당한다. 특히 관리형 서비스, 글로벌 서비스 제공, 통합 개발 도구처럼 자체 구축이 쉽지 않은 역량에서는 더욱 그렇다. 그러나 더 이상 하나의 지배적인 환경만으로 모든 요구를 충족할 수는 없다.
대안 사업자들은 각자의 전문 영역을 구축하고 있다. 일부는 고성능 AI 연산에 집중하고, 다른 업체들은 규제 준수나 비용 효율성을 앞세운다. 프라이빗 인프라도 통제력과 예측 가능성이 중요한 영역에서 계속 중요한 역할을 수행하고 있다.
이는 승자독식 시장이 아니다. 기업이 서로 다른 환경을 얼마나 효과적으로 조합하느냐에 따라 가치가 결정되는 시장이다.
분산은 약점이 아니다. 오히려 점점 다양해지는 워크로드 요구사항에 대한 자연스러운 대응이다.
CIO가 던져야 할 새로운 질문
이제 CIO의 핵심 과제는 클라우드 도입 자체가 아니다. 여러 환경을 일관되고 경제적으로 합리적인 방식으로 운영할 수 있는 역량을 확보하는 것이 더 중요한 과제가 됐다.
대부분의 기업은 이미 사용할 클라우드 서비스 사업자를 선택한 상태다. 더 어려운 문제는 이들을 어떻게 활용할 것인가를 결정하는 일이다.
이를 위해서는 사고방식의 전환이 필요하다. 플랫폼 선택보다 아키텍처가 우선해야 하며, 편의성보다 거버넌스가 중요해야 한다. 또한 도구보다 조직의 역량이 우선시돼야 한다.
AI가 클라우드의 중요성을 약화시킨 것은 아니다. 오히려 클라우드를 무분별하게 사용하는 방식의 한계를 드러냈다.
앞으로 성공하는 기업은 최고의 클라우드 플랫폼을 보유한 기업이 아니다. 각 워크로드를 어디에서 실행해야 하는지에 대해 일관된 기준을 갖고, 이를 대규모 환경에서도 지속적으로 적용할 수 있는 운영 역량과 규율을 갖춘 기업이 될 것이다.
이러한 환경에서 클라우드 전략은 점점 인프라 자체의 문제가 아니라 경제적 통제력의 문제로 변화하고 있다.
dl-ciokorea@foundryco.com