AI가 기대만큼 성과를 내지 못한다면 문제는 모델이 아닐 가능성이 크다. 지저분한 데이터, 허술한 거버넌스, 그리고 조용히 성능을 갉아먹는 드리프트가 결과를 망치고 있다는 얘기다.
야구 선수 마리오 멘도사와 AI의 공통점은 ‘20% 성공률’이다. 멘도사의 타율은 ‘멘도사 라인(Mendoza Line)’이라는 말까지 낳았는데, 간신히 용인 가능한 수준의 성과를 뜻하는 단어로 굳어졌다. 산업 전반을 보면 AI 이니셔티브 5개 중 4개가 여전히 기대에 못 미친다. 원인은 대개 AI 자체가 아니라 ‘데이터 준비도 부족’에 있다.
기업은 효율성이나 매출 증대 등 효과를 기대하며 AI 기반 혁신 프로젝트를 서둘러 추진하지만, 정작 필수 전제인 데이터 준비도를 놓치기 쉽다. 가트너는 2026년까지 ‘AI에 적합한 데이터(AI-ready data)’가 뒷받침되지 않는 AI 프로젝트의 60%가 중단될 것으로 전망했다.
따라서 새로운 모델이나 도구에 또 투자하기 전에, 먼저 “데이터가 실제로 쓸 수 있는 상태인지”부터 확인해야 한다.
명확한 관계와 ‘그라운드 트루스’로 데이터 기반 다지기
AI로 성과를 내는 기업은 공통적으로 깨끗한 데이터 파이프라인, 통합된 데이터 레이크, 그리고 “데이터가 무엇을 의미하는지”에 대한 조직 차원의 합의를 갖추고 있다. 2024년에도 데이터 카탈로그 기업 세코다(Secoda)는 기업 데이터의 68%가 분석과 혁신 목적에서 여전히 활용되지 못하고 있다고 보고했다. 조직의 지식 대부분이 잠겨 있으면 알고리즘은 얕고 탁한 데이터 풀에서만 학습할 수밖에 없다.
데이터 준비도 측면에서 유통기업 월마트(Walmart)는 ‘서두르지 않는 방식’의 대표 사례로 꼽힌다. 월마트는 공급망, POS, 솔루션 업체 데이터를 수년에 걸쳐 연결했다. 이처럼 탄탄한 기반이 갖춰지자 이후 AI 도입은 훨씬 매끄럽게 진행됐고, 비용 절감과 품절 감소, 배송 효율화에도 도움이 됐다. 조직 내 다양한 데이터 소스 간 관계를 명확히 정의하고 설명하는 작업은, AI가 비즈니스 전반에서 데이터를 올바르게 이해하고 해석하는 데 핵심 역할을 한다.
모델 학습 과정에서는 이른바 ‘그라운드 트루스(ground truth)’ 데이터, 즉 정답 데이터 세트를 구축하는 것도 중요하다. 단순히 라벨이 붙은 데이터가 아니라, 조직의 전문지식을 기계가 학습할 수 있는 형태로 전환한 결과물이다. 먼저 해결하려는 비즈니스 문제에 직접 연결되는 온톨로지와 라벨 분류 체계를 명확히 세우는 것부터 시작해야 한다. 이어 학습 데이터의 양과 품질, 다양성이 충분한지 점검해 다양한 상황에서도 성능이 일관되게 나오도록 하고, 특히 인사나 헬스케어처럼 컴플라이언스 영향을 받는 사용례에서는 편향 완화까지 고려해야 한다.
데이터 품질 관리 기업 타입와이저(Typewiser)에 따르면, 결론은 분명하다. 데이터를 정비하는 일은 화려하진 않지만, AI 도입에서 가장 중요하고 결정적인 단계이다.
데이터 거버넌스는 ‘나중에’가 아니라 ‘처음부터’
거버넌스는 AI 도입 속도를 늦추는 것처럼 보일 수 있지만, 실제로는 승인 절차를 빠르게 하고 리스크를 줄이는 역할을 한다. 데이터 소유자와 감시자를 명확히 지정하고, 원천 데이터부터 모델 출력까지 이어지는 계약(데이터 계약), 계보(lineage), 출처(provenance)를 체계적으로 문서화해야 한다.
모델 학습이나 RAG 파이프라인을 구축할 때도, 데이터 접근 권한과 보존 정책이 하위 AI 애플리케이션까지 일관되게 적용되도록 해야 한다. 민감한 개인정보는 특히 주의가 필요하며, 규제가 요구하는 경우 동의 확보도 필수다.
거버넌스는 시스템 신뢰성에도 직결된다. 소유권이 분명하고, 문서가 재현 가능하며, 프로세스가 감사 가능한 상태라면 긴급 데이터 수정이 불러오는 혼란을 줄일 수 있다. 이른바 ‘레드 테이프’로 불리는 거버넌스는 속도를 늦추는 방해물이 아니라 품질을 기반으로 워크플로우를 더 빠르게 만드는 ‘가속 엔진’으로 작동한다.
시간에 따른 드리프트, AI ROI를 잠식하는 ‘조용한 부식’
원칙적으로 와인은 숙성될수록 좋아진다. 그러나 데이터는 보통 그렇지 않다. 고객 취향은 변하고, 공급망은 재편되고, 규제는 강화된다. 이 변화로 인해 AI가 “세상이 이렇게 생겼다”고 학습한 그림과 현실이 어긋나는데, 이를 드리프트(drift)라고 부른다.
드리프트는 크게 두 가지로 나뉜다. 데이터 드리프트는 입력 데이터 분포가 바뀌는 경우다. 예를 들어 환자 인구통계의 구성이나 규모가 달라지는 상황이 이에 해당한다. 개념 드리프트는 입력과 결과 사이의 관계가 변하는 경우다. 팬데믹 이전에 설계된 임상 알고리즘이 이후 환경 변화로 더는 맞지 않게 되는 사례를 떠올리면 이해가 쉽다.
이 문제가 방치되면 ROI는 눈에 띄게 훼손된다. IT 운영 분석 기업 인사이트파인더(InsightFinder)에 따르면, 한 이커머스 기업에서 CTR이 예고 없이 30% 하락했는데도 한동안 아무도 이를 알아채지 못했다.
드리프트는 모델의 비즈니스 가치를 떨어뜨리거나 아예 사라지게 만들 수 있다. 경우에 따라서는 막대한 손실로 이어진다. 부동산 플랫폼 기업 질로(Zillow)에서는 “주택 가치 평가 알고리즘이 2021년 3분기와 4분기에 매입한 주택의 가치를 5억 달러 이상 과대평가하도록 만들었다”는 분석도 나온 바 있다.
회복탄력성을 확보하려면 파이프라인에 모니터링을 추가하고 주요 변수에 통계적 드리프트 테스트를 수행하며, 예측 결과를 실제 피드백과 비교하고, 일정 주기로 모델을 재학습해야 한다. 일부 조직은 운영 환경과 별도로 ‘섀도우 모델’을 함께 돌려, 출력이 벌어지기 시작하면 즉시 경보를 울리도록 하기도 한다.
AI는 어느 날 갑자기 실패하지 않는다. 정확도가 조금씩 ‘바래’ 사라질 뿐이다. 데이터 열화를 조기에 포착할 수 있는 지표를 세워, 고객과 신뢰를 잃거나 분기 매출에 타격을 입기 전에 막아야 한다.
지속 가능한 데이터 준비도가 가져오는 성과
결론은 분명하다. 데이터 준비도를 소홀히 하는 조직은 상당수 AI 배포가 ROI 목표를 달성하지 못하거나, 아예 실패로 끝날지도 모른다. 반대로 데이터 기반·거버넌스·드리프트 대응이라는 기본기를 갖춘 조직은 성공하는 AI 프로젝트의 반열에 올라, 실제 비즈니스 가치를 만들어낼 수 있을 것이다.
dl-ciokorea@foundryco.com