AI 환각은 이미 널리 알려진 문제다. 특히 컴플라이언스 평가 분야에서는 그럴듯하지만 부정확한 평가가 부실한 리스크 분석, 잘못된 정책 가이드, 심지어 부정확한 사고 보고로 이어지며 실제 피해를 초래할 수 있다.
사이버보안 리더는 AI가 단순 요약을 넘어 판단을 내리기 시작하는 순간부터 진짜 문제가 시작된다고 지적한다. 보안 통제가 제대로 작동하는지, 기업이 컴플라이언스 기준을 충족하는지, 사고 대응이 적절했는지 등을 AI가 결정하도록 맡길 때 위험이 커진다는 설명이다.
다음은 CISO가 AI 환각 문제에 대응할 수 있는 9가지 방법이다.
중요 의사결정에는 반드시 사람을 참여시켜라
미국의 드브리 대학교(DeVry University)의 부총장이자 CISO인 프레드 쿵은 자사 팀이 거버넌스, 리스크, 컴플라이언스(GRC) 업무, 특히 제3자 리스크 평가 분야에서 AI를 신중하게 테스트하고 있다고 밝혔다. AI는 벤더의 보안 태세를 평가하기 위해 설문지와 관련 증빙 자료를 검토하는 데 도움을 주지만, 사람을 대체하지는 못한다는 설명이다.
쿵은 “현재 AI의 해석은 기대에 미치지 못하거나 인간이 해석하는 방식과 다른 경우가 있다”라고 말했다.
그는 AI가 통제 요구사항을 숙련된 보안 전문가와 다르게 이해하는 경우가 많다고 설명했다. 이 때문에 그의 팀은 여전히 결과를 수작업으로 검토하고 있다. 또한 아직 기술에 대한 신뢰가 충분히 형성되지 않아 시간 절감 효과도 크지 않다고 덧붙였다.
미국의 기업용 IT 솔루션을 제공하는 인포(Infor)의 수석부사장이자 CISO인 미뇨나 코테 역시 리스크 점수 산정, 통제 평가, 사고 분류 과정에서 사람의 감독이 필수적이라고 강조했다. 코테는 “중요 의사결정에는 반드시 사람이 참여해야 한다”라며 AI를 독자적으로 최종 결정을 내리는 도구가 아닌 생산성 향상 도구로 봐야 한다고 설명했다.
AI 결과물을 완성본이 아닌 초안으로 다뤄라
보안 전문가에 따르면 AI를 과도하게 신뢰하는 것이 가장 큰 위험 요소 중 하나다. 인포의 코테는 AI가 생성한 콘텐츠가 사람의 검토 없이 곧바로 컴플라이언스 문서에 반영되지 않도록 내부 정책을 변경했다고 밝혔다.
코테는 “팀이 AI가 생성한 답변을 최종 결과물로 받아들이는 순간 문제가 발생한다”라며 “모든 출력물은 완성본이 아닌 1차 초안으로 취급해야 한다”라고 설명했다. 이어 반복되는 질문에는 유사한 답변이 나올 수밖에 없으며, 이러한 답변에 라벨을 붙이고 생성 시점을 기록해 두면 대규모 환경에서도 체계적으로 관리할 수 있다고 전했다.
인도의 IT 솔루션 기업 엠파시스(Mphasis)의 최고솔루션책임자 스리쿠마르 라마나탄은 이러한 과신이 이른바 ‘자동화 편향(automation bias)’에서 비롯된다고 분석했다. 사람은 명확하고 자신감 있게 작성된 문장을 사실로 받아들이는 경향이 있다는 것이다.
이를 해소하기 위해 기업은 ‘적극적 회의(active skepticism)’ 문화를 구축해야 한다고 라마나탄은 밝혔다. 그는 “AI 출력물을 실행 가능한 결과로 보기 전에 반드시 사람의 책임 서명을 거치는 검증되지 않은 초안으로 인식해야 한다는 의미”라고 설명했다.
벤더에게 그럴듯한 설명이 아닌 명확한 증거를 요구하라
벤더가 자사 AI가 ‘컴플라이언스를 평가한다’거나 ‘통제를 검증한다’고 주장할 때, 보안 리더는 보다 까다로운 질문을 던져야 한다고 전문가들은 지적한다.
드브리 대학교의 쿵은 AI가 제시한 답변의 추적 가능성을 벤더에 요구한다고 밝혔다. 팀이 AI가 어떤 근거로 결론에 도달했는지 확인할 수 있어야 한다는 취지다. 쿵은 “그러한 추적성이 없다면 문제를 식별하기가 훨씬 더 어려워진다”라고 말했다.
라마나탄은 시스템이 타임스탬프가 찍힌 로그 항목이나 특정 구성 파일 등, 답변의 근거가 되는 정확한 증거를 제시할 수 있는지 확인해야 한다고 조언했다. 이를 제시하지 못한다면 해당 도구는 단지 그럴듯한 문장을 생성하고 있을 가능성이 있다는 설명이다.
사이버보안 및 아이덴티티 분야 리더인 푸닛 바트나가르는 핵심은 AI가 실제 운영 중인 데이터를 분석하고 있는지, 아니면 단순히 문서를 요약하고 있는지를 구분하는 것이라고 밝혔다. 최근 블랙스톤에서 아이덴티티 관리 총괄 수석부사장을 지낸 바트나가르는 “벤더가 결론에 이르는 결정론적 증거 경로를 제시하지 못한다면, 이는 평가를 수행하는 것이 아니라 서사를 생성하는 것에 가깝다”라며 “컴플라이언스는 언어의 문제가 아니라 증명의 문제”라고 말했다.
신뢰를 확대하기 전 모델을 스트레스 테스트하라
쿵은 AI 도구의 일관성을 먼저 점검해야 한다고 조언했다. 예를 들어 동일한 데이터를 두 차례 입력해 결과를 비교해보는 방식이다. 이에 대해 쿵은 “같은 데이터를 다시 입력했을 때 동일한 결과가 나오는지 확인해야 한다”라고 설명했다.
답변이 크게 달라진다면 이는 위험 신호로 볼 수 있다. 또한 중요한 증거를 일부 제거한 뒤 모델이 어떻게 반응하는지도 살펴볼 필요가 있다. 충분한 근거가 없음에도 확신에 찬 답변을 내놓는다면 환각 가능성을 의심해야 한다는 것이다.
인포의 코테는 AI 출력 결과를 스캐닝 시스템이나 외부 침투 테스트 결과 등 다른 도구와 교차 검증한다고 밝혔다. 코테는 “이미 알고 있는 결과와 반복적으로 대조해 검증을 통과하기 전까지는 어떤 AI 도구에도 신뢰를 부여하지 않는다”라고 말했다.
AI 오류 발생률을 측정하고 성능 변화를 지속적으로 점검하라
보안 리더는 시간이 지남에 따라 AI의 정확도를 지속적으로 추적해야 한다고 강조한다. 쿵은 AI가 생성한 평가 결과와 사람의 검토 결과를 정기적으로 비교하고 차이를 분석해야 하며, 이러한 과정은 최소 분기별로 수행해야 한다고 밝혔다.
엠파시스의 라마나탄은 AI 결론이 사람의 검토와 얼마나 자주 달라지는지를 나타내는 ‘드리프트율(drift rate)’과 같은 지표를 추적할 것을 제안했다. 라마나탄은 “6개월 전 92%의 정확도를 보이던 모델이 현재 85%로 떨어졌다면, 지속적으로 80% 수준을 유지한 모델보다 더 위험할 수 있다”라며 “팀의 신뢰 수준이 더 높은 수치에 맞춰져 있기 때문”이라고 분석했다.
또한 AI가 인용한 증거가 실제로 주장을 뒷받침하는지 여부도 측정해야 한다고 설명했다. 환각 비율이 지나치게 높아질 경우, 거버넌스 모델 내에서 AI의 자율성을 낮추는 등 권한을 축소하는 조치가 필요하다고 조언했다.
컴플라이언스 기준 적용 과정의 해석 오류를 경계하라
사이버보안 및 아이덴티티 분야 전문가인 푸닛 바트나가르는 통제의 효과성, 규제 공백, 사고 영향 등과 관련해 AI가 판단을 내려야 하는 상황에서 가장 위험한 환각이 발생한다고 밝혔다.
AI는 바트나가르가 ‘그럴듯한 컴플라이언스(plausible compliance)’라고 부르는 답변을 만들어낼 수 있다. 이는 설득력 있게 들리지만 실제 현장 맥락이 결여돼 있어 잘못된 결론에 이르는 경우를 의미한다. 컴플라이언스는 단순히 문서에 명시된 내용만으로 판단할 수 없으며, 기술적 세부 사항과 보완 통제, 실제 운영 환경 등 다양한 요소에 의해 좌우된다.
라마나탄은 AI가 허용적 표현(‘may’, ‘can’)과 의무적 표현(‘must’, ‘is required to’) 사이의 미묘한 차이를 구분하는 데 어려움을 겪는다고 설명했다.
라마나탄은 “예를 들어 AI는 ‘직원은 교육을 이수한 후 시스템에 접근할 수 있다’와 같은 허용적 문장을 엄격하고 강제력이 있는 규칙으로 오해하는 경우가 많다”라며 “선택적 권한을 필수 통제로 간주해, 정책이 제대로 집행되고 있는지 또는 보안 조치가 효과적인지에 대해 잘못된 가정을 하게 된다”라고 분석했다.
일반적이거나 동일한 평가 결과에 의문을 제기하라
일부 벤더는 자사 AI 도구의 실제 기능을 과장해 홍보하는 경우가 있다. 푸닛 바트나가르는 많은 도구가 문서를 요약하거나 갭 리포트를 생성하는 수준에 머물러 있음에도, 이를 마치 전면적인 자동화 컴플라이언스 점검을 수행하는 것처럼 마케팅한다고 지적했다.
여러 고객이 거의 동일한 평가 결과를 받는 경우 위험은 더욱 커진다. 조직은 자사 통제가 충분히 정밀하게 평가됐다고 믿을 수 있지만, 실제로는 AI가 피상적인 문서 검토만 수행했을 가능성이 있다.
엠파시스의 라마나탄은 이러한 상황이 잘못된 확신을 낳고, 산업 전반의 리스크로 확산될 수 있다고 분석했다. 널리 사용되는 하나의 모델에 결함이 있을 경우, 그 사각지대가 광범위하게 퍼질 수 있다는 설명이다.
바트나가르는 여러 고객이 구조적으로 유사하거나 거의 동일한 평가를 받는 상황에서도, 벤더가 해당 AI 도구를 조직의 컴플라이언스 여부를 평가하는 솔루션으로 홍보하는 사례를 목격했다고 전했다. 이런 경우 도구가 기업별 정책이나 증거를 실제로 분석하기보다는, 맞춤형처럼 보이는 문장을 생성하고 있을 가능성이 높다고 설명했다.
바트나가르는 “우리는 아직 AI 서사 생성과 AI 기반 검증을 명확히 구분하는 초기 단계에 있다”라며 “이 구분이 향후 거버넌스 도구의 다음 단계를 결정하게 될 것”이라고 말했다.
감사와 법률 검토에서 책임성을 강화하라
전문가에 따르면 규제 관점에서 AI가 책임을 대신해주지는 않는다. 라마나탄은 감독 의무가 여전히 기업 임원에게 있다는 점을 규제 당국이 분명히 하고 있다고 설명했다.
라마나탄은 “AI가 생성한 평가가 중대한 취약점을 놓쳤다면 조직은 ‘감독 의무 위반’에 대한 책임을 질 수 있다”라며 “검증되지 않은 AI 결과에 의존하는 행위가 중대한 과실로 간주될 수 있는 시대에 이미 들어섰다”라고 지적했다. 이어 “AI 오류로 인해 감사 결과가 잘못됐다면 단순히 감사를 통과하지 못한 문제가 아니라, 오해를 불러일으키는 규제 보고서를 제출한 책임까지 지게 된다”라며 “‘AI가 그렇게 판단했다’는 주장은 면책 사유가 될 수 없다”라고 밝혔다.
인포의 코테는 감사 과정에서 모든 중대한 의사결정이 사람의 검토와 승인을 거쳤다는 점을 입증하는 것이 중요하다고 말했다. 코테는 “핵심은 모든 중요한 의사결정 지점에 사람이 관여했음을 타임스탬프와 감사 추적 기록으로 증명하는 것”이라고 설명했다.
자동화된 규제 기준 연동에 신중하라
라마나탄은 기업이 내부 통제를 GDPR이나 SOC 2와 같은 규제 기준에 자동으로 연동하기 위해 AI에 의존할 때 가장 큰 컴플라이언스 리스크가 발생한다고 밝혔다.
라마나탄은 “컴플라이언스 측면에서 가장 큰 위험은 자동화된 규제 기준 연동에 있다”라며 “AI는 기능적·운영적 현실이 아닌 언어적 패턴에 기반해 통제가 존재하거나 요구사항을 충족한다고 확신할 수 있다”라고 설명했다.
예를 들어 AI 도구는 데이터베이스 구성에 암호화 설정이 명시돼 있는 것을 확인하고, 해당 기능이 시스템에서 비활성화돼 있음에도 암호화가 적용된 것으로 잘못 판단할 수 있다.
라마나탄은 이러한 상황이 “기업이 감사 준비를 마쳤다고 믿지만, 실제 침해 사고가 발생한 뒤 AI가 검증한 방어 체계가 존재하지 않거나 잘못 구성됐다는 사실을 발견하게 되는 심각한 보안 공백을 초래할 수 있다”라고 지적했다.
이 같은 위험을 줄이기 위해 그는 조직이 정책과 규정을 보다 명확하게 구조화하고, 문서 해석을 AI에만 의존하기보다 이를 집행 가능한 기술적 규칙과 연계해야 한다고 조언했다.
dl-ciokorea@foundryco.com