AI 도입은 신뢰보다 먼저 버틸 구조를 물어야 한다
논문 『The AI Resilience Gap: Bringing Artificial Intelligence Inside the Operational Resilience Perimeter』를 읽고
AI를 윤리·정확도 문제로만 다루면, 서비스가 멈췄을 때 누가 어떻게 버틸지라는 더 현실적인 질문이 빠진다.
제일 먼저 든 생각
AI 도입 회의에서 자주 나오는 질문은 “이 모델이 안전한가, 정확한가, 공정한가”다. 물론 필요한 질문이다. 그런데 이 논문이 걸어오는 질문은 조금 더 무겁다. 그 AI가 갑자기 느려지거나, 답이 달라지거나, 공급자가 멈췄을 때도 중요한 서비스가 계속 굴러가는가.
논문은 이 틈을 AI 리질리언스 격차(AI resilience gap)라고 부른다. 신뢰할 만한 AI(trustworthy AI)를 만드는 일과, AI가 박힌 업무 서비스가 중단 상황에서도 버티게 만드는 일은 같은 문제가 아니라는 것이다.
신뢰성과 리질리언스는 서로 다른 속성이다. 첫 번째를 관리한다고 두 번째가 따라오지는 않는다.
“Trustworthiness and resilience are different properties. Managing the first does not deliver the second.”
Deciflow식으로 옮기면 이렇다. AI 도입 체크리스트가 “잘 답하는가”에서 끝나면 부족하다. 이제는 “망가졌을 때 사람이 어느 경로로 이어받는가”까지 업무 설계에 들어가야 한다.
논문 구조를 Deciflow식 연구 브리프로 정리한 그림. 핵심은 AI 컴포넌트의 성능보다 서비스 지속성, 대체 가능성, 공급자 집중도를 같이 본다는 점이다.
논문이 보는 빈칸
저자는 영국 금융권의 AI 도입과 규제 흐름을 배경으로 삼는다. EU AI Act, ISO/IEC 42001, NIST AI RMF 같은 체계는 안전성, 공정성, 설명가능성, 문서화, 모델 리스크를 다룬다. 하지만 금융기관의 운영 리질리언스 체계는 다른 질문을 한다. 중요한 업무 서비스(important business services)가 심각하지만 그럴듯한 장애 상황에서도 허용 가능한 중단 범위 안에 머무는가.
이 차이가 중요하다. 어떤 AI 시스템은 문서화도 잘 되어 있고, 편향 검토도 했고, 인간 감독도 붙어 있을 수 있다. 그래도 특정 외부 모델 제공자 하나에만 의존하고, 장애 시 대체 경로를 연습해본 적이 없다면, 그 시스템은 중요한 업무 서비스의 약한 고리가 된다.
논문은 그래서 AI를 “모델”이 아니라 **서비스 의존성(dependency)**으로 지도에 올려야 한다고 말한다. AI가 어느 업무 서비스 안에 들어가 있는지, 그 서비스가 멈추면 무엇이 흔들리는지, 대체 가능한지, 사람 경로가 실제로 살아 있는지 확인해야 한다.
좋은 AI보다, 끊겼을 때의 절차
저자가 제안하는 AI 리질리언스 프레임워크(AI Resilience Framework)는 크게 다섯 가지 방향으로 읽힌다.
- AI 의존성이 어느 업무 서비스에 들어가 있는지 매핑한다.
- 중요도와 대체 가능성에 따라 의존성을 층위화한다.
- 기존 업무의 영향 허용치(impact tolerance)를 AI 특유의 실패 모드까지 확장한다.
- 명시적인 폴백 원칙(fallback doctrine)을 둔다.
- 특정 모델·클라우드·인프라 제공자에 쏠린 집중 리스크를 관리한다.
특히 마음에 남은 부분은 “사람 감독”에 대한 문장이다.
인간 감독은, 그 인간 경로가 인력으로 유지되고, AI 없이 운영할 역량을 보존하며, 충분히 자주 연습될 때에만 리질리언스 통제장치가 된다.
“Human oversight … is a resilience control only if the human path is staffed, retains the competence to operate without the AI, and is exercised often enough to remain viable.”
이 문장은 AI 업무설계에서 자주 놓치는 부분을 찌른다. “최종 검토는 사람이 한다”는 문장은 보기에는 안전장치처럼 보인다. 하지만 실제로 그 사람이 충분한 시간, 권한, 도메인 지식, 대체 절차를 갖고 있지 않다면 그것은 통제가 아니라 문서상의 안심 장치에 가깝다.
내 일에 붙여보면
조직의 AI 도입을 도울 때 바로 가져올 수 있는 질문은 세 가지다.
- 이 AI 기능이 실패하면 “업무 품질”만 떨어지는가, 아니면 “서비스 지속성”이 흔들리는가?
- 같은 일을 AI 없이 처리하는 폴백 절차가 문서가 아니라 실제 훈련으로 남아 있는가?
- 특정 모델, API, 클라우드, 벤더에 대한 의존성이 팀 단위가 아니라 조직 단위로 보이는가?
예를 들어 교육 평가 자동화나 HR 데이터 분석에서도 비슷하다. AI가 보고서를 빠르게 써주는 것은 편리하다. 그러나 평가 기간에 외부 모델이 느려지거나 정책이 바뀌면, 누가 어떤 기준으로 수동 평가를 이어갈지 정해져 있어야 한다. AI 도입은 도구 구매가 아니라 업무 연속성 설계가 된다.
원문 첫 페이지. 금융 규제 맥락의 논문이지만, AI를 중요한 업무 서비스 안의 의존성으로 본다는 관점은 일반 조직의 AI 도입에도 바로 번역된다.
조심해서 읽을 부분
이 논문은 실험 논문이라기보다 규제·운영 프레임워크를 정리하고 제안하는 성격이 강하다. 따라서 “이 방식이 성과를 검증했다”기보다는, 영국 금융권의 규제 흐름과 운영 리질리언스 체계를 연결해 AI 의존성을 관리할 언어를 제안한다고 읽는 편이 맞다.
그래도 실무 질문은 분명하다. 다음 AI 도입 회의에서는 “정확도” 표 옆에 작은 칸을 하나 더 두고 싶다.
이 기능이 멈췄을 때, 우리 업무는 몇 시간까지 버틸 수 있고 누가 이어받는가.
원문 정보
- 제목: The AI Resilience Gap: Bringing Artificial Intelligence Inside the Operational Resilience Perimeter
- 저자: Jonathan Shelby
- 연도/게시일: 2026
- 게재/출처: arXiv
- arXiv: 2607.07359v1
- PDF: https://arxiv.org/pdf/2607.07359