에이전트 보안은 차단보다 확률의 상한을 관리하는 일이다

제일 먼저 든 생각

AI 에이전트를 업무에 붙일 때 가장 불편한 질문은 “실패할 수 있는가”가 아니다. 실패한다는 것은 이미 알고 있다. 더 어려운 질문은 “어떤 실패가 어느 정도의 확률로 일어날 수 있고, 그 상한을 어디까지 낮췄다고 말할 수 있는가”다.

이 논문은 도구를 호출하고 터미널·브라우저·API 같은 디지털 환경에서 움직이는 AI 에이전트의 보안 검증을 다룬다. 기존 런타임 모니터링은 Datalog 같은 형식 언어로 정책을 쓰고 위반을 감지하는 방향으로 발전해 왔지만, 많은 접근은 조건이 참/거짓으로 확정된다는 가정에 기대고 있었다. 실제 업무 자동화에서는 그렇게 깔끔하지 않다. 개인정보(PII) 탐지기도 틀릴 수 있고, 분류기도 오탐·미탐을 낸다. 논문은 이 모호함을 확률적 술어(probabilistic predicate)와 상태 전이로 다루고, 상관관계를 정확히 모르는 상황에서도 정책 위반 확률의 안전한 상한을 계산하려 한다.

이 그림은 논문의 수학적 검증 틀을 “도구 호출 → 불확실한 감지기 → 정책 위반 확률 상한”이라는 업무 자동화 질문으로 옮겨 읽기 위한 요약이다.

“금지 규칙”만으로는 부족한 이유

업무용 에이전트 보안 정책은 보통 금지문으로 시작한다. 고객 개인정보를 외부 도구에 보내지 말 것. 승인 없이 파일을 삭제하지 말 것. 특정 시스템의 토큰을 노출하지 말 것. 하지만 실제 에이전트 흐름에서는 이 규칙을 적용하는 중간 판단 자체가 불확실하다. 어떤 문자열이 개인정보인지, 어떤 요청이 탈취성 프롬프트인지, 어떤 도구 호출이 안전한지 판단하는 감지기가 완벽하지 않기 때문이다.

실제 AI 에이전트 응용에서는 모호함 속에서도 보안 정책을 강제해야 하며, 예를 들어 비식별화기나 개인정보 탐지기가 호출마다 실패 확률을 가질 수 있다.

“In many practical applications of AI agents, there is a need to enforce security policies in the face of ambiguity, leading to probabilistic predicates or state transitions.”

이 문장은 에이전트 운영 기준을 조금 바꾼다. “이 정책을 넣었으니 안전하다”가 아니라 “이 감지기와 이 정책 조합에서 위반 확률의 상한이 얼마인가”를 물어야 한다. 특히 여러 감지기의 실패가 독립적이라고 쉽게 가정하면 위험하다. 논문은 그 상관 구조를 정확히 모를 때도 보수적인 상한을 구하는 분포 강건 최적화(distributionally robust optimization) 접근을 쓴다.

실무 자동화에서 가져올 수 있는 원칙

논문의 실험은 터미널 에이전트 벤치마크와 도구 호출 환경에서 보안-효용 균형을 본다. 이 결과를 곧바로 모든 사내 에이전트에 적용할 수는 없다. 다만 업무 설계 원칙으로는 꽤 선명하다.

첫째, 에이전트 정책은 “허용/차단” 목록만으로 끝나면 안 된다. 각 판단 장치의 실패 확률과 근거를 기록해야 한다. 둘째, 여러 안전장치를 붙였다고 해서 위험이 단순히 곱셈처럼 줄어든다고 가정하면 안 된다. 셋째, 자동화의 성공 지표에는 처리율뿐 아니라 정책 위반 확률의 상한이 같이 들어가야 한다.

작게 적용하면 이런 체크리스트가 된다.

• 이 에이전트가 호출할 수 있는 도구와 데이터 범위는 어디까지인가
• 각 호출 전에 어떤 감지기나 규칙이 작동하는가
• 그 감지기는 어떤 상황에서 틀릴 수 있는가
• 실패가 동시에 일어날 가능성을 독립으로 가정해도 되는가
• 업무상 받아들일 수 있는 위반 확률 상한은 얼마인가

Deciflow에 붙인다면

RAG, 리포트 자동화, 평가 자동화처럼 에이전트가 여러 도구를 이어 붙이는 흐름에서는 “실행 로그”만큼 “위험 예산”이 필요하다. 예를 들어 사내 문서를 검색하고, 요약하고, 외부 API로 번역하는 에이전트라면 각 단계에 데이터 반출 위험이 생긴다. 이때 단순히 마지막 출력만 검사하는 것이 아니라, 단계별 정책 위반 가능성을 기록하고 상한을 관리해야 한다.

이 논문이 보여준 것은 에이전트 보안을 완벽하게 해결했다는 결론이 아니다. 이 조건에서 보여주는 것은, 불확실한 감지기와 도구 호출이 섞인 환경에서도 보수적인 수치로 위험을 관리하려는 길이 있다는 점이다.

다음 자동화 실험에서는 성능표 옆에 작은 보안표를 붙이고 싶다.

이 에이전트가 일을 끝냈다는 사실 말고, 일을 끝내는 동안 넘지 않았다고 말할 수 있는 위험의 상한은 무엇인가?

원문 정보

• 제목: Efficient and Sound Probabilistic Verification for AI Agents
• 저자: Alaia Solko-Breslin, Pramod Kaushik Mudrakarta, Mihai Christodorescu, Somesh Jha, Krishnamurthy Dj Dvijotham
• 게시일: 2026년 6월 18일
• 출처: arXiv, 2606.20510v1

원문 논문: Efficient and Sound Probabilistic Verification for AI Agents