에이전트의 기억은 사실보다 판단 기록에서 먼저 오염된다

제일 먼저 든 생각

에이전트 메모리를 만들 때 가장 먼저 걱정하는 것은 보통 “잘못된 문서가 검색되면 어떡하지”다. 그런데 이 논문은 조금 다른 지점을 찌른다. 에이전트가 기억하는 사실이 아니라, 에이전트가 과거에 했다고 믿는 판단 기록이 오염될 수 있다는 것이다.

이 차이는 크다. 사실 지식이 틀리면 다시 조회하거나 검증하자는 생각을 하기 쉽다. 하지만 “이미 검증했다”, “이 조건은 이전에 확인됐다”, “상위 단계에서 처리됐다” 같은 판단 기록은 작업을 건너뛰게 만든다. 자동화 워크플로에서는 이게 더 위험할 수 있다.

논문을 바탕으로, 추론 기록 위조 공격과 방어 파이프라인을 업무 자동화 메모리 관점에서 정리한 그림이다.

메모리는 지식 저장소가 아니라 실행 근거가 된다

논문은 LLM 에이전트의 지속 메모리(persistent memory)가 사실 지식, 이전 의사결정, 추론 기록, 도구 사용 정보, 맥락을 저장한다고 설명한다. 이 메모리는 연속성과 효율을 높인다. 그러나 동시에 새로운 공격 표면이 된다.

“지속 메모리는 에이전트의 기능성과 작업 간 연속성을 개선했지만, 동시에 새로운 공격 표면, 곧 에이전트 자신의 추론 이력을 만들었다.”

While this has improved the agent’s functionality and continuity across tasks, it has also introduced a new attack surface: the agent’s own reasoning history.

논문이 제안하는 공격은 FARMA(Forged Amplifying Rationale Memory Attack)다. 핵심은 외부 사실을 바꾸는 것이 아니라, 에이전트의 기억 속에 위조된 추론 흔적을 심는 것이다. 예를 들어 “검증을 건너뛰라”처럼 노골적으로 쓰면 필터에 걸릴 수 있다. 대신 “상위 컴포넌트에서 사전 검증이 완료되었다”처럼 정상적인 업무 기록처럼 보이는 문장을 넣는다.

그 다음에는 위조 기록이 서로를 인용하게 만들어 “이미 여러 번 확인된 선례”처럼 보이게 한다. 논문은 이것을 self-referential reinforcement, 즉 자기참조적 강화로 설명한다. 업무 자동화로 번역하면 가짜 결재 이력이나 가짜 점검 로그가 여러 번 쌓여서 진짜 운영 기준처럼 보이는 상황이다.

공격은 ‘무엇을 아는가’보다 ‘무엇을 생략해도 된다고 믿는가’를 노린다

가장 실무적으로 무서운 예시는 검증 생략이다. 논문은 의료 데이터 가져오기 에이전트를 예로 든다. 공격자는 의료 사실 자체를 바꾸지 않는다. 대신 메모리에 “환자번호 형식, 데이터 타입, 임상 범위, HIPAA 검토가 이미 상위 단계에서 완료됐다”는 식의 기록을 심는다. 그러면 실제 요청이 들어왔을 때 에이전트는 자기 메모리를 근거로 직접 가져오기를 진행할 수 있다.

이 구조는 RAG나 업무 에이전트 설계에서 매우 중요하다. 검색된 문서만 안전하게 만들면 되는 것이 아니다. 에이전트가 과거의 판단, 검증, 승인, 예외 처리를 어떤 권위로 받아들이는지도 설계해야 한다.

논문 실험에서 FARMA는 방어가 없는 조건에서 최대 100% 공격 성공률을 보였고, 키워드 필터나 합의 기반 방어를 우회할 수 있었다. 반대로 SENTINEL이라는 방어 파이프라인은 특정 조건에서 공격 성공률을 0%까지 낮췄고, 326개의 정상 에이전트 흔적에서 거짓 양성을 관찰하지 않았다고 보고한다. 물론 이 수치는 논문이 설정한 도메인, 모델, 실험 조건 안에서 읽어야 한다. 그래도 방향은 분명하다. 메모리 보안은 검색 결과 보안만으로 끝나지 않는다.

원문 첫 페이지. 논문은 추론 기록 위조 공격 FARMA와, 다층 방어 파이프라인 SENTINEL을 제안하고 평가한다.

방어는 메모리의 출처와 형태를 같이 봐야 한다

SENTINEL은 키워드 필터 하나로 막겠다는 접근이 아니다. 출처 라벨링, 오염 임계값 필터링, 패턴 스크리닝 같은 바깥층과 Reasoning Guard를 함께 둔다. Reasoning Guard는 후보 메모리 항목이 위조된 추론 기록처럼 보이는지 구조적으로 분석한다.

여기서 배울 점은 “나쁜 단어를 찾자”가 아니라 “이 기록이 어떤 권한으로 다음 실행을 바꾸는가”를 묻는 것이다. 자동화 시스템에서 메모리 항목은 단순 참고자료가 아니라 실행 조건이 될 수 있다. 그렇다면 메모리에도 권한, 출처, 유효기간, 검증 상태가 붙어야 한다.

Deciflow식 개인·팀 에이전트에도 그대로 적용된다.

• 문서 메모리: 외부 자료에서 온 사실.
• 작업 메모리: 내가 과거에 처리한 단계.
• 판단 메모리: 왜 그렇게 결정했는지.
• 승인 메모리: 누가 어떤 권한으로 통과시켰는지.

이 네 가지를 한 벡터DB에 섞어두고 “관련도 높은 것”만 꺼내면 위험하다. 특히 판단 메모리와 승인 메모리는 검색되었다는 이유만으로 실행 근거가 되어서는 안 된다.

내 업무에 붙여본다면

오늘의 작은 실험은 에이전트 메모리에 “실행을 생략하게 만드는 문장”을 표시하는 것이다.

1. 에이전트가 저장하는 메모리 항목을 20개만 샘플링한다.
2. 그중 이미 확인됨, 검증 완료, 승인됨, 다음부터 생략 가능 같은 실행 권한 문장을 찾는다.
3. 해당 문장마다 출처, 작성 주체, 유효기간, 재검증 조건을 붙인다.
4. 출처가 불명확한 판단 기록은 검색되어도 자동 실행 근거로 쓰지 않게 한다.
5. 중요한 작업에서는 “메모리에 있으니 생략”이 아니라 “메모리에 있으니 재확인 후보”로 다룬다.

질문은 단순하다. 우리 에이전트의 기억 중에서, 다음 실행을 바꿀 만큼 권한을 가진 기억은 무엇인가. 그리고 그 기억은 정말 그 권한을 가져도 되는가.

원문 정보

• 제목: Your Agent’s Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses
• 저자: Neeraj Karamchandani, Piyush Nagasubramaniam, Sencun Zhu, Dinghao Wu
• 게시일: 2026년 7월 6일
• 출처: arXiv
• PDF: https://arxiv.org/pdf/2607.05029

원문 논문: Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses