Deciflow Notes
바로가기YTtrendAIHRD자동화논문영상리포트
논문 메모 · 2026년 7월 4일

에이전트의 기억은 쌓는 것보다 옮겨 쓰는 법이 어렵다

논문 『Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation』를 읽고

대표 이미지

반복 업무를 수행하는 LLM 에이전트에서 절차적 기억이 언제 일반화되고 언제 특정 역할에 과적합되는지 평가한 AFTER 벤치마크 논문을 읽었다.

제일 먼저 든 생각

업무용 AI 에이전트를 만들다 보면 “기억을 붙이면 좋아질 것”이라고 쉽게 말하게 된다. 하지만 이 논문은 기억의 더 까다로운 면을 본다. 어떤 절차는 다른 업무와 다른 모델에서도 옮겨 쓸 수 있지만, 어떤 절차는 처음 배운 환경에 너무 붙어서 다른 곳에서는 오히려 성능을 떨어뜨릴 수 있다.

그래서 이 논문은 에이전트 메모리를 저장소가 아니라 전이 가능한 업무 기술의 묶음으로 보게 만든다. 기억을 많이 쌓는 것보다 중요한 것은, 그 기억이 역할·업무·모델이 바뀌어도 살아남는지 평가하는 일이다.

AFTER 벤치마크와 절차적 기억 평가 구조를 카드형 인포그래픽으로 정리한 그림

절차적 기억은 반복 업무를 빠르게 만들 수 있지만, 좁은 경험에서 배운 기술은 다른 업무로 옮길 때 과적합될 수 있다.

반복 업무에는 지식보다 절차가 남는다

논문은 LLM 에이전트가 실제 업무에서 문서 처리, 스프레드시트 편집, 발표자료 작성, SQL 질의, 인프라 설정, 테스트 작성 같은 반복 절차를 많이 수행한다고 본다. 이런 업무에서는 매번 처음부터 추론하는 것보다 이전 실행 궤적에서 절차와 전략을 뽑아 재사용하는 편이 자연스럽다. 이를 논문은 절차적 기억(procedural memory)으로 다룬다.

연구진은 AFTER라는 벤치마크를 제안한다. AFTER는 6개 전문 역할과 22개 절차 기술에 걸친 382개 현실적 기업 업무로 구성되어 있고, 절차 기술이 같은 업무 안에서 좋아지는지, 다른 업무로 옮겨가는지, 다른 역할에서도 통하는지, 다른 모델 백본에서도 유지되는지를 본다.

“절차적 기억은 반복되는 직장 업무에서 LLM 에이전트를 개선하는 데 점점 더 많이 쓰이지만, 재사용 가능한 기술을 만들어내는 능력은 아직 충분히 이해되지 않았다.”

“Procedural memory is increasingly used to improve LLM agents on recurring workplace tasks, yet its ability to produce reusable skills remains poorly understood.”

좋은 기억은 전문성과 일반성을 동시에 가져야 한다

논문에서 인상적인 결과는 두 방향의 긴장이다. 한 번의 refinement round만으로도 전체 성능은 3.7~6.7포인트 좋아졌다. 즉 절차적 기억은 분명히 쓸모가 있다. 하지만 좁은 경험에서 배운 기술은 특정 업무에는 잘 맞아도 다른 맥락으로 가면 일반성이 떨어질 수 있다.

반대로 다양한 모델 실행 흔적에서 진화한 기술은 73.1%의 cross-model test accuracy를 보이며 단일 모델 흔적에서 온 기술보다 나았다. 이 결과를 너무 크게 일반화할 수는 없지만, 적어도 업무용 에이전트 메모리를 설계할 때 한 가지 힌트는 분명하다. 좋은 메모리는 한 사람·한 팀·한 모델의 성공 패턴만 압축한 것이 아니라, 여러 맥락을 거치며 살아남은 절차여야 한다.

원문 첫 페이지

원문 첫 페이지. 논문은 절차적 기억의 국소 개선, 업무 간 전이, 역할 간 전이, 모델 간 일반화를 나누어 평가한다.

Deciflow에 붙이면 메모리 검수표가 필요하다

Deciflow식 업무 자동화에 붙이면, 에이전트 메모리는 “저장/삭제”만으로 관리하기 어렵다. 최소한 다음 네 가지 상태가 필요해 보인다.

이 구분이 없으면 에이전트는 “지난번에 잘 됐던 방법”을 계속 강화할 수 있다. 사람에게도 익숙한 함정이다. 한 프로젝트에서 통했던 엑셀 정리 방식, 회의 요약 방식, 보고서 구조가 다른 팀에서는 오히려 틀릴 수 있다. 에이전트는 그 함정을 더 빠르게 반복할 뿐이다.

작은 실험

당장 해볼 수 있는 실험은 에이전트 메모리마다 출처와 적용 범위를 붙이는 것이다. 예를 들어 “재무팀 월간 보고서에서 통함”, “고객 인터뷰 요약에는 아직 검증 안 됨”, “Claude에서 만든 절차, 다른 모델에서 재검증 필요”처럼 적는다. 그리고 새 업무에 적용할 때는 성공 여부뿐 아니라 수정량과 사람의 개입 지점을 기록한다.

성능 평가는 단순히 최종 답의 점수만 보면 부족하다. 이 기억이 다른 업무로 옮겨도 도움이 되었는가, 아니면 원래 업무에만 맞는 지름길이었는가를 따로 봐야 한다. 이 논문이 보여준 것은, 에이전트 메모리의 품질이 “얼마나 오래 기억하는가”보다 “어디까지 옮겨 쓸 수 있는가”에서 갈린다는 점이다.

조심해서 읽을 점

AFTER의 역할·업무·모델 구성이 모든 사무환경을 대표한다고 말할 수는 없다. 또 절차적 기억의 개선 폭은 논문이 설정한 평가 조건 안에서 읽어야 한다. 다만 업무 자동화 관점에서는 충분히 좋은 경고다. 에이전트에게 기억을 주기 전에, 그 기억이 일반 기술인지 특정 상황의 버릇인지 구분할 평가 설계가 먼저 필요하다.

원문 정보

원문 논문: Managing Procedural Memory in LLM Agents: Control, Adaptation, and Evaluation