자동화
AI 에이전트, 워크플로우, 반복 업무 자동화로 이어지는 노트입니다.
총 54개 노트
자가 진화인가, 제어 플레인인가 — Hermes와 OpenClaw를 가르는 진짜 질문
Hermes는 학습하는 에이전트이고 OpenClaw는 로컬 AI 제어 플레인이라는 비교는 어디까지 유효할까. 스킬, 메모리, 게이트웨이보다 먼저 정해야 할 운영 질문을 정리했다.
AI 에이전트의 천장은 검토다 — 하네스·루프·그래프를 한 번에 이해하기
하네스·루프·그래프는 서로를 대체하는 유행어가 아니다. AI가 일하는 환경, 반복하는 방식, 작업의 의존관계를 구분하고 자동화의 새 병목인 검토와 책임을 짚는다.
데이터 에이전트는 첫 계획 하나에 모든 것을 걸면 안 된다
데이터 분석 에이전트가 여러 초기 계획을 먼저 만들고 일부를 골라 병렬 실행하는 CIPHER를 통해, 분석 자동화에서 탐색·선택·종합을 분리해야 하는 이유를 읽었습니다.
웹 에이전트는 클릭뿐 아니라 설명까지 남겨야 한다
웹 에이전트 벤치마크 MAG를 통해, 실제 화면 위에서 과업을 수행하는 능력과 다음 사용자를 위한 안내 문장을 함께 평가해야 한다는 점을 읽은 논문 메모입니다.
에이전트도 쉬운 일을 쉬운 일로 알아야 한다
LLM 에이전트가 간단한 수정에도 과하게 파일을 읽고 문맥을 모으는 문제를 ‘실행 중복’으로 보고, 먼저 난이도와 필요한 범위를 추정한 뒤 최소 경로로 검증하자는 E3 접근을 읽었다.
GraphRAG의 병목은 검색보다 지식 정리 순서에 있다
GraphRAG를 한 번에 만들지 않고 추출, 중복 제거, 요약, 커뮤니티 탐지를 분리한 RAGU 논문을 실무 지식관리 관점에서 읽었다.
AI 채점은 종이를 없애는 일이 아니라 검토 지점을 좁히는 일이다
고등교육의 지필 시험을 완전히 디지털화하지 않고, 구조화된 답안과 비전 LLM 검증으로 채점 부담을 줄이는 하이브리드 평가 논문 메모.
스프레드시트 에이전트는 셀 하나보다 업무 전체에서 무너진다
비즈니스 스프레드시트 업무를 끝까지 수행하는 에이전트를 평가한 벤치마크 연구. 자동화의 병목이 수식 하나가 아니라 검사·수정·시각화의 전체 흐름에 있음을 보여준다.
에이전트 평가는 정답보다 실제 사용의 루프를 봐야 한다
에이전트를 평가하려면 한 번 맞혔는지보다, 실제 도구·파일·피드백 루프 안에서 어디서 막히는지 봐야 한다.
프롬프트가 아니라 계약으로 에이전트를 묶어야 한다
기업용 LLM 에이전트를 제품으로 쓰려면 좋은 프롬프트보다 출처, 라우팅, 출력 형식, 검증 흔적을 코드가 소유하는 계약 구조가 먼저 필요하다.
자동화는 ‘얼마나 많이’가 아니라 ‘언제 넘길지’의 문제다
챗봇과 사람 상담원을 함께 쓰는 서비스에서, 자동화를 많이 하는 것보다 중요한 것은 대기열과 실패 가능성을 보며 언제 사람에게 넘길지 정하는 일이다.
에이전트 기억은 저장소가 아니라 개입 타이밍이다
장기 작업 에이전트에서 메모리를 더 많이 저장하는 문제가 아니라, 필요한 순간에 행동 루프에 다시 개입시키는 문제로 읽은 논문 메모.
에이전트가 푼 일은 자동화 자산으로 굳혀야 한다
AI 에이전트를 매번 새로 추론하게 두지 않고, 반복 검증된 해결 경로를 결정적 워크플로로 전환하는 progressive crystallization을 읽는다.
데이터 분석 AI는 표 하나보다 messy한 현장을 견뎌야 한다
DataGovBench 논문은 실제 공공데이터처럼 큰 다중 표, 메타데이터, 외부지식, 탐색적 인사이트가 얽힌 조건에서 LLM 데이터 분석 능력을 평가한다.
에이전트의 기억은 사실보다 판단 기록에서 먼저 오염된다
LLM 에이전트의 장기 기억에서 사실 지식뿐 아니라 과거 판단·추론 기록이 공격 표면이 될 수 있다는 FARMA와 SENTINEL 연구를 읽었다.
LLM을 매번 부르지 않고, 작은 함수로 남기는 상상
자연어로 적은 애매한 업무 함수를 작은 로컬 실행 아티팩트로 컴파일하는 Program-as-Weights 논문을 읽고, 에이전트·RAG·자동화 설계의 실행 비용과 재현성 문제를 정리했다.
RAG가 맞게 찾았어도, 오래된 지식이면 실패다
에이전트가 검색한 지식의 출처, 버전, 승인 상태, 재현 가능성을 관리해야 한다는 ContextNest 논문을 읽었다.
에이전트가 일을 끝냈어도, 제대로 배운 것은 아닐 수 있다
LLM 에이전트의 스킬 사용을 최종 성공 여부만으로 평가하지 말고, 선택·준수·조합·성찰 과정을 나눠 보자는 SkillCoach 논문을 읽었다.
에이전트의 기억은 쌓는 것보다 옮겨 쓰는 법이 어렵다
반복 업무를 수행하는 LLM 에이전트에서 절차적 기억이 언제 일반화되고 언제 특정 역할에 과적합되는지 평가한 AFTER 벤치마크 논문을 읽었다.
에이전트가 일을 못 끝내는 이유는 지능보다 대화 구조에 있다
코딩 에이전트를 한 번에 완성하는 도구가 아니라, 모호한 요구를 사용자와 함께 발견하고 고쳐가는 협업자로 평가해야 한다는 논문을 읽었다.
기억하는 에이전트에게는 ‘무시할 줄 아는 능력’이 필요하다
장기 기억을 가진 AI 에이전트가 사용자의 과거 말에 과도하게 맞춰 사실성과 판단을 잃는 문제를 다룬 벤치마크 논문을 읽었다.
표를 읽는 AI는 정답보다 근거 위치를 먼저 틀린다
LLM이 표 구조를 이해해도 실제 값의 위치를 잘못 인용하거나 빠뜨리는 데이터 참조 오류를 분석한 논문을 데이터·평가 자동화 관점에서 읽었다.
복잡한 멀티에이전트가 늘 좋은 것은 아니다
README 자동 생성 실험을 통해, 단일 에이전트 RAG와 멀티에이전트 RAG, 개발자 계획 개입 방식의 품질·비용 차이를 비교한 논문을 실무 자동화 관점에서 읽었다.
AI 평가 시스템의 병목은 문항을 많이 만드는 것이 아니라 오래 건강하게 관리하는 일이다
Duolingo English Test의 AQuAP 사례를 통해, AI 기반 평가에서 문항 생성보다 더 중요한 문항 은행 건강성, 노출, 편향, 리뷰 흐름의 지속 모니터링을 읽었다.
AI 네이티브 엔지니어는 코드를 덜 쓰는 사람이 아니라 책임 경계를 설계하는 사람이다
AI 에이전트가 코드를 쓰기 시작할 때 엔지니어의 일은 구현량보다 워크플로, 평가, 개입 조건, 책임 경계를 설계하는 쪽으로 이동한다는 논문을 업무 설계 관점에서 읽었다.
RAG 메모리에서 더 위험한 것은 잊는 것이 아니라 오래된 사실을 믿는 일이다
AI 에이전트의 장기기억을 RAG 검색 문제로만 다루면, 최신 사실과 낡은 사실을 구분하지 못하는 구조적 문제가 생긴다. 시간 유효성이라는 관점에서 업무용 에이전트 메모리를 읽었다.
GUI 에이전트는 클릭보다 과제 기억을 배워야 한다
웹 GUI 에이전트가 반복 업무를 잘하려면 원자적 클릭 기술보다 과제 수준의 계획 경험과 사후 경험 재구성이 중요하다는 PEEU 연구를 실무 자동화 관점에서 읽었다.
검색어를 만드는 AI는 보상 설계에서 무너진다
LinkedIn의 산업용 의미 검색 사례를 통해 RLAIF 기반 검색어 생성에서 보상 해킹과 규칙 기반 안전장치가 왜 중요한지 읽는다.
AI 에이전트 도입은 사용률보다 위임의 깊이를 봐야 한다
Codex 사용 데이터를 통해 에이전트형 AI가 단순 질의 도구에서 위임·검토·병렬 실행의 작업 시스템으로 이동하는 조건을 읽는다.
AI 에이전트는 도구보다 실행 환경을 먼저 필요로 한다
AI agents are driving a new software paradigm, with the ability to autonomously call tools, extract information, manage memory, and complete tasks that span application…
문서 자동화의 핵심은 추출보다 판정 근거다
독일 중앙은행 담보 적격성 검토 사례를 통해, 긴 문서 업무에서 LLM 자동화가 추출-정규화-해석-검증의 운영 구조로 설계되어야 함을 읽는다.
AI 채점은 점수보다 ‘넘길 때’를 알아야 한다
학생 그림 평가 자동화 논문을 통해, 교육평가와 HRD 평가에서 AI가 점수만 내는 도구가 아니라 언제 사람에게 넘길지 판단하는 구조가 되어야 함을 읽는다.
데이터셋도 이제 에이전트가 실험한다
Autodata 논문을 통해, 합성 데이터를 한 번 생성하는 일이 아니라 검사·평가·개선 루프를 돌리는 에이전트형 데이터 과업으로 읽은 작업 메모.
에이전트 기억은 검색창이 아니라 운영 시스템이다
에이전트 메모리를 단순 RAG가 아니라 저장·추출·검색/라우팅·유지보수 모듈을 가진 데이터 관리 시스템으로 평가해야 한다는 논문을 업무 자동화 관점에서 읽었다.
에이전트 권한은 토큰보다 의도에 먼저 묶여야 한다
AI 에이전트가 도구를 호출할 때 기존 토큰 권한만으로는 부족하다는 문제의식. 사용자의 현재 요청 의도를 서버 쪽 정책 속성으로 삼아 도구 목록과 실행 효과를 좁히는 IGAC 아이디어를 업무 자동화 관점에서 읽었다.
수업 몰입도를 AI로 재기 전에, 프롬프트 흔들림부터 봐야 한다
교실 몰입도 인식을 VLM으로 자동화할 때 개인 단위 판정은 거의 무작위에 가깝고, 프롬프트만 바뀌어도 결과가 크게 흔들릴 수 있다는 벤치마크 연구. 교육평가 자동화의 안전한 단위를 묻는다.
업무 자동화는 문서 검색보다 절차 기억에 가깝다
GraphMind는 과거 운영 사고 해결 흔적에서 문제-행동 그래프를 만들고, 에이전트가 그 그래프를 따라 업무 절차를 실행·갱신하게 하는 연구다. RAG보다 절차 기억을 설계해야 한다는 점에서 Deciflow 자동화에 직접 연결된다.
빠른 RAG는 질문이 언제 안정되는지부터 봐야 한다
Streaming RAG가 항상 빨라지는 기술이 아니라, 사용자의 질문 의도가 입력 중 언제 안정되는지에 따라 이득이 갈린다는 분석을 실무 자동화 관점에서 읽었다.
AI 채점은 점수보다 먼저, 무엇을 읽고 있는지 물어야 한다
LLM이 에세이 품질을 내부 표현으로 어느 정도 포착한다는 분석을, 교육평가·HRD 평가 자동화에서 신뢰와 검토 기준을 세우는 문제로 읽었다.
에이전트에게 기억보다 먼저 필요한 것은 장부다
도구 호출 에이전트가 오래된 정보나 정책 위반으로 실패하지 않도록, 프롬프트 안 기억 대신 별도 상태 장부와 정책 게이트를 두는 LedgerAgent 논문을 읽었다.
AI 면담은 설문지가 놓치는 말의 결을 붙잡을 수 있을까
AI가 반구조화 면담을 진행하면 설문조사의 규모와 인터뷰의 깊이를 동시에 조금씩 가져올 수 있는지, 그리고 HR·조직 진단에서 무엇을 조심해야 하는지 읽었다.
에이전트 보안은 차단보다 확률의 상한을 관리하는 일이다
도구 호출 AI 에이전트의 보안 정책을 확률적 불확실성 속에서 검증하는 논문을 읽고, 업무 자동화에서 ‘위반 확률의 상한’을 관리하는 방식을 생각한다.
AI 에이전트 UX는 예쁜 화면보다 진행 상황을 보이게 하는 일이다
기업 업무에 AI 에이전트를 넣을 때 사용자가 원하는 것은 단순한 자동화가 아니라 통제, 책임, 데이터 출처, 다음 행동이 보이는 상호작용이다. 이 논문은 비즈니스 맥락의 인간-AI 에이전트 UX 기준을 묻는다.
에이전트에게 일을 맡기려면 흔적부터 보여야 한다
과학 연구 에이전트의 실행 과정을 그래프로 기록·시각화하는 연구를 읽고, 업무 자동화에서 최종 산출물보다 중간 흔적을 설계해야 하는 이유를 정리한다.
평가는 한 대의 카메라로 사람을 단정하지 않는다
숙련도 평가는 무엇을 보느냐에 따라 달라진다. 다중 시점 비디오 기반 숙련도 추정 연구를 HRD와 현장 평가 설계 관점에서 읽어본다.
딥리서치 에이전트는 질문보다 평가 기준을 먼저 지어야 할 때가 있다
딥리서치 에이전트를 업무에 쓰려면 좋은 질문보다 먼저 좋은 평가 기준과 증거 구조가 필요하다. 루브릭 기반 자동화 설계를 논문으로 읽는다.
AI 에이전트의 위험은 실패보다 그럴듯한 보고서다
운영 중인 LLM 에이전트에서 조용한 실패가 어떻게 그럴듯한 이야기로 바뀌는지 추적한 사례 연구다. 자동화 운영에서 필요한 것은 더 많은 테스트만이 아니라 사람이 볼 수 있는 실패 신호다.
동료가 된 AI에게는 작업장이 필요하다
AI가 챗봇에서 디지털 동료로 넘어가려면 기억, 작업공간, 검증 루프, 권한 위임이 함께 필요하다. 인간-AI 협업을 업무설계 관점에서 읽는다.
AI 도입보다 어려운 것은, 일을 다시 짜는 일이다
Microsoft Work Trend Index 2026을 바탕으로, AI 에이전트 도입이 도구 문제가 아니라 운영모델·판단·리더십·학습 시스템의 문제임을 정리한다.
AI 도입의 다음 질문은 ‘썼는가’가 아니라 ‘성과가 났는가’다
AI 전환이 도입 경쟁에서 ROI와 조직성과 검증 단계로 넘어가고 있다. AX를 업무설계와 성과관리 관점에서 다시 읽는다.
RAG 문서가 많아질수록 먼저 좁혀야 한다
문서가 많아질수록 RAG 검색 품질이 오히려 희석될 수 있다는 연구를 바탕으로, 업무 지식관리와 검색 설계에서 먼저 좁혀야 할 기준을 정리한다.
에이전트 메모리는 검색보다 실행 상태를 지키는 일에 가깝다
장기 과제를 수행하는 AI 에이전트에게 메모리는 유사도 검색이 아니라 실행 상태 관리라는 관점의 논문 메모.
협업 AI는 똑똑한 답보다 설명 가능한 행동 규칙이 필요하다
LLM 추론을 실행 가능한 정책 트리로 증류해 인간-AI 협업의 해석 가능성과 속도를 함께 얻으려는 Co-π-tree 논문을 Deciflow 자동화 관점에서 읽은 노트.
AI 동료와 일하면, 사람은 더 많이 만들지만 더 비슷해진다
AI 에이전트와 협업한 팀은 생산량과 텍스트 품질을 높였지만, 이미지 품질과 산출물 다양성에서는 다른 경계가 드러났다. 이 논문은 AI 도입보다 먼저 협업 구조를 설계해야 한다는 질문을 남긴다.
