채용 AI에서 중요한 것은 점수가 아니라 판단의 흔적이다

제일 먼저 든 생각

채용에서 AI를 쓴다고 하면 가장 먼저 떠오르는 위험은 “사람을 점수로 줄 세우는 일”이다. 그래서 이 논문을 고를 때도 조금 조심스러웠다. 다만 본문을 읽어보니 흥미로운 지점은 자동 합격·불합격이 아니라, 평가 기준을 만들고, 근거를 남기고, 사람이 검토할 수 있는 보고서로 바꾸려는 구조에 있었다.

논문은 이력서, 직무기술서, 인터뷰 전사, HR 피드백 같은 여러 자료를 LLM 기반 에이전트가 읽고 후보자 평가 보고서와 비교 순위를 만드는 프레임워크를 제안한다. 핵심은 키워드 매칭 중심의 기존 ATS(Applicant Tracking System)보다 역할별 루브릭(rubric)을 세분화하고, 후보자 비교를 작은 “미니 토너먼트”로 나눈 뒤 Plackett–Luce 모델로 전체 순위를 추정한다는 점이다.

이 논문은 채용 자동화보다 “판단 기준을 어떻게 구조화하고 검토 가능하게 둘 것인가”의 문제로 읽힌다.

평가 자동화보다 평가 언어의 표준화

논문이 출발하는 문제는 익숙하다. 지원자가 많아질수록 사람 평가자는 지치고, 평가자마다 기준이 달라지고, 암묵적 편향이 결과에 섞인다. 저자들은 LLM이 직무별 기준을 생성하고, 후보자 자료를 그 기준에 맞춰 분석하고, 설명 가능한 보고서를 내도록 설계한다.

이 접근은 키워드 매칭이나 얕은 점수화에 의존하는 전통적 ATS와 달리, 역할별 LLM 생성 루브릭과 다중 에이전트 구조를 사용해 세밀한 기준 기반 평가를 수행한다.

“Unlike traditional ATS tools that rely on keyword matching or shallow scoring, our approach employs role-specific, LLM-generated rubrics and a multi-agent architecture to perform fine-grained, criteria-driven evaluations.”

이 문장에서 내가 가져가고 싶은 것은 “LLM이 더 공정하다”가 아니다. 오히려 평가 언어를 문서화한다는 점이다. 사람이 머릿속으로만 갖고 있던 기준을 루브릭으로 꺼내고, 후보자별 판단 근거를 같은 형식으로 남기면, 최소한 나중에 무엇을 기준으로 보았는지 검토할 수 있다.

HRD나 성과관리에서도 비슷하다. 평가 회의에서 “태도가 좋다”, “리더십이 있다”, “성장 가능성이 있다” 같은 말은 많이 나오지만, 그 말이 어떤 행동 증거와 연결되는지는 자주 흐려진다. AI를 쓰든 안 쓰든, 먼저 필요한 것은 평가 언어를 더 구체적으로 만드는 일이다.

순위가 아니라 검토 가능한 추천

논문은 후보자 순위를 만들기 위해 후보자 전체를 한 번에 비교하지 않고, 작은 후보자 묶음을 LLM이 순서화하게 한다. 이 리스트형 판단(listwise judgment)을 여러 번 모아 확률적 순위로 통합한다. 본문에서는 능동 학습(active learning) 루프가 정보가 많은 후보자 조합을 골라 순위 안정화를 빠르게 돕는다고 설명한다.

하지만 이 구조를 그대로 채용 현장에 가져오면 안 된다. 논문 자체도 입력 데이터 품질, 비언어적 단서 해석의 한계, 문화적 맥락 오해, LLM 편향, 자동화 의존 위험을 제한점과 윤리 이슈로 적고 있다. 특히 마지막 윤리 문장이 중요하다.

이 시스템은 인간 판단을 대체하는 것이 아니라 보강하도록 설계되었다. 추천은 언제나 자격 있는 HR 담당자가 맥락화해 검토해야 한다.

“Our system is designed to augment human judgment, not replace it. Recommendations should always be reviewed by qualified HR personnel who contextualize the outputs with domain-specific insight.”

그래서 이 논문을 “AI 면접관” 이야기로 읽고 싶지는 않다. 더 좋은 해석은 “사람 평가자가 일관된 기준을 갖고 대화하도록 돕는 평가 보조 장치”다. 점수 자체보다 중요한 것은 점수가 나온 경로, 근거 문장, 반례, 사람이 뒤집은 이유다.

원문 첫 페이지. 저자들은 aiXplain 소속으로 표기되어 있으며, HR 평가용 LLM 에이전트 프레임워크를 제안한다.

내 일에 붙이면 먼저 할 작은 실험

채용이 아니어도 적용할 수 있는 작은 실험이 있다. 교육 평가나 성과 피드백에서 AI에게 “평가”를 맡기기 전에, 먼저 사람 평가자의 언어를 정리하게 하는 것이다.

• 같은 과제 결과물 5개를 놓고 사람이 먼저 좋은 피드백과 아쉬운 피드백을 쓴다.
• AI에게 그 피드백에서 반복되는 기준을 루브릭으로 정리하게 한다.
• 사람이 루브릭을 고치고, 금지 기준과 반드시 확인할 증거를 추가한다.
• AI 평가는 최종점수가 아니라 “근거 후보”와 “검토 질문”만 내게 한다.
• 최종 판단자가 AI 의견을 수용·수정·기각한 이유를 남긴다.

이 정도만 해도 AI가 평가자를 대체하는 도구가 아니라, 평가 기준을 더 잘 보이게 만드는 도구가 될 수 있다.

오늘 남기는 질문

성과관리나 교육평가에서 우리가 정말 자동화하고 싶은 것은 점수 부여일까, 아니면 평가자가 서로 다른 언어로 말하던 기준을 함께 검토 가능한 문장으로 바꾸는 일일까. 다음 평가 설계에서는 AI에게 최종 판단을 맡기기보다, 판단의 흔적을 더 선명하게 남기는 역할부터 맡겨보고 싶다.

원문 정보

• 제목: Agentic AI for Human Resources: LLM-Driven Candidate Assessment
• 저자: Kamer Ali Yuksel, Abdul Basit Anees, Ashraf Elneima, Sanjika Hewavitharana, Mohamed Al-Badrashiny, Hassan Sawaf
• 소속: aiXplain, Inc., 논문 표기 기준
• 연도/게시일: 2026
• 게재/출처: arXiv
• arXiv: 2603.26710v1
• PDF: https://arxiv.org/pdf/2603.26710

원문 논문: Agentic AI for Human Resources: LLM-Driven Candidate Assessment