HRD·평가·People Analytics
협업역량, 교육평가, 성과관리, 채용 AI처럼 사람과 조직을 데이터로 볼 때 조심해야 할 기준을 모은 컬렉션입니다.
이 컬렉션의 역할
외부 독자가 한 글에서 끝나지 않고 같은 문제의식 안에서 다음 글로 이동할 수 있도록 만든 대표 묶음입니다. 검색 유입용 대표 글과 개별 읽기노트를 연결하는 입구로 씁니다.
Start Here
먼저 읽을 노트
협업 역량은 참여 횟수가 아니라 대화의 구조에서 보인다
협업 대화를 개념 지도와 평가 기준으로 바꾸는 연구를 바탕으로, HRD와 교육평가에서 협업역량을 어떻게 진단할 수 있는지 정리한다.
채용 AI에서 중요한 것은 점수가 아니라 판단의 흔적이다
LLM 에이전트로 후보자 평가와 순위를 만드는 연구를 채용 자동화가 아니라 평가 기준, 설명 가능성, 인간 검토 구조의 문제로 읽었다.
교육평가는 점수보다 학습 장면을 먼저 그려야 한다
전문가 학습을 메타인지, 피드백, 업무 맥락의 조합으로 나누어 보는 HRD·교육평가 메모.
성과관리는 속도보다 팀의 리듬과 안전감을 봐야 한다
남아프리카 IT 인력 17명 인터뷰를 바탕으로, 애자일 실천이 직원 성과에 미치는 영향을 팀 역동, 커뮤니케이션, 자율성, 학습, 웰빙 관점에서 읽은 성과관리 노트.
More Notes
이어 읽기
AI 채점은 점수보다 피드백에서 먼저 써야 한다
K-12 평가에서 LLM 채점기를 검증한 논문을, 자동 채점의 가능성보다 평가 운영과 피드백 설계의 경계라는 관점에서 읽었다.
사람·기술·프로젝트를 한 장에 놓고 보면 보이는 것
작은 조직의 HR 의사결정을 사람, 스킬, 프로젝트의 연결 구조로 보자는 다중 도메인 매트릭스 논문을 읽었다.
AI 채점은 점수보다 먼저, 무엇을 읽고 있는지 물어야 한다
LLM이 에세이 품질을 내부 표현으로 어느 정도 포착한다는 분석을, 교육평가·HRD 평가 자동화에서 신뢰와 검토 기준을 세우는 문제로 읽었다.
교육 데이터는 정확도보다 먼저, 결정에 써도 되는지 물어야 한다
학생 중도탈락 지원에 쓰는 합성·증류 데이터가 예측 성능만으로 충분하지 않다는 점을 다룬 논문이다. HRD와 교육평가에서도 모델의 정확도보다 결정용 근거가 보존되는지 먼저 확인해야 한다.
좋은 피드백은 전문가 점수만으로 완성되지 않는다
1,899명의 대학생과 2만여 편의 영어 글쓰기 초안을 통해, 교사가 높게 평가한 AI 피드백과 학습자가 실제로 쓰는 피드백이 왜 다를 수 있는지 읽었습니다.
평가 문항을 AI와 만들 때, 작은 모델이 더 현실적일 수 있다
교육평가 문항 설계에서 소형·로컬 언어모델을 대형 모델과 비교한 연구. 품질, 개인정보, 비용, 사람의 검토를 함께 보는 평가 업무 설계 노트.
평가는 정답보다 디버깅 과정을 남겨야 한다
최종 코드와 테스트 결과만으로는 학생이 어떻게 실패를 재현하고 가설을 세우고 수정했는지 보이지 않는다. DebugTracker 논문을 교육평가와 업무 피드백 관점에서 읽었다.
AI 피드백은 많이 쓰는 것보다 무엇을 놓쳤는지가 먼저다
학생 글쓰기 피드백 데이터셋 SEFORA와 평가 프레임워크 UniMatch를 통해, AI 피드백 자동화에서 양보다 우선순위와 누락을 봐야 한다는 점을 읽었다.
AI 채점은 모델보다 루브릭이 먼저다
Linux/bash 단답형 시험 1,200개를 네 개 LLM과 사람 채점자 기준으로 비교한 연구를 읽고, AI 채점을 어디까지 자동화하고 어디서 사람 검토를 남겨야 하는지 정리했다.
쉬운 문제와 좋은 문제는 다르다
LLM이 문항 난이도보다 더 섬세한 문항 변별도를 얼마나 읽어낼 수 있는지 실험한 연구를, 교육평가와 성과관리 지표 설계의 경고로 읽었다.
교육 평가는 수료 점수가 아니라 현장 전이를 물어야 한다
튜터 교육 성과를 온라인 수업 점수에서 끝내지 않고 실제 튜터링 대화 전사로 연결한 연구를 HRD·교육평가 관점에서 읽었다.
학습 데이터에서 큰 단어보다 작은 신호를 놓치지 않기
정량적 학습분석 도구는 학생 집단의 흐름을 빨리 보여주지만, 빈도 낮은 중요한 응답을 가릴 수도 있다. 이 논문은 교육 평가와 시각화 사이의 긴장을 현장 연구자들의 사용 경험으로 읽는다.
평가는 한 대의 카메라로 사람을 단정하지 않는다
숙련도 평가는 무엇을 보느냐에 따라 달라진다. 다중 시점 비디오 기반 숙련도 추정 연구를 HRD와 현장 평가 설계 관점에서 읽어본다.
AI 튜터 평가는 시뮬레이션 다음의 교실을 봐야 한다
RAG와 지식 구성요소 모델을 결합한 AI 튜터 LEA의 실제 수업 배포와 교차 과목 확장성 평가를 HRD·교육평가 관점에서 읽은 논문 메모입니다.
교육 대시보드는 점수보다 해석을 담아야 한다
학습분석 대시보드가 클릭·점수·완료율을 보여주는 화면을 넘어, 전문가가 학습자의 오개념과 판단 과정을 해석하는 인프라가 되어야 한다는 문제의식을 HRD 관점에서 읽었다.
AI 채점은 종이를 없애는 일이 아니라 검토 지점을 좁히는 일이다
고등교육의 지필 시험을 완전히 디지털화하지 않고, 구조화된 답안과 비전 LLM 검증으로 채점 부담을 줄이는 하이브리드 평가 논문 메모.
교육 데이터는 차트보다 이야기로 배워질 때가 있다
학습자가 차트를 못 읽는다고 탓하기 전에, 데이터가 어떤 순서와 이야기로 제시되는지 다시 설계해야 한다.
교육 AI는 강사를 대체하기보다 훈련 빈칸을 메운다
항공교통관제 훈련 시뮬레이터 ASTRA는 AI가 강사를 대체한다는 말보다, 반복 훈련과 평가의 빈칸을 어떻게 표준화하고 넓힐 수 있는지 보여준다.
교육평가는 쉬운 명령의 위험까지 봐야 한다
명령어 교육을 단순 난이도가 아니라 실제 시스템 영향까지 포함해 평가하려는 CogTax를, HRD·업무역량 평가의 관점에서 읽었다.
교육 AI는 ‘도와줄 학생’보다 ‘건드리지 않을 학생’을 먼저 배워야 한다
학습분석 기반 교육 상담에서 제로샷 LLM과 RAG가 불필요한 개입을 과잉 추천할 수 있음을 보인 논문을 HRD·평가 자동화 관점에서 읽었다.
AI 평가 시스템의 병목은 문항을 많이 만드는 것이 아니라 오래 건강하게 관리하는 일이다
Duolingo English Test의 AQuAP 사례를 통해, AI 기반 평가에서 문항 생성보다 더 중요한 문항 은행 건강성, 노출, 편향, 리뷰 흐름의 지속 모니터링을 읽었다.
평가문항의 난이도는 정답률만이 아니라 풀이의 흐름에 있다
교육평가에서 문항 난이도를 텍스트 특징이나 정답률만으로 보지 않고, 추론 모델의 풀이 과정을 인지 에피소드로 나누어 해석하려는 연구를 HRD·평가 설계 관점에서 읽었다.
AI 도입은 교육보다 먼저 안전감을 요구한다
2,257명 직원 설문을 바탕으로 심리적 안전감이 AI 도입 여부와는 관련되지만, 도입 이후 사용 빈도·시간까지 설명하지는 못한다는 결과를 HRD 관점에서 읽었다.
AI 튜터는 친절함보다 어느 순간에 도와야 하는지가 먼저다
LLM 기반 학습 에이전트를 교육 이론과 진단 전략에 맞춰 설계해야 한다는 논문을 HRD·교육평가 관점에서 읽었다.
AI 채점은 점수보다 ‘넘길 때’를 알아야 한다
학생 그림 평가 자동화 논문을 통해, 교육평가와 HRD 평가에서 AI가 점수만 내는 도구가 아니라 언제 사람에게 넘길지 판단하는 구조가 되어야 함을 읽는다.
좋은 AI 코치는 언제 물러날지 안다
드론 레이싱 사용자 연구를 통해, AI 코칭이 즉각적 수행보다 독립적 숙련을 목표로 할 때 무엇이 달라지는지 읽은 작업 메모.
수업 몰입도를 AI로 재기 전에, 프롬프트 흔들림부터 봐야 한다
교실 몰입도 인식을 VLM으로 자동화할 때 개인 단위 판정은 거의 무작위에 가깝고, 프롬프트만 바뀌어도 결과가 크게 흔들릴 수 있다는 벤치마크 연구. 교육평가 자동화의 안전한 단위를 묻는다.
학습자의 실수를 만들 수 있어야 평가도 빨라진다
LLM이 학생의 Java 프로그래밍 오류를 얼마나 그럴듯하게 시뮬레이션할 수 있는지 검토한 논문. HRD·교육평가 관점에서는 진짜 데이터가 쌓이기 전 평가 문항과 피드백 설계를 미리 시험하는 방법으로 읽힌다.
조기경보 모델은 ‘언제 알 수 있었나’부터 물어야 한다
학습분석 조기경보 모델에서 시간 누수(temporal leakage)를 제거해야 하는 이유를 읽는다. 성과 예측보다 먼저 예측 시점의 정보 가용성을 검증해야 한다.
AI 도입은 첫인상보다 사용 후 이동을 봐야 한다
공공기관 Microsoft 365 Copilot 8주 파일럿을 따라가며, 직원의 AI 수용 태도가 사용 전 기대에서 사용 후 재보정으로 어떻게 이동하는지 읽은 논문 메모입니다.
AI가 코드를 빨리 쓰면, 리뷰는 어디서 막히는가
기업의 AI 코딩 도구 의무 도입이 실제 개발 흐름에서 무엇을 바꾸는지, 802명 개발자와 19만 건 이상의 PR 데이터를 추적한 논문을 읽었다.
AI 교육은 사용법보다 신뢰를 설계해야 한다
생성형 AI 시대의 직무교육은 도구 사용법 전달이 아니라 직원이 자기 경험 위에서 AI를 신뢰하고 검토하며 쓸 수 있게 만드는 변화관리라는 논문을 읽었다.
평가표는 점수가 아니라 사람이 놓칠 장면을 붙잡아야 한다
멀티모달 모델 평가를 사람의 지각에 가까운 세부 루브릭으로 다시 설계하려는 논문을 HRD·평가 자동화 관점에서 읽었다.
AI에게 공부시키기 전에, 무엇을 질문하게 할지 봐야 한다
문서로부터 질문-답변 데이터를 스스로 만들게 하는 학습 방식이 어떤 편향과 프롬프트 인젝션 취약성을 갖는지 살핀 논문을 HRD와 지식관리 관점에서 읽었다.
AI 추천이 붙으면 사람의 검토 시간도 흔들린다
AI 이력서 추천이 결과만이 아니라 사람이 누구의 이력서를 얼마나 오래 보는지까지 바꿀 수 있다는 연구. 채용·평가 AI를 도입할 때 결과 지표만 보면 놓치는 절차적 공정성의 신호를 짚는다.
AI 면담은 설문지가 놓치는 말의 결을 붙잡을 수 있을까
AI가 반구조화 면담을 진행하면 설문조사의 규모와 인터뷰의 깊이를 동시에 조금씩 가져올 수 있는지, 그리고 HR·조직 진단에서 무엇을 조심해야 하는지 읽었다.
AI 도입의 다음 질문은 ‘썼는가’가 아니라 ‘성과가 났는가’다
AI 전환이 도입 경쟁에서 ROI와 조직성과 검증 단계로 넘어가고 있다. AX를 업무설계와 성과관리 관점에서 다시 읽는다.
AI 도입은 정책보다 먼저 동료의 압력으로 퍼질 수 있다
방글라데시 기자 23명 인터뷰를 바탕으로, 공식 정책과 교육이 거의 없는 상황에서도 GenAI 사용이 동료 압력과 직업적 필요로 확산되는 과정을 UTAUT 관점에서 읽은 논문 메모.
AI 도입의 병목은 나이보다 권한과 불안에 있다
2,257명의 전문직 설문을 바탕으로, 직장 내 AI 채택을 직급·경험·지역·불안·자기효능감으로 다시 읽은 논문 메모. AI 전환의 핵심은 교육만이 아니라 권한과 심리적 안전감을 설계하는 일이다.