연구

국가 AI 연구거점 참여 연세대 여진영 교수팀, NeurIPS 2026서 '에이전트를 만드는 에이전트' 평가 연구 발표

November 12, 2026
왼쪽부터 여진영 연세대학교 인공지능학과 교수, 옹주윤·강민석 통합과정생, 최동욱 석사과정생. (사진=여진영 교수 연구팀)

국가AI연구거점(NAIRL) 참여 연구진인 연세대학교 첨단컴퓨팅학부 인공지능학과 여진영 교수 연구팀이 다른 AI 에이전트를 설계하고 개선하는 AI를 평가하는 방법을 개발했습니다. 연구 논문 「Towards Direct Evaluation of Harness Optimizers via Priority Ranking」는 NeurIPS 2026에서 발표됩니다.

AI 에이전트는 이제 소프트웨어를 개발하고 데이터를 분석하며 여러 단계의 업무를 수행하지만, 일하려면 저마다 하네스(harness)가 필요합니다. 어떤 지침을 따르고, 어떤 도구를 쓰고, 무엇을 기억하고, 어떤 순서로 진행할지를 정하는 체계입니다.

지금까지 하네스를 짜는 건 사람의 일이었는데, 최근에는 이 일마저 다른 AI, 즉 업무 수행 에이전트의 하네스를 들여다보고 고치는 최적화 에이전트에게 넘어가고 있습니다. 수천 개의 에이전트를 돌리는 기업이라면 이 자동화 말고는 현실적인 길이 없습니다. 문제는 최적화 에이전트가 잘하는지를 지금까지는 업무 수행 에이전트의 최종 성능이 올랐는지로만 판단해 왔다는 점입니다. 중간에 어떤 수정을 했는지는 보지 않는 방식입니다.

연구팀은 그 중간 수정이 중요하다는 걸 확인했습니다. 실험에서 현재의 최적화 에이전트는 전체 수정의 약 45~48%에서 무엇을 고쳐야 할지 잘못 판단했고, 이 경우 성능은 오히려 떨어질 수 있습니다. 연구팀은 이를 잡아내기 위해 최적화 과정 전체를 돌리는 대신 더 단순한 질문을 던집니다. 하네스가 주어지면, 구성 요소 각각을 고쳤을 때 성능에 얼마나 도움이 되거나 해가 될지 순위를 매기라는 것입니다.

순위를 매기게 하는 이 우선순위 판단(priority ranking) 방식은 비용이 큰 실행이나 수작업 검토 없이 단계마다 최적화 에이전트의 판단력을 측정하고, 연구팀은 이 점수가 실제 최적화 성과와 상관관계를 보인다는 점도 입증했습니다. 기존 평가보다 약 8배 저렴하고 17배 빠릅니다.

업무 수행 에이전트의 하네스를 최적화 에이전트가 진단하고 수정하는 하네스 최적화 구조 개요. (사진=여진영 교수 연구팀)

평가를 뒷받침하기 위해 연구팀은 다양한 분야와 하네스 설계, 최적화 단계를 아우르는 사람이 검증한 최적화 시나리오 182개로 구성된 SHOR도 구축했습니다. 이번 연구는 LangAGI 랩의 옹주윤·강민석·최동욱 학생이 공동 1저자로 참여했으며, 삼성전자와의 공동연구로 수행됐습니다.

기업의 관심이 모델 하나를 잘 조정하는 데서 에이전트를 대량으로 만들고 관리하는 쪽으로 옮겨 가는 가운데, 그 일을 맡은 AI가 무엇을 고쳐야 할지 제대로 아는지를 확인하는 일은 그 자체로 품질관리의 문제가 됩니다. 국가AI연구거점은 앞으로도 AI의 신뢰성과 자동화를 진전시키는 연구 성과를 국내외 AI 커뮤니티에 지속적으로 소개해 나갈 예정입니다.

논문 링크: https://arxiv.org/abs/2605.22505

코드·데이터: https://github.com/k59118/Harness_Optimizer_Evaluation