국가 AI 연구거점 참여 여진영 교수팀, ICML서 장기 과제 학습·체화형 에이전트 안전성 연구 발표

국가AI연구거점(NAIRL) 참여 연구진인 연세대학교 인공지능학과 여진영 교수 연구팀이 ICML 2026에서 대형언어모델(LLM) 에이전트의 장기 과제 학습과 체화형 에이전트의 안전한 계획 수립에 관한 연구 성과 2건을 발표합니다. 이번에 발표되는 연구는 각각 LLM이 여러 단계의 행동을 거쳐 과제를 수행할 때 발생하는 학습상의 어려움과, 실제 환경에서 작동하는 멀티모달 기반 에이전트가 물리적 위험을 인식하고 회피하는 문제를 다룹니다.

첫 번째 연구인 「On Training Large Language Models for Long-Horizon Tasks: An Empirical Study of Horizon Length」는 LLM 에이전트가 목표를 달성하기까지 거쳐야 하는 행동 단계의 길이, 즉 ‘호라이즌 길이(Horizon Length)’가 학습 과정에 어떤 영향을 미치는지를 체계적으로 분석했습니다. 기존 연구가 주로 시스템 수준의 최적화나 알고리즘 개선에 초점을 맞췄다면, 이번 연구는 동일한 의사결정 규칙과 추론 구조를 가진 과제에서 필요한 행동 단계의 길이만을 다르게 설계해, 과제의 길이 자체가 학습 난이도를 높이는 핵심 요인임을 실험적으로 규명했습니다.

연구팀은 호라이즌 길이가 길어질수록 탐색의 어려움과 보상 기여도 할당 문제가 심화되며, 이로 인해 학습 불안정성이 크게 증가한다는 점을 확인했습니다. 또한 과제 수행에 필요한 단계 수를 줄이는 ‘호라이즌 감소(Horizon Reduction)’가 학습을 안정화하고 장기 과제에서 더 나은 성능을 달성하는 데 중요한 원칙이 될 수 있음을 보였습니다. 특히 짧아진 호라이즌 환경에서 학습한 모델이 추론 단계에서 더 긴 호라이즌 과제에도 효과적으로 일반화되는 현상을 확인하고, 이를 ‘호라이즌 일반화(Horizon Generalization)’로 제시했습니다.

또다른 연구인 「EMBGUARD: Constructing Hazard-Aware Guardrails for Safe Planning in Embodied Agents」는 실제 물리 환경에서 작동하는 멀티모달 대형언어모델(MLLM) 기반 체화형 에이전트가 마주할 수 있는 위험을 식별하고, 안전한 행동 계획을 지원하는 가드레일 구축 방법을 제안했습니다. 기존 체화형 에이전트는 시각적 관찰과 행동 계획을 함께 처리하는 과정에서 위험한 상호작용을 놓치거나, 반대로 위험을 과도하게 판단하는 한계를 보여 왔습니다. 연구팀은 이러한 문제를 해결하기 위해 에이전트의 정책과 물리적 위험 추론을 분리하는 MLLM 기반 안전 가드레일인 EMBGUARD를 개발했습니다.

EMBGUARD는 시각적 관찰과 행동 쌍을 평가해 잠재적으로 위험한 상황을 식별하고, 그 위험의 이유를 자연어로 설명할 수 있도록 설계됐습니다. 연구팀은 이를 위해 1만 7천 건 규모의 행동 조건부 위험 데이터셋인 EMBHAZARD와, 7개 물리적 위험 범주에 걸친 189개 실제 환경 시나리오 기반 평가 벤치마크인 EMBGUARDTEST를 함께 구축했습니다. EMBGUARD는 비교적 작은 규모의 모델임에도 주요 멀티모달 모델과 경쟁력 있는 성능을 보였으며, 실시간 적용을 어렵게 만드는 과도한 위험 판단 문제를 줄이는 데에도 효과를 보였습니다.

이번 성과는 AI 에이전트가 더 복잡한 과제를 수행하고 실제 환경 속에서 안전하게 활용되기 위해 필요한 핵심 조건을 탐구했다는 점에서 의미가 있습니다. 국가AI연구거점은 앞으로도 이처럼 장기 추론, 안전성, 실제 세계 적용 가능성을 함께 다루는 연구 성과를 국내외 AI 커뮤니티에 지속적으로 소개해 나갈 예정입니다.

🔗 논문 링크: https://arxiv.org/abs/2605.02572v1
🔗 EMBGUARD 자료: https://anonymous.4open.science/r/EMBGuard-742D