연구

국가 AI 연구거점 참여 KAIST 오태현 교수팀, NeurIPS 2026 포함 연구 8건 발표

November 11, 2026
오태현 KAIST 전산학부 교수. (사진=오태현 교수 연구팀)

국가AI연구거점(NAIRL) 참여 연구진인 KAIST 전산학부 오태현 교수 연구팀이 하반기에 연구 성과 8건을 잇따라 발표합니다. NeurIPS 2026에 3건, EMNLP 2026에 1건이 채택됐고, 국제 학술지 IJCV에 1건, 로보틱스 분야 학술지 RA-L에 3건이 게재되며 이 가운데 2건은 ICRA 2027에서 발표됩니다. 연구 주제는 소리로 공간을 이해하는 AI부터 영상 생성의 품질 관리, GUI 에이전트, 악천후와 어둠 속 로봇 인식까지 폭넓게 걸쳐 있습니다.

NeurIPS 2026에 채택된 첫 번째 연구 「Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-visual LLMs」는 AI가 소리를 듣고 어디서 나는지 찾아낸 뒤 눈앞의 장면과 연결해 추론할 수 있는지를 묻습니다. 연구팀은 듣기·위치 찾기·추론의 세 단계로 이를 평가하는 벤치마크 HLR-AVSceneQA를 구축하고, 기존 오디오-비주얼 모델에 양쪽 귀로 방향을 가늠하는 공간 오디오 경로를 더한 HLR-LLM을 제안했습니다. 실험 결과 기존 모델들은 소리의 위치를 짚고 관계를 추론하는 데 한계를 보인 반면, HLR-LLM은 기존의 의미 이해 능력을 유지하면서 공간 이해 성능을 크게 끌어올렸습니다. UT 오스틴과의 공동연구입니다.

두 번째 연구 「Early Failure Detection and Intervention in Video Diffusion Models」는 텍스트로 영상을 만드는 모델이 가끔 내놓는 실패작을 다 만들고 나서야 알 수 있다는 문제를 다룹니다. 연구팀은 생성 도중의 중간 결과를 미리보기 영상으로 바꿔 기존 평가 도구로 검사하는 실시간 검사 모듈을 설계했습니다. 이 검사는 39.2밀리초면 끝나는데, 같은 모델이 한 단계를 생성하는 데 4.3초가 걸리는 것과 비교하면 부담이 거의 없는 수준입니다. 실패가 예측될 때만 단계적으로 개입하는 방식으로, 다 만든 뒤 다시 생성하는 것보다 최대 2.64배 적은 시간으로 품질을 끌어올렸습니다.

세 번째 연구 「FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling」은 말하는 사람의 영상에서 특정 대사를 바꾸거나 넣거나 뺄 때 입모양과 표정이 자연스럽게 이어지도록 편집하는 문제를 다룹니다. 연구팀은 영상의 일부 구간에서 얼굴 움직임을 가린 뒤 음성과 앞뒤 맥락으로 복원하는 학습 방식을 고안해 별도의 편집 데이터 없이도 편집을 학습하게 했고, 말하는 얼굴 영상 편집을 위한 첫 벤치마크 FacEDiTBench도 함께 공개했습니다. 역시 UT 오스틴과의 공동연구입니다.

오태현 교수 연구실 연구진. (사진=오태현 교수 연구팀)

NeurIPS 외에도 5건의 성과가 이어집니다.

EMNLP 2026에 채택된 「IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints」는 화면에 아직 보이지 않는 버튼을 스크롤이나 마우스 이동으로 먼저 드러낸 뒤 클릭할 수 있는지를 평가하는 벤치마크입니다. 사람은 94.6%를 맞혔지만 GPT-5.5는 79.4%, 가장 뛰어난 오픈소스 모델은 31.6%에 그쳤습니다.

RA-L 2026에 게재되고 ICRA 2027에서 발표되는 「LiDAR-Anchored Collaborative Distillation for Robust 2D Representations」는 라이다의 3차원 정보를 빌려 카메라 영상 인식 모델이 비와 눈, 어둠 같은 악조건에서도 흔들리지 않게 만드는 방법입니다. 자율주행 기업 라이드플럭스와의 공동연구입니다.

같은 RA-L 2026과 ICRA 2027의 「DarkQA: Benchmarking Vision-Language Models for Visual-Primitive Question Answering in Low-Light Indoor Scenes」는 실내 조명이 단계적으로 어두워질 때 비전-언어 모델의 기본 인식 능력이 어떻게 무너지는지를 9천4백 개의 질문-이미지 쌍으로 측정하는 벤치마크입니다.

IJCV 2026에 게재되는 「Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment」는 일상의 소리만 듣고 그 장면의 이미지를 생성하는 방법으로, UNIST와의 공동연구입니다. RA-L 2026의 「DRIP: Self-Improving Robot State Estimation In-the-Wild via Dense Robot-Fitting in the LooP」는 사진 한 장으로 로봇의 자세와 관절 각도를 추정하는 모델이 실제 환경에서 스스로 정확도를 높여 가는 학습 구조를 제안합니다.

국가AI연구거점은 앞으로도 AI가 보고 듣고 행동하는 능력을 넓히는 연구 성과를 국내외 AI 커뮤니티에 지속적으로 소개해 나갈 예정입니다.

HLR-LLM 프로젝트 페이지: https://hlrllm.github.io/

Early Failure Detection 논문 링크: https://arxiv.org/abs/2603.14320

FacEDiT 프로젝트 페이지: https://facedit.github.io/

IGG 프로젝트 페이지: https://igg-bench.github.io/

Sound2Vision 코드: https://github.com/kaist-ami/Sound2Scene