연구

국가 AI 연구거점 참여 KAIST 김승룡 교수팀, NeurIPS 2026서 논문 11건 발표

November 19, 2026
김승룡 KAIST 김재철AI대학원 교수. (사진=김승룡 교수 연구팀)

국가AI연구거점(NAIRL) 참여 연구진인 KAIST 김재철AI대학원 김승룡 교수 연구팀이 NeurIPS 2026에서 논문 11건을 발표합니다. 3차원 비전, 비디오 생성, 멀티모달 추론에 걸친 이번 연구들은 NVIDIA, Google DeepMind, Adobe Research, ETH 취리히, Google, TUM, 뉴욕대, 퍼듀대, 고려대, 삼성전자, 현대자동차, NC AI, 크래프톤 등과의 공동연구로 수행됐습니다.

세 편은 사전학습된 비디오 디퓨전 트랜스포머를 원래 용도와 다른 과제에 전용하는 연구입니다. Google DeepMind와 함께한 TrackCraft3R은 이를 피드포워드 방식의 조밀한 3차원 추적기로 바꿔, 기존 최고 방법보다 1.3배 빠르고 메모리는 4.6배 적게 씁니다. XTrack은 시점 간 매칭과 시간축 추적을 하나로 묶어 시점이 바뀌거나 가려지거나 모호한 상황에서도 같은 물체를 같은 물체로 유지합니다. Adobe Research와 함께한 VideoMaMa++는 완성된 매트를 청크 경계 너머로 이어 받아, 긴 실제 영상에서도 깜빡임 없이 일관된 매팅을 유지합니다.

네 편은 견고한 3차원 비전과 공간 지능을 다룹니다. 삼성전자와 함께한 GARD는 손상된 다시점 이미지를 기하 정보를 담은 특징 공간에서 바로 복원해 정확한 3차원 구조와 고품질 이미지를 동시에 얻습니다. 고려대·현대자동차·퍼듀대와 함께한 TrackCue는 이미지 기반 점 추적을 라이다 데이터에 적용해 자율주행에서 물체의 실제 움직임과 차량 자체의 움직임을 분리합니다. ETH 취리히·Google·TUM과 함께한 Imagine3D-LLM은 멀티모달 LLM이 공간 질문에 답하기 전에 거친 3차원 장면을 먼저 상상하도록 가르칩니다. NVIDIA와 함께한 SpatialClaw는 코드를 직접 쓰고 실행하는 것을 행동 인터페이스로 삼는 학습 불필요 에이전트로, 공간 추론 벤치마크 20종에서 평균 59.9%의 정확도를 기록했습니다.

김승룡 교수 연구실(CVLAB) 연구진. (사진=김승룡 교수 연구팀)

나머지 네 편은 제어 가능하고 효율적인 생성 모델에 관한 연구입니다. NC AI와 함께한 CORAL은 사람과 의상 사이의 어텐션을 기하학적 대응 관계에 맞춰 가상 피팅에서 옷의 형태와 디테일을 더 충실하게 옮깁니다. T2Mo는 3차원 궤적과 텍스트로 3D 메시를 애니메이션하며 선택한 점이 지나갈 경로를 정확히 지정할 수 있게 합니다. 뉴욕대와 함께한 CSFM은 플로우 매칭의 소스 분포를 조건에 따라 학습해 텍스트-이미지 생성에서 더 빠른 수렴과 더 곧은 흐름을 얻습니다. 크래프톤과 함께한 LoopMDM은 마스크 디퓨전 언어모델의 일부 트랜스포머 층을 반복 사용해 파라미터를 늘리지 않고도 학습 연산량을 최대 3.3배 줄이고 GSM8K 추론 성능을 최대 8.5점 높였습니다.

국가AI연구거점은 앞으로도 AI가 세상을 보고 생성하고 추론하는 능력을 넓히는 연구 성과를 국내외 AI 커뮤니티에 지속적으로 소개해 나갈 예정입니다.

TrackCraft3R: https://arxiv.org/abs/2605.12587 / 프로젝트 페이지: https://cvlab-kaist.github.io/TrackCraft3r/
XTrack: https://arxiv.org/abs/2610.37633 / 프로젝트 페이지: https://cvlab-kaist.github.io/XTrack/
VideoMaMa++: https://cvlab-kaist.github.io/VideoMaMa-PlusPlus/
GARD: https://arxiv.org/abs/2605.26230 / 프로젝트 페이지: https://cvlab-kaist.github.io/GARD/
Imagine3D-LLM: https://arxiv.org/abs/2609.38177 / 프로젝트 페이지: https://cvlab-kaist.github.io/Imagine3D-LLM/
SpatialClaw: https://spatialclaw.github.io/ / 코드: https://github.com/NVlabs/SpatialClaw
CORAL: https://arxiv.org/abs/2602.17636 / 프로젝트 페이지: https://cvlab-kaist.github.io/CORAL/
T2Mo: https://arxiv.org/abs/2606.05162 / 프로젝트 페이지: https://cvlab-kaist.github.io/T2Mo/
CSFM: https://arxiv.org/abs/2602.05951 / 프로젝트 페이지: https://junwankimm.github.io/CSFM/
LoopMDM: https://arxiv.org/pdf/2605.26106
CVLAB: https://cvlab.kaist.ac.kr/