국가 AI 연구거점 참여 연세대 전해곤 교수팀, ECCV·IJCV서 연구 발표

국가AI연구거점(NAIRL) 참여 연구진인 연세대학교 AI학부 전해곤 교수 연구팀이 유럽컴퓨터비전학회(ECCV 2026)와 국제 학술지 IJCV(International Journal of Computer Vision)에서 필기체 생성과 3차원 장면 편집에 관한 연구 성과를 발표합니다. 이번에 발표되는 연구는 각각 AI가 사람처럼 자연스러운 손글씨를 쓰도록 만드는 문제와, 조명이 시시각각 바뀌는 환경에서도 3차원 장면을 안정적으로 복원하고 편집하는 문제를 다룹니다.

첫 번째 연구인 「Bridging Online and Offline Handwriting via Differentiable Physical Rendering」는 ECCV 2026에서 발표됩니다. 지금까지 손글씨를 만들어내는 AI는 두 갈래로 나뉘어 있었습니다. 펜이 어떤 순서와 움직임으로 글씨를 쓰는지를 다루는 방식과, 완성된 글씨의 모양을 이미지로 그려내는 방식입니다. 두 방식은 서로 따로 발전해 왔기 때문에, 펜의 움직임과 최종 글씨 모양을 하나로 잇기가 어려웠습니다.

연구팀은 실제 붓이 종이 위를 지나가며 획을 남기는 원리를 본뜬 물리적 붓 모델을 개발해 이 간극을 메웠습니다. 펜의 움직임을 입력하면 그 움직임이 만들어낼 글씨 이미지가 그대로 계산되어 나오는 구조입니다. 이 프레임워크는 텍스트를 입력하면 획의 움직임을 생성하고, 이를 이미지로 그려낸 뒤 다듬는 과정까지 하나로 처리하며, 로봇 팔이 실제로 붓글씨를 쓰는 로봇 서예 시연에서도 완성도를 입증했습니다. 이번 연구는 GIST, CMU 로보틱스 연구소, 켄텍(KENTECH) 연구진과의 국제 공동연구로 수행됐습니다.

두 번째 연구인 「RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing」는 컴퓨터비전 분야 권위지인 IJCV 2026에 게재됩니다. 여러 장의 사진이나 영상으로 3차원 공간을 복원하는 뉴럴 라디언스 필드(NeRF) 기술은 빠르게 발전해 왔지만, 공연 무대처럼 조명이 계속 바뀌는 환경에서는 한계가 있었습니다. 지금 카메라에 보이는 색이 물체 본래의 색인지, 조명 때문에 그렇게 보이는 것인지 AI가 구분하지 못해 복원 결과가 불안정해지기 때문입니다.

연구팀은 본 공연 전의 리허설에서 답을 찾았습니다. 조명이 일정한 리허설 무대에서 미리 촬영해 둔 영상을 기준 삼아, AI가 물체 본래의 색과 형태, 조명 효과, 움직이는 사람을 각각 분리해 학습하도록 한 것입니다. 그 결과 화려한 조명이 쏟아지는 무대 영상에서도 새로운 각도의 장면을 안정적으로 만들어내고, 조명만 바꾸거나 없애는 식의 장면 편집까지 가능함을 보였습니다.

이번 성과는 생성형 AI와 3차원 시각 지능이 로봇, 콘텐츠 제작 등 실제 환경에서 활용되기 위한 기반 기술을 제시했다는 점에서 의미가 있습니다. 국가AI연구거점은 앞으로도 이처럼 AI의 표현력과 신뢰성을 넓히는 연구 성과를 국내외 AI 커뮤니티에 지속적으로 소개해 나갈 예정입니다.

논문 링크: https://arxiv.org/abs/2608.03198 / 프로젝트 페이지: https://seonmip.github.io/onoff/

RehearsalNeRF: https://link.springer.com/article/10.1007/s11263-026-02816-0 / 프로젝트 페이지: https://wcy199705.github.io/RehearsalNeRF/