생성형 비주얼 모델에서의 데이터 소유권 보장

대규모 생성형 비주얼 모델은 짧은 텍스트 설명 하나만으로 콘텐츠를 만들 수 있을 만큼 창작의 문턱을 낮췄습니다. 그러나 이러한 모델은 대개 방대한 인터넷 데이터로 학습되며, 여기에는 저작권이 있는 자료, 라이선스 이미지, 개인 사진이 포함되는 경우가 많습니다. 창작자가 학습 데이터에서 빠지기를(opt out) 원한다면 이 이미지들을 어떻게 제거할 수 있을까요? 반대로 참여하기를(opt in) 선택한다면 어떻게 정당하게 보상할 수 있을까요?

이번 강연에서는 먼저 사전학습된 텍스트-이미지 모델에서 저작권 자료, 생존 작가의 화풍, 암기된(memorized) 이미지를 효율적으로 제거하는 방법을 설명합니다. 이어서 생성된 샘플에 각 학습 이미지가 미친 영향을 평가하는 데이터 귀속(data attribution) 알고리즘을 다룹니다. 이러한 연구를 통해 궁극적으로 창작자가 학습 이미지의 소유권에 대한 통제력을 유지할 수 있도록 하는 것이 목표입니다.

연사

준얀 주(Jun-Yan Zhu) 교수는 카네기멜론대학교(CMU) 컴퓨터과학대학의 마이클 B. 도너휴 조교수(컴퓨터과학·로보틱스)입니다. CMU에 합류하기 전에는 어도비 리서치의 리서치 사이언티스트와 MIT CSAIL의 박사후연구원을 지냈습니다. UC버클리에서 박사학위를, 칭화대학교에서 학사학위를 받았으며, 삼성 올해의 AI 연구자상, 패커드 펠로우십, NSF CAREER상, ACM SIGGRAPH 우수 박사논문상을 수상했습니다.