대규모 네트워크에서의 신경 표현 기하 추정

신경 표현의 구조와 유사성을 정량화하는 것은 대규모 신경망 모델을 더 잘 이해하고 학습시키는 데 필수적입니다. 그러나 공분산 행렬에 기반한 기존 분석은 유한한 데이터라는 현실적 제약 아래에서 편향된 추정량을 낳습니다. 이번 강연에서는 이러한 한계를 해결하는 최신 연구 성과를 소개합니다. 입력과 특징이 모두 부분 표집(subsampling)된 경우에도 유한한 측정 행렬로부터 커널 적분 연산자의 스펙트럼 모멘트를 계산할 수 있는 동적 계획법 기반 추정량을 제시합니다. 이 방법은 모델 간 신경 표현을 비교하는 데 쓰이는 중심 커널 정렬(Centered Kernel Alignment, CKA) 지표의 정확도를 높이는 데에도 적용됩니다. 이 연구 결과는 신경 표현 분석에서 편향이 제거된 통계적 추정량과 원리에 기반한 확장 가능한 도구가 갖는 중요성을 보여줍니다.

연사

다니엘 리(Daniel Dongyuel Lee) 교수는 코넬테크와 코넬 공과대학의 전기·컴퓨터공학과 티시 석좌교수(Tisch University Professor)입니다.