기계학습에서 큰 학습률의 암묵적 편향

이번 강연에서는 기계학습 실무에서 경험적 성능 향상을 위해 널리 쓰이지만 전통적인 이론 분석으로는 설명되지 않는, 큰 학습률(large learning rate)의 사소하지 않으면서도 종종 유익한 효과들을 다룹니다. 먼저 큰 학습률이 다중 스케일 지형(multiscale landscape)에서 경사 하강법이 혼돈 역학(chaotic dynamics)을 통해 국소 최솟값을 탈출하도록 돕는 방식을 정량화합니다. 이는 흔히 알려진 확률적 경사 노이즈에 의한 탈출 메커니즘의 대안입니다. 이어서 큰 학습률이 더 평평한 최솟값(flatter minimizer)으로 향하도록 편향된다는 것을 증명 가능하게 보이고, 최근 관찰된 여러 현상들(Edge of Stability, 손실 캐터펄팅, 균형화)을 큰 학습률의 알고리즘적 암묵 편향으로 통합해 설명합니다. 이 결과들은 립시츠 경사(Lipschitz gradient) 조건 없이 특정 비볼록 함수에 대한 경사 하강법의 새로운 전역 수렴 결과를 통해 가능해졌습니다.

연사

몰레이 타오(Molei Tao) 교수는 조지아공과대학교 수학부 정교수로, 기계학습의 수학적 기초를 연구하고 있습니다. 칭화대학교에서 학사학위를, 칼텍(Caltech)에서 박사학위를 받았으며, 뉴욕대학교 쿠랑 연구소 강사(Courant Instructor)를 지냈습니다. NeurIPS, ICLR, ICML의 영역 의장을 맡고 있으며, NSF CAREER상과 AISTATS 최우수 논문상 등을 수상했습니다. 조지아텍 AI4Science 연구소의 창립 책임연구자(PI)이기도 합니다.