더 영리한 알고리즘으로 스케일링 법칙 구부리기

스케일링 법칙은 “더 많은 자원이 곧 더 높은 성능”이라는 직관적인 명제, 즉 데이터와 연산 자원을 무차별적으로 키우면 AI 성능이 향상된다는 것을 시사합니다. 그러나 실제로는 이러한 접근의 지속가능성이 한계에 다다르고 있어, 스케일링 법칙을 넘어서기 위해서는 연산 효율을 극대화하는 알고리즘 혁신이 필수적입니다.

이번 강연에서는 그 방향의 최신 연구들을 소개합니다. 합성 데이터를 개선하는 경사 기반 방법, 추론 시점(test-time) 추론을 위한 기호적 탐색 알고리즘, 추론 과정에서 추가 학습을 이끌어내는 테스트 타임 트레이닝, 그리고 더 정확하고 빠른 추론을 가능하게 하는 새로운 토크나이제이션 알고리즘입니다.

이 세미나와 연사 인터뷰는 NAIRL 프런티어 레터 Vol.01(2025년 8월)의 “NAIRL 인사이트 토크” 특집으로 소개되었습니다.