세미나
벤치마크를 넘어 경험으로 : 프런티어 AI 시스템의 엔지니어링과 평가
개요
학술 벤치마크는 AI의 초기 발전을 이끄는 데 핵심적인 역할을 했지만, 모델이 복잡한 멀티턴 워크플로우, 툴체인, 그리고 변화하는 사용자 기대 속에 실제 배포되면 현실 성능을 예측하는 데 한계를 드러내는 경우가 많습니다. 이번 강연에서는 우리가 ‘경험(experience)’의 시대로 진입하고 있으며, 핵심 제약이 단순한 모델 성능이 아니라 실제 업무 환경에서의 측정 가능한 종단간(end-to-end) 신뢰성임을 제시합니다. 단일 벤치마크가 아닌 평가 시스템(evaluation systems)을 구축하는 접근법—현실적 과업 분포, 강건한 판정 체계, 회귀 추적, 지속적 반복 루프의 결합—을 공유하고, 구체적 사례로 다양한 직종의 경제적으로 가치 있는 지식 노동 과업을 중심으로 설계된 평가 체계인 GDPval을 소개하며, 이를 통해 실제 배포 환경에 전이되는 진전을 어떻게 측정할 수 있는지를 논의합니다.
약력
대니얼 미르자는 OpenAI(오픈AI)의 솔루션 아키텍트로, 주요 기업 고객을 대상으로 리드 기술 자문 역할을 수행하며 프론티어 AI 모델의 도입을 주도하고 있습니다. OpenAI의 아시아태평양 시장 확장에서 핵심적 역할을 담당하여 한국 시장 전략을 수립하고 OpenAI 경영진과 한국 주요 기업 임원 간 전략적 교류를 주선한 바 있습니다. OpenAI 합류 이전에는 팔란티어 테크놀로지스(Palantir Technologies)에서 뉴욕과 서울을 거점으로 배포 전략가로 근무하며, 공급망·제조·방위산업 분야의 데이터 기반 운영 솔루션을 제공했습니다. MIT 슬론 경영대학원에서 비즈니스 애널리틱스 석사학위를, UCL에서 통계·경제학 학사학위(1등 우등)를 취득했습니다.