국가 AI 연구거점 참여 심현정 교수팀, 멀티모달 LLM 판정자의 시각 인식 편향 완화 연구 공개

국가AI연구거점(NAIRL) 참여 연구진인 KAIST AI 심현정 교수 연구팀이 멀티모달 거대언어모델(MLLM)을 자동 평가자로 활용할 때 발생하는 시각 인식 편향을 규명하고, 이를 완화하는 새로운 학습 방법을 제안한 연구를 공개했습니다.

최근 멀티모달 AI 모델은 다른 AI의 답변을 채점하는 ‘판정자(Judge)’ 역할로 널리 활용되고 있습니다. 하지만 연구팀은 이러한 판정자 모델이 이미지에 실제로 보이는 내용보다, 그럴듯하게 들리는 텍스트 설명에 더 의존하는 경향이 있음을 발견하고, 이를 ‘인식 판정 편향(Perceptual Judgment Bias)’이라는 개념으로 정의했습니다.

연구팀은 박서정·최지호 공동 1저자를 비롯한 KAIST AI 소속 연구원들과 함께 진행한 이번 연구에서, 이미지에 미세한 변형을 가하는 통제 실험을 통해 기존 판정자 모델이 자신이 본 시각 정보를 신뢰하지 못한다는 점을 정량적으로 입증했습니다. 이는 자동 평가의 일관성과 검증 가능성을 저해하는 핵심 요인으로 지목됩니다.

연구팀은 이 문제를 해결하기 위해 ‘인식 교란 판정 데이터셋(Perceptually Perturbed Judgment Dataset, PPJD)’을 새롭게 구축했습니다. PPJD는 이미지에 최소한의 시각적 변형을 가해 반사실적 응답을 생성함으로써, 학습 과정에서 인식 오류를 분리해 다룰 수 있도록 설계됐습니다. 연구팀은 이 데이터셋을 바탕으로 강화학습(GRPO) 기반 학습 프레임워크를 개발했으며, 시각 인식 충실도와 인간 평가와의 정합성 등 주요 벤치마크에서 의미 있는 성능 향상을 확인했습니다.

이번 연구는 안전하고, 물리적으로 근거를 갖추며, 신뢰할 수 있는 AI를 지향하는 KAIST CVML 랩의 연구 비전과도 맞닿아 있습니다. CVML 랩은 생성형 AI의 공정성, 안전이 중요한 응용 분야를 위한 인식과 추론, 물리적 근거 확보, 효율적 학습 등 폭넓은 연구를 이어오고 있습니다.

멀티모달 시스템이 과학, 산업, 의사결정 도구 전반으로 빠르게 확산되는 가운데, 판정자 모델의 신뢰성과 검증 가능성을 확보하는 일은 국가AI연구거점이 중점을 두어 온 핵심 연구 의제 중 하나입니다. 심현정 교수 연구팀의 이번 성과는 국가AI연구거점이 만들어가고 있는 글로벌 오픈 이노베이션 생태계 안에서 이어지고 있는 의미 있는 결과로 평가됩니다.

프로젝트 페이지: https://perceptionjudge.github.io/
KAIST CVML 랩: https://kaist-cvml.github.io/