국가 AI 연구거점 참여 심현정 교수팀, 멀티모달 LLM 판정자의 시각 인식 편향 완화 연구 공개

국가AI연구거점(NAIRL) 참여 연구진인 KAIST AI 심현정 교수 연구팀이 멀티모달 거대언어모델(MLLM)을 자동 평가자로 활용할 때 발생하는 시각 인식 편향을 규명하고, 이를 완화하는 새로운 학습 방법을 제안한 연구를 공개했습니다.

최근 멀티모달 AI 모델은 다른 AI의 답변을 채점하는 ‘판정자(Judge)’ 역할로 널리 활용되고 있습니다. 하지만 연구팀은 이러한 판정자 모델이 이미지에 실제로 보이는 내용보다, 그럴듯하게 들리는 텍스트 설명에 더 의존하는 경향이 있음을 발견하고, 이를 ‘인식 판정 편향(Perceptual Judgment Bias)’이라는 개념으로 정의했습니다.

연구팀은 박서정·최지호 공동 1저자를 비롯한 KAIST AI 소속 연구원들과 함께 진행한 이번 연구에서, 이미지에 미세한 변형을 가하는 통제 실험을 통해 기존 판정자 모델이 자신이 본 시각 정보를 신뢰하지 못한다는 점을 정량적으로 입증했습니다. 이는 자동 평가의 일관성과 검증 가능성을 저해하는 핵심 요인으로 지목됩니다.