본 연구는 원본 스테레오 파형에서 직접 풀듀플렉스 에이전트 대화를 채점하는 오디오 심판으로 작용하는 Gemini 모델(2.5 Flash, 3.5 Flash, 3.1 Pro)의 실증적 신뢰성을 보고한다.
- Gemini 2.5 Flash는 기준 참값 모델로 사용되었으며, 8개의 프로덕션 차원에 걸친 209개의 스테레오 세션에서 3명의 보정된 인간 평가자와 검증되었다.
- 8개 차원 중 5개에서 LALM-인간 스피어만 rho는 쌍별 인간-인간 rho와 최대 0.07만큼 벗어났으며, 8개 차원 중 7개에서 신뢰 구간이 겹쳤다.
- Gemini 3.5 Flash는 단순 일치율을 8개 차원 모두에서 개선했으나, 3.1 Pro는 순위 상관계수가 유사함에도 불구하고 여러 차원에서 인간보다 현저히 낮은 평가를 내렸다.
- LALM은 48개의 결함 차원 셀 중 45개에서 인간과 동등하거나 더 민감하지만, 대부분은 입증된 동등성보다는 검정력이 부족한 귀무가설이다.
- 인간 평가 비용은 평가된 주기로의 동일한 LALM 작업 부하보다 약 두 자리수 더 비싸다.
이 데이터는 증거가 지지하는 차원에서 LALM을 대체자 또는 네 번째 평가자로 배포하기 위한 방어 가능한 실증적 기반을 제공하지만, 모델 교체에는 특정 보정 검증이 필요하다.