Google DeepMind는 Gemma 3 기술 보고서를 출시하여 10억에서 270억 파라미터에 이르는 경량 오픈 모델 패밀리인 Gemma에 멀티모달 업데이트를 소개했습니다. 이 버전은 비전 이해력을 추가하고 최소 128K 토큰의 컨텍스트를 지원하며 KV-cache 메모리 사용을 줄이기 위해 아키텍처를 수정했습니다.

  • 모델 아키텍처는 로컬 어텐션 레이어와 글로벌 어텐션 레이어의 비율을 증가시키고 긴 컨텍스트 메모리를 관리하기 위해 로컬 어텐션 스팬을 짧게 유지합니다.
  • 학습은 증류(distillation)를 활용하며, 수학, 채팅, 명령어 따르기 및 다국어 능력을 크게 향상시키는 새로운 사후학습 레시피를 사용합니다.
  • Gemma3-4B-IT는 Gemma2-27B-IT와 비교 가능한 성능을 달성하는 반면, Gemma3-27B-IT는 벤치마크에서 Gemini-1.5-Pro와 경쟁력 있습니다.

저자들은 모든 모델을 커뮤니티에 공개하여 사전 학습 및 명령어 파인튜닝 애플리케이션 모두에서 이전 버전보다 우수한 성능을 제공하는 것을 목표로 합니다.