arxiv Moonshot AI (arXiv) · há 513 d

Gemma 3 introduz visão, contexto longo e desempenho aprimorado

Traduzido do English → Português (BR)

O Google DeepMind lançou o relatório técnico do Gemma 3, apresentando uma atualização multimodal para a família de modelos abertos leves Gemma, que varia de 1 a 27 bilhões de parâmetros. Esta versão adiciona compreensão visual, suporta pelo menos 128K tokens de contexto e modifica a arquitetura para reduzir o uso de memória KV-cache.

A arquitetura do modelo aumenta a proporção de camadas de atenção local para global e mantém os alcances de atenção local curtos para gerenciar a memória de contexto longo.
O treinamento utiliza destilação, com uma nova receita pós-treinamento que melhora significativamente as capacidades matemáticas, chat, seguimento de instruções e multilíngue.
Gemma3-4B-IT alcança desempenho comparável ao Gemma2-27B-IT, enquanto Gemma3-27B-IT é competitivo com Gemini-1.5-Pro em benchmarks.

Os autores lançam todos os modelos para a comunidade, visando fornecer desempenho superior em relação às versões anteriores tanto para aplicações pré-treinadas quanto de ajuste fino por instruções.

Importância 2/3 Moonshot AI (arXiv) Google DeepMind Open weights Research paper

Artigos relacionados

lab Google DeepMind Blog · há 2 h · 2 visualizações

Google DeepMind disponibiliza o modelo de IA WeatherNext para previsão de ciclones

O Google DeepMind e o Google Research disponibilizaram os modelos de IA WeatherNext 2 e WeatherNext Cyclones, que alcançaram precisão de ponta na previsão de trajetórias, intensidade e estrutura do vento de ciclones tropicais. Publicado na Nature, o trabalho demonstra que esses modelos fornecem aos meteorologistas um dia extra de precisão preditiva em comparação com sistemas anteriores.

media r/LocalLLaMA · há 30 d

Google publica relatório técnico do Gemma 4

O Google publicou um relatório técnico para a família de modelos Gemma 4. O documento está disponível no arXiv.

arxiv arXiv cs.LG · há 9 d · 1 visualização

Moonshot AI lança Kimi K3, um modelo MoE de 2,8T parâmetros com contexto de milhão de tokens

A Moonshot AI apresentou o Kimi K3, um modelo Mixture-of-Experts de código aberto com 2,8 trilhões de parâmetros totais e 104 bilhões de parâmetros ativados por token. O modelo oferece capacidades nativas de visão e uma janela de contexto de 1 milhão de tokens, aproveitando o Kimi Delta Attention e o Stable LatentMoE para alcançar uma eficiência de escalabilidade aproximadamente 2,5 vezes superior à do seu antecessor, Kimi K2.

arxiv arXiv cs.CL · há 10 d · 4 visualizações

Moonshot AI lança Kimi K3, um modelo MoE de 2,8T com contexto de milhão de tokens

A Moonshot AI apresenta o Kimi K3, um modelo Mixture-of-Experts de código aberto com 2,8 trilhões de parâmetros totais e 104 bilhões de parâmetros ativados por token. A arquitetura utiliza capacidades nativas de visão e suporta uma janela de contexto de 1 milhão de tokens, habilitada pelo Kimi Delta Attention e Stable LatentMoE.

media r/LocalLLaMA · há 14 d · 2 visualizações

Arcee e Departamento de Energia se associam para construir Genesis-Science-1

A Arcee, uma desenvolvedora de modelos de peso aberto nos EUA, fez parceria com o Departamento de Energia para criar o Genesis-Science-1. Essa colaboração resulta em um modelo aberto projetado especificamente para pesquisa científica.