SplitMoE é uma arquitetura alternativa de Mixture of Experts que divide camadas feed-forward largas em subcomponentes menores e especializados para melhorar a flexibilidade da representação de tokens e a modularidade computacional.
O Gerador de Estado do Mundo (WSG) é um modelo que mantém os planos de agentes linguísticos alinhados às regras de seu ambiente de execução, reescrevendo estados após falhas. É treinado em 226K trajetórias extraídas de sete domínios sintéticos onde um programa aplica regras e verifica a alcançabilidade do objetivo.
Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar o raciocínio diagnóstico e clínico na saúde. A estrutura de treinamento primeiro aplica RL guiado por regras a perguntas derivadas do MedBullets para diagnóstico, depois utiliza 5.3k cenários sintéticos multi-turno com rubricas multidimensionais para tarefas clínicas interativas.
Jen Wei encontrou uma espiral de morte da taxa de aprendizado ao testar AdamW, Muon e a implementação mais recente do Dion3 dentro do OLMo-core para uma próxima palestra na Conferência PyTorch.
Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde. A estrutura de treinamento primeiro visa a precisão diagnóstica usando perguntas derivadas do MedBullets e depois aborda interações clínicas multironda através de 5.3k cenários gerados com rubricas multidimensionais.
Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde.
A TypeSafe AI lançou o Jev, uma nova classe de modelos "System One" projetados para ambientes de produção. O CEO da empresa e coautor do artigo InstructGPT, Diogo Almeida, argumenta que os modelos atuais de ponta priorizaram alinhamento e recusas em detrimento da confiabilidade, levando a problemas como alucinações e sycophancy.
MB-Bidram lançou uma arquitetura neural experimental chamada WideNDepth (WND) projetada para separar capacidades de raciocínio do armazenamento de conhecimento. O modelo consiste em uma "parte larga" que funciona como memória e uma "parte profunda" que atua como o raciocinador.
Uma proposta no Hugging Face discute dois problemas interligados na IA: a dependência do treinamento de grandes modelos separados e a dependência do ecossistema em GPUs de propósito geral.
Um usuário nos fóruns da Hugging Face propõe um experimento em transferência de conhecimento progressiva, onde um modelo estudante de tamanho fixo (Qwen 4B) aprende sequencialmente a partir de modelos professores cada vez maiores, em vez de diretamente do maior disponível.
A OpenAI introduziu um novo framework para rastrear, investigar e divulgar desalinhamento em seus modelos, acompanhado por seis relatórios detalhados de incidentes do treinamento de aprendizado por reforço. O sistema estabelece critérios e prazos específicos para divulgação pública, aplicando-se mesmo quando o comportamento não está totalmente explicado ou mitigado.
Pesquisadores do ByteLex construíram um espaço de coordenadas a partir de 11 vocabulários de tokenizadores para prever em quais palavras inventadas seu modelo de linguagem em nível de byte falharia. O mapa alcançou uma correlação de Spearman de -0.98 com a precisão por palavra medida do modelo, superando estatísticas derivadas de corpus.
A OpenAI lançou o Open-1B, um modelo de linguagem treinado sob um regime onde cada operação durante o treinamento é reproduzível independentemente em hardware comercial heterogêneo com certeza bit a bit. Esta abordagem aborda os problemas de reprodutibilidade inerentes aos modelos de código aberto ao impor uma ordem definida sobre as fontes de não determinismo, como reduções de kernels de GPU e ordenação de lotes de dados.
O TRL v1.14 introduz suporte ao LoRA no AsyncGRPOTrainer, permitindo que ele treine um adaptador de Adaptação de Baixo Ranque e sincronize apenas esse pequeno arquivo com os workers de inferência do vLLM. Essa arquitetura desacopla os jobs de treinamento e geração em máquinas separadas, usando um Storage Bucket compartilhado como ponte de sistema de arquivos, eliminando a necessidade de NCCL ou comunicação direta de rede entre nós.
O usuário pop123-ux publicou um repositório de aprendizado contendo 38 notebooks executáveis projetados para ajudar os usuários a entender a pilha do Hugging Face removendo progressivamente as abstrações de alto nível. A coleção cobre um caminho desde componentes centrais como transformers e tokenizers até ajuste fino, PEFT, raciocínio/RL e trabalho em projetos de ponta a ponta.
A Together AI expandiu seu serviço de ajuste fino para suportar uma gama mais ampla de modelos de peso aberto, incluindo GLM-5.3 e Kimi K2.7, ao mesmo tempo que introduz rastreamento de experimentos em tempo real e controles mais refinados sobre o processo de treinamento.
Pesquisadores do Google e de várias universidades japonesas apresentaram o ToolGrad, um framework que inverte o pipeline tradicional para a geração de conjuntos de dados de uso de ferramentas, construindo primeiro cadeias de API verificadas e, em seguida, escrevendo consultas de usuário correspondentes. Essa abordagem visa eliminar a ineficiência dos métodos baseados em consulta que frequentemente falham durante a exploração por agentes.
Pesquisadores apresentam o ExecCritic, um framework que combina uma estrutura de testar-verificar-revisar com aprendizado por reforço específico por função para aprimorar agentes de codificação. O sistema separa a construção de testes do reparo do código-fonte, utilizando um agente Test para gerar testes nativos do repositório e um agente Repair para revisar o código com base no feedback de execução.
O memaudit é uma ferramenta que se integra à biblioteca TRL para verificar se o ajuste fino de modelos em dados privados levou à memorização. Ele funciona injetando segredos decoy calibrados no conjunto de dados e monitorando a perda durante o processo de treinamento.
Uma demonstração mostra que congelar os estados de chave-valor (KV) de um texto guia permite que um modelo Qwen2.5-3B-Instruct aplique novas instruções sem incluir o guia no prompt ativo. O método envolve executar o texto guia pelo modelo uma vez, congelar seu cache KV e então gerar respostas sobre esse prefixo oculto.