A Microsoft Research lançou o Echoverse, uma coleção de doze ambientes sintéticos profundos projetados para treinar agentes de uso de computador. A iniciativa inclui dez mundos específicos de domínio e dois mundos focados em capacidades, todos construídos para manter um estado coerente e fidelidade comportamental.
Um novo artigo explora o uso de modelos de linguagem grandes fundamentais (LLMs) para automatizar a otimização de hiperparâmetros (HPO), um processo que normalmente depende de abordagens manuais em configurações com orçamento limitado. Os autores desenvolveram uma metodologia onde os LLMs sugerem configurações de hiperparâmetros com base nas descrições do conjunto de dados e do modelo, que são então refinadas iterativamente de acordo com o desempenho do modelo.
Pesquisadores apresentam o Source, um novo método de atribuição de dados de treinamento (TDA) que combina a eficiência computacional das funções de influência com a precisão das abordagens baseadas em desenrolamento. Ao usar uma fórmula semelhante à função de influência para aproximar a diferenciação desenrolada, o Source aborda limitações nos métodos de diferenciação implícita, como sua falha em considerar o viés de otimização ou pipelines multiestágio.
O artigo apresenta o JacNet, uma arquitetura de rede neural que aprende diretamente o Jacobiano de uma função de entrada-saída em vez do mapeamento em si. Essa abordagem permite controle preciso sobre as propriedades da derivada, permitindo a imposição de priors estruturais como invertibilidade e continuidade k-Lipschitz.
O artigo introduz uma tese de jlorraine que aborda os desafios de aplicar otimização bilevel ou aninhada a configurações de aprendizado profundo em larga escala. Enquanto a otimização baseada em gradiente tipicamente atualiza um único conjunto de parâmetros, muitas aplicações exigem a atualização de subconjuntos de parâmetros em diferentes objetivos aninhados uns dentro dos outros.
Pesquisadores propõem o Masters, um framework de aprendizado por reforço progressivo com mascaramento para destilar modelos grandes de visão e linguagem em versões compactas adequadas para implantação em dispositivos de borda. O método aborda a instabilidade causada pela lacuna de tamanho entre os modelos professor e aluno.
Pesquisadores introduzem a Otimização de Política na Zona Próxima (ZPPO), um método que injeta conhecimento do professor nos prompts, em vez dos gradientes da política, para lidar com a fragilidade na destilação de conhecimento e no desvio no aprendizado por reforço. A ZPPO constrói Perguntas com Candidato Binário Incluído (BCQ) e Perguntas com Candidato Negativo Incluído (NCQ) para perguntas difíceis, recirculando-as por meio de um buffer de replay até que a precisão do aluno melhore ou sejam removidas.
A Microsoft Research apresentou o EvoLib, um framework que permite que modelos de linguagem grandes aprendam com sua própria experiência durante a inferência, sem exigir rótulos de verdade fundamental ou feedback externo. Em vez de armazenar experiências brutas como memórias estáticas, o EvoLib as transforma em habilidades reutilizáveis e insights reflexivos que são continuamente refinados, consolidados e reponderados.
O DharmaOCR alcança maior qualidade e estabilidade na extração do que o Mistral OCR4 e o Unlimited-OCR no português brasileiro por meio de treinamento específico do domínio.
ThetaMem é um estudo preliminar, com semente única, de um misturador recorrente que modifica o estado recorrente por meio de elevações de chave aprendidas com Hadamard ou produto externo com sinal, em vez de refinar mecanismos de portão. O autor apresenta resultados mistos em benchmarks sintéticos e busca explicitamente críticas para identificar o experimento mais barato capaz de falsear a abordagem.
A Dyna Robotics lançou o Dyna-2, um modelo de ação no mundo para manipulação robótica que foi pré-treinado com mais de um milhão de horas de vídeo egocêntrico humano. A empresa demonstra que vídeos humanos comuns podem substituir dados rotulados com ações ao estabelecer uma lei de escala de 1.000 a 1.000.000 de horas.
Pesquisadores desenvolveram o MiLMMT-46-v1.0, um modelo de tradução automática multilíngue que aplica pós-treinamento sem referência em grandes modelos de linguagem de código aberto. A equipe utiliza Otimização de Política Relativa de Grupo (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlada por identificação de idioma.
Pesquisadores lançaram o MiLMMT-46-v1.0, um modelo de linguagem grande de código aberto para tradução automática multilíngue que utiliza pós-treinamento sem referência. Partindo do MiLMMT-46-v0.1 ajustado por supervisão, a equipe aplicou Group Relative Policy Optimization (GRPO) com uma recompensa baseada em dois modelos de estimativa de qualidade sem referência, controlados por identificação de idioma.
A Multiverse Computing apresenta uma abordagem eficiente em memória para a destilação de conhecimento de modelos de linguagem grandes, combinando o cache offline de top-K logits com uma perda de divergência Kullback-Leibler (KL) em blocos fundidos. Este método elimina a necessidade de manter os modelos professor e aluno na memória simultaneamente, reduzindo drasticamente os requisitos de VRAM.
A ByteDance anunciou o compromisso de desenvolver seu próximo modelo de IA sem depender de técnicas de destilação de IA.
Pesquisadores propõem Auto-Distilação On-Policy Não Supervisionada (U-OPSD), um método que alcança melhoria no pós-treinamento para grandes modelos de linguagem usando apenas as próprias gerações do modelo, sem supervisão externa. A abordagem amostra múltiplas execuções para construir uma pseudo-solução por meio de votação majoritária, em seguida, destila a distribuição do professor nos prefixos do maior completamento incorreto do modelo.
A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.
A equipe NeMo da NVIDIA lançou o Molt, um framework de aprendizado por reforço agêntico de código aberto projetado para reduzir a complexidade da iteração de algoritmos para pesquisadores. A base de código possui aproximadamente 8,6K linhas de código RL, significativamente menor do que frameworks comparáveis como verl (62K linhas) e slime (25K linhas).
O autor propõe a hipótese de que rastros de agentes que usam ferramentas e falham, como seleções incorretas de ferramentas ou argumentos malformados, podem servir como dados valiosos de ajuste fino para treinar modelos a se afastarem desses erros. O post busca feedback da comunidade sobre se o treinamento em rastros de falha corrigidos é eficaz ou prejudicial.
A Arquitetura PIN v2 introduz um método para pré-selecionar o tamanho e a velocidade de inferência de uma rede neural antes do treinamento, utilizando amarração de pesos. Essa técnica força grupos de células a armazenar valores idênticos, permitindo que a rede mantenha sua largura enquanto reduz drasticamente o número de pesos armazenados.