media r/LocalLLaMA · há 1 h · open_models

Microsoft confirma que OpenAI usa Transformers Cíclicos no GPT-6

Traduzido do English → Português (BR)

Uma página da web da Microsoft confirmou que a OpenAI tem usado Transformers Cíclicos (Looped Transformers) na série GPT-6, validando relatórios anteriores do The Information. A documentação indicava que o GPT-6.1 Sol utiliza duas passagens de inferência, uma redução de três.

O artigo observa que o GPT-6 e o GPT-6.1 compartilham os mesmos pesos do modelo base pré-treinado, mas diferem no pós-treinamento, com o GPT-6.1 empregando um loop a menos.

A Microsoft posteriormente atualizou a página da web para remover essa informação.

Importância 2/3 r/LocalLLaMA Microsoft Research OpenAI Research paper

Ler original

Microsoft lança RetroChimera para previsão de retrosíntese

A Microsoft Research publicou e disponibilizou como código aberto o RetroChimera, um novo framework para previsão de retrosíntese que combina dois modelos complementares para propor rotas de síntese de alta qualidade. O sistema integra R-SMILES 2, um modelo de-novo baseado em Transformer, com NeuralLoc, um modelo baseado em rede neural gráfica (GNN), utilizando uma estratégia de ensembling aprendida para classificar as previsões.

arxiv arXiv cs.LG · há 20 d · 48 visualizações

OpenAI lança Open-1B com treinamento totalmente auditável

A OpenAI lançou o Open-1B, um modelo de linguagem treinado sob um regime onde cada operação durante o treinamento é reproduzível independentemente em hardware comercial heterogêneo com certeza bit a bit. Esta abordagem aborda os problemas de reprodutibilidade inerentes aos modelos de código aberto ao impor uma ordem definida sobre as fontes de não determinismo, como reduções de kernels de GPU e ordenação de lotes de dados.

media Latent Space · há 27 d · 56 visualizações

OpenAI afirma que resultado sobre singularidade de Navier-Stokes com assistência de IA usou 10.000 agentes

Contas afiliadas à OpenAI relataram que um esforço assistido por IA produziu um resultado relacionado ao problema da existência e regularidade de Navier-Stokes, um dos Problemas do Milênio. A alegação afirma que aproximadamente 10.000 agentes colaboraram na tarefa após serem treinados por cerca de um ano usando aprendizado por reforço multiagente.

lab OpenAI News · há 28 d · 66 visualizações

Sistema interno da OpenAI prova que equações de Navier–Stokes podem desenvolver singularidades em tempo finito

A OpenAI relata que um sistema de IA interno produziu uma prova mostrando que a dinâmica das equações de Navier-Stokes para o movimento de fluidos pode desenvolver uma singularidade em tempo finito. A solução, derivada por um sistema multiagente alimentado por um modelo significativamente mais capaz que o GPT-6 Astra, estabelece a afirmação "C" da formulação do Prêmio Millennium.

arxiv arXiv cs.AI · há 33 d · 64 visualizações

DisCo destila repositórios do GitHub em mais de 5.000 habilidades de pesquisa com IA

Pesquisadores apresentam o DisCo, um agente autônomo baseado em habilidades, projetado para preencher a lacuna no conhecimento operacional da pesquisa de aprendizado de máquina, destilando expertise de repositórios de código. O sistema condensa projetos de código aberto amplamente utilizados em habilidades reutilizáveis e verificadas por meio de duas formas complementares: destilação agnóstica a tarefas de ecossistemas gerais e geração orientada a tarefas para necessidades específicas.