media r/LocalLLaMA · il y a 1 h · open_models

Microsoft confirme qu'OpenAI utilise des Transformers en boucle dans GPT-6

Traduit de English → Français

Une page web de Microsoft a confirmé qu'OpenAI utilisait des Transformers en boucle (Looped Transformers) dans la série GPT-6, validant les rapports précédents de The Information. La documentation indiquait que GPT-6.1 Sol utilise deux passes d'inférence, une réduction par rapport à trois.

L'article note que GPT-6 et GPT-6.1 partagent les mêmes poids du modèle de base pré-entraîné mais diffèrent dans le post-entraînement, GPT-6.1 utilisant un cycle de moins.

Microsoft a ensuite mis à jour la page web pour supprimer cette information.

Importance 2/3 r/LocalLLaMA Microsoft Research OpenAI Research paper

Lire l'original

Microsoft publie RetroChimera pour la prédiction de rétrosynthèse

Microsoft Research a publié et open-sourcé RetroChimera, un nouveau cadre de prédiction de rétrosynthèse qui combine deux modèles complémentaires pour proposer des voies de synthèse de haute qualité. Le système intègre R-SMILES 2, un modèle de novo basé sur Transformer, avec NeuralLoc, un modèle basé sur un réseau neuronal graphique (GNN), en utilisant une stratégie d'assemblage apprise pour classer les prédictions.

arxiv arXiv cs.LG · il y a 20 j · 48 vues

OpenAI publie Open-1B avec un entraînement entièrement auditable

OpenAI a publié Open-1B, un modèle de langage entraîné selon un régime où chaque opération pendant l'entraînement est reproductible indépendamment sur du matériel hétérogène standard avec une certitude bit à bit. Cette approche traite des problèmes de reproductibilité inhérents aux modèles open-source en imposant un ordre défini aux sources de non-déterminisme, telles que les réductions de noyaux GPU et l'ordre des lots de données.

media Latent Space · il y a 27 j · 56 vues

OpenAI affirme un résultat de singularité de Navier-Stokes assisté par l'IA avec 10 000 agents

Des comptes affiliés à OpenAI ont signalé qu'un effort assisté par l'IA a produit un résultat lié au problème de l'existence et de la régularité de Navier-Stokes, l'un des problèmes du prix du millénaire. L'affirmation indique qu'environ 10 000 agents ont collaboré sur la tâche après avoir été entraînés pendant environ un an en utilisant l'apprentissage par renforcement multi-agents.

lab OpenAI News · il y a 28 j · 66 vues

Le système interne d'OpenAI prouve que les équations de Navier–Stokes peuvent développer des singularités en temps fini

OpenAI rapporte qu'un système d'IA interne a produit une preuve montrant que la dynamique des équations de Navier-Stokes pour le mouvement des fluides peut développer une singularité en temps fini. La solution, dérivée par un système multi-agents alimenté par un modèle significativement plus capable que GPT-6 Astra, établit l'énoncé "C" de la formulation du Prix Millennium.

arxiv arXiv cs.AI · il y a 33 j · 64 vues

DisCo condense les dépôts GitHub en plus de 5 000 compétences de recherche en IA

Les chercheurs présentent DisCo, un agent autonome alimenté par des compétences conçu pour combler le manque de connaissances opérationnelles dans la recherche en apprentissage automatique en distillant l'expertise à partir de dépôts de code. Le système condense des projets open-source largement utilisés en compétences réutilisables et vérifiées grâce à deux formes complémentaires : une distillation agnostique aux tâches des écosystèmes généraux et une génération orientée vers les tâches pour des besoins spécifiques.