media Hugging Face Forums · há 2 d · open_models

MB-Bidram compartilha arquitetura experimental WideNDepth que separa raciocínio de conhecimento

Traduzido do English → Português (BR)

MB-Bidram lançou uma arquitetura neural experimental chamada WideNDepth (WND) projetada para separar capacidades de raciocínio do armazenamento de conhecimento. O modelo consiste em uma "parte larga" que funciona como memória e uma "parte profunda" que atua como o raciocinador.

WND é uma arquitetura experimental onde diferentes partes focam em tarefas distintas: largo para memória e profundidade para raciocínio.
WiND, um framework mínimo de PyTorch para construir modelos WideNDepth, também foi aberto junto com a arquitetura.
O projeto é apresentado como um trabalho em progresso com espaço para melhorias, não como uma solução finalizada.

O autor convida a comunidade a explorar, experimentar e potencialmente melhorar a biblioteca e a arquitetura.

Importância 1/3 Confiança 1/3 Hugging Face Forums Research paper Training methods

Ler original

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar o raciocínio diagnóstico e clínico na saúde. A estrutura de treinamento primeiro aplica RL guiado por regras a perguntas derivadas do MedBullets para diagnóstico, depois utiliza 5.3k cenários sintéticos multi-turno com rubricas multidimensionais para tarefas clínicas interativas.

arxiv arXiv cs.AI · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

Os autores apresentam o Fathom-Vaidya, um modelo de 30B parâmetros que utiliza dados sintéticos e aprendizado por reforço baseado em rubricas para aprimorar tanto o raciocínio diagnóstico quanto o clínico na saúde. A estrutura de treinamento primeiro visa a precisão diagnóstica usando perguntas derivadas do MedBullets e depois aborda interações clínicas multironda através de 5.3k cenários gerados com rubricas multidimensionais.

arxiv arXiv cs.CL · há 1 d · 12 visualizações

Fathom-Vaidya melhora o raciocínio médico com recompensas baseadas em rubricas

media Hugging Face Forums · há 3 d · 18 visualizações

Proposta: Transferência de conhecimento progressiva do Qwen 9B para 27B para um modelo fixo de 4B

Um usuário nos fóruns da Hugging Face propõe um experimento em transferência de conhecimento progressiva, onde um modelo estudante de tamanho fixo (Qwen 4B) aprende sequencialmente a partir de modelos professores cada vez maiores, em vez de diretamente do maior disponível.

arxiv arXiv cs.LG · há 7 d · 20 visualizações

OpenAI lança Open-1B com treinamento totalmente auditável

A OpenAI lançou o Open-1B, um modelo de linguagem treinado sob um regime onde cada operação durante o treinamento é reproduzível independentemente em hardware comercial heterogêneo com certeza bit a bit. Esta abordagem aborda os problemas de reprodutibilidade inerentes aos modelos de código aberto ao impor uma ordem definida sobre as fontes de não determinismo, como reduções de kernels de GPU e ordenação de lotes de dados.