media r/LocalLLaMA · há 1 h · open_models

Hugging Face lança The Stack v3, o maior conjunto de dados de código aberto

Traduzido do English → Português (BR)

A Hugging Face lançou o The Stack v3, descrito como o maior conjunto de dados de código aberto até o momento. O lançamento oferece dois métodos de acesso distintos para atender às necessidades de diferentes usuários.

stack-v3-train: Uma versão quase deduplicada, filtrada por qualidade e com PII removida, com conteúdos inline, acessível através da biblioteca Hugging Face datasets.
stack-v3-full: Todo o corpus de 114 TB armazenado como um HF Storage Bucket, preservando todos os duplicados com cluster IDs e stubs para arquivos excluídos.

Este lançamento oferece aos pesquisadores e desenvolvedores acesso a um enorme repositório de código bruto, enquanto também fornece uma variante pré-processada para uso imediato em treinamento.

Importância 2/3 r/LocalLLaMA Hugging Face Open weights Training data

Ler original

RAGU apresenta motor GraphRAG multi-etapas com extrator compacto Meno-Lite-0.1

O RAGU é um motor GraphRAG modular de código aberto que melhora a integração de conhecimento estruturado ao separar a extração de entidades da consolidação. Ele utiliza um processo de extração tipada em duas etapas, deduplicação baseada em DBSCAN, sumarização por LLM e detecção de comunidades Leiden para reduzir ruído e fragilidade encontrados em sistemas de passagem única.

lab IBM Research (Granite) · há 8 d

IBM lança o CodeAlchemy, um conjunto de dados sintético massivo de código de alta qualidade

A IBM lançou o CodeAlchemy, um pipeline e um conjunto de dados sintéticos projetados para melhorar o desempenho de modelos de IA ao associar código a rastros de execução. O lançamento inclui quase 1 trilhão de tokens em 15 linguagens de programação, totalizando pelo menos 200 vezes o tamanho da Wikipedia.

arxiv arXiv cs.CL · há 10 d · 1 visualização

RAGU introduz GraphRAG multi-etapas com extrator compacto Meno-Lite-0.1

O RAGU é um mecanismo GraphRAG modular de código aberto que melhora a integração de conhecimento estruturado separando a extração da consolidação por meio de um processo em duas etapas envolvendo extração tipada, deduplicação, resumo e detecção de comunidades.

arxiv arXiv cs.CL · há 11 d

Freya-TTS lança modelo de TTS turco sem tokenizador com WER de 8,0%

Pesquisadores apresentam o Freya-TTS, um modelo compacto de texto para fala sem tokenizador otimizado para turco que alcança uma taxa de erro de palavras (WER) de 8,0% no benchmark Freya-TR-Eval. O Diffusion Transformer condicional não autoregressivo com 183,2 milhões de parâmetros, baseado em matched flow, opera no espaço latente contínuo congelado do AudioVAE2, permitindo reconstrução de alta qualidade a 48 kHz sem fonemizador ou tokenizador de fala discreto.

arxiv arXiv cs.AI · há 15 d

DiaLLM investiga a lacuna entre robustez e geração na adaptação a dialetos do inglês

O estudo DiaLLM aborda a desconexão entre compreender e produzir inglês dialectal por meio do pré-treinamento contínuo de três famílias de modelos de linguagem de peso aberto no Corpus Internacional do Inglês. Aplica paradigmas de pós-treinamento implícitos e explícitos combinados com três estratégias de alinhamento para comparar o inglês australiano, indiano e britânico setentrional.