media Hugging Face Forums · há 1 h · open_models

helloadhavan lança CC-FilteredCorpus para extrair Markdown estruturado do Common Crawl

Traduzido do English → Português (BR)

O usuário helloadhavan criou um conjunto de dados chamado CC-FilteredCorpus, projetado para filtrar o Common Crawl e extrair conteúdo como Markdown limpo. O projeto visa preservar a estrutura útil do documento, incluindo cabeçalhos, listas, links, blocos de código e tabelas, em vez de achatar tudo em texto puro.

O conjunto de dados está hospedado no Hugging Face em helloadhavan/CC-FilteredCorpus.
Ele é direcionado ao pré-treinamento de LLM e pesquisa em PLN, onde preservar a estrutura do documento da web é importante.

Este recurso fornece uma alternativa estruturada aos dados brutos do Common Crawl para pesquisadores que precisam de texto formatado.

Importância 1/3 Confiança 1/3 Hugging Face Forums Training data

Ler original

Calibra detecta problemas em conjuntos de dados de aprendizado robótico

O autor apresenta o Calibra, um kit de ferramentas de código aberto projetado para analisar e garantir a integridade dos conjuntos de dados de aprendizado robótico. A ferramenta visa evitar o desperdício de computação ao identificar dados problemáticos antes do início do treinamento.

media Hugging Face Forums · há 12 d · 8 visualizações

OpenGauntlet publica catálogo com 168 sistemas TTS e 106 sistemas STT

Um pesquisador publicou o catálogo de pesquisa OpenGauntlet, um recurso público contendo informações sobre 168 sistemas de texto para fala (TTS) e 106 sistemas de fala para texto (STT). Os diretórios cobrem modelos de código aberto e hospedados, licenças, requisitos de hardware, idiomas, capacidades, status do ciclo de vida, informações de origem e dados de benchmark publicados quando disponíveis.

media Hugging Face Forums · há 13 d · 12 visualizações

Matriz de conformidade mensal revela que 65% dos 4.893 conjuntos de dados em idiomas indianos não possuem tags de licença

Foi publicada uma matriz de conformidade atualizada mensalmente para todos os 4.893 conjuntos de dados em idiomas indianos no Hugging Face Hub, revelando que 65,1% não declaram nenhuma tag de licença até 1º de agosto de 2026.

media Hugging Face Forums · há 13 d · 4 visualizações

Calibra v0.7.1 adiciona verificações de integridade do conjunto de dados para aprendizado de robôs

O Calibra v0.7.1 introduz uma nova etapa de Integridade do Conjunto de Dados que é executada antes da análise de qualidade e cobertura para ajudar os usuários a verificar se seus conjuntos de dados de robótica são confiáveis.

media Hugging Face Forums · há 17 d · 3 visualizações

Calibra: toolkit de código aberto para observabilidade de conjuntos de dados de robôs

O Calibra é um toolkit de código aberto projetado para ajudar pesquisadores a auditar conjuntos de dados de robôs e identificar problemas de qualidade antes de treinar políticas. O primeiro lançamento público inclui um Espaço interativo Robot Dataset Health Check para auditar conjuntos de dados LeRobot e uma avaliação comparativa de 30 conjuntos de dados públicos do LeRobot com pontuações de saúde.