media Hugging Face Forums · há 1 h · open_models

Calibra: Observabilidade de Conjuntos de Dados Robóticos para LeRobot

Traduzido do English → Português (BR)

O Calibra é uma ferramenta de código aberto projetada para auditar conjuntos de dados robóticos e identificar problemas de qualidade antes do treinamento. Ele fornece ferramentas para construir coresetes conscientes da qualidade e estimar os resultados do treinamento.

Verificação de saúde do conjunto de dados robótico: um Space interativo para auditar conjuntos de dados LeRobot.
Um benchmark de 30 conjuntos de dados públicos do LeRobot com pontuações de saúde e diagnósticos.
Capacidades de seleção de coreset consciente da qualidade e previsão de resultados do treinamento.
API Python e CLI para integração.

A ferramenta tem como objetivo ajudar os usuários a entender a qualidade do conjunto de dados no início do fluxo de trabalho.

Importância 1/3 Confiança 1/3 Hugging Face Forums Hugging Face Evaluation & benchmarks Robotics

Ler original

Hume lança benchmark Real World VoiceEQ para qualidade de voz humana em IA

A Hume introduziu o Real World VoiceEQ, um benchmark projetado para avaliar a qualidade humana da interação por voz, analisando o quão bem os sistemas reconhecem e produzem informações acústicas além das transcrições. O benchmark avalia mais de 40 modelos proprietários e open-source em mais de 15 dimensões, utilizando mais de 60 métricas derivadas de 785.000 avaliações humanas de TTS e 48.000 de STS.

lab NVIDIA Technical Blog · há 17 d

NVIDIA apresenta método para avaliar políticas de robôs de propósito geral

A NVIDIA aborda o desafio de avaliar rigorosamente os modelos fundamentais de robótica, que agora podem seguir instruções em linguagem natural para manipular objetos. A empresa identifica a avaliação como um problema crítico não resolvido e apresenta um novo método para abordar essas questões.

arxiv arXiv cs.CL · há 20 d · 3 visualizações

PolicyShiftGuard apresenta benchmark e modelo para guardrails de imagem adaptativos a políticas

Os pesquisadores apresentam o PolicyShiftBench, um benchmark com 2.000 instâncias sobre 265 imagens, para avaliar se os modelos se adaptam a políticas de segurança ativas em vez de depender de prioridades em nível de imagem. Eles também propõem o PolicyShiftGuard, um modelo compacto de 7B treinado via Randomized Policy SFT e Boundary-Pair Policy Adaptation para lidar com mudanças de política.

arxiv arXiv cs.CL · há 21 d · 3 visualizações

A ferramenta GaP gera grafos de computação direcionados para automação variacional confiável

Pesquisadores apresentam o Graph-as-Policy (GaP), uma estrutura de codificação multiagente projetada para fechar a lacuna de confiabilidade em tarefas de Automação Variacional, combinando programação interpretável com adaptabilidade livre de modelo. O GaP gera grafos de computação direcionados contendo nós de percepção, planejamento e controle a partir de uma Biblioteca Modular Aberta de Habilidades Robotizadas (MORSL) e utiliza simulação interna para ensaiar e refinar essas estruturas.

media r/LocalLLaMA · há 28 d · 2 visualizações

InternScience lança o Agents-A1, um modelo MoE de 35B com benchmarks incríveis

A InternScience lançou o modelo Agents-A1 no Hugging Face, apresentando uma arquitetura Mixture of Experts (MoE) com 35 bilhões de parâmetros. O lançamento inclui um relatório técnico disponível no arXiv e está sendo destacado por seu desempenho excepcional nos benchmarks.