media Hugging Face Forums · há 3 d · open_models

Proposta de um mínimo de relatórios para resultados de ataques à política do robô

Traduzido do English → Português (BR)

O autor propõe um conjunto de padrões de relatório para artigos sobre ataques Vision-Language-Action (VLA) para melhorar a transparência e comparabilidade dos resultados. A proposta argumenta que a literatura atual frequentemente carece de dados base essenciais e contexto estatístico, levando a alegações ambíguas sobre a eficácia do ataque.

Os requisitos-chave incluem:

Relatar uma taxa de controle benigno correspondente na mesma tarefa e semente sem subtração.
Usar intervalos de Wilson para taxas de sucesso em tamanhos de amostra pequenos (por exemplo, n=50) em vez de aproximações normais.
Declarar explicitamente se o alvo era um stub, um checkpoint local ou um modelo hospedado para esclarecer alegações de transferência.
Incluir orçamentos de consulta nas tabelas de resultados para ataques baseados em busca para contextualizar as contagens de falhas.

O autor busca feedback da comunidade sobre se esses padrões são apropriados e pergunta se outros subcampos já empregam práticas de relatório semelhantes.

Importância 1/3 Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Artigos relacionados

media Hugging Face Forums · há 11 h · 4 visualizações

Qwen-Scope e Gemma Scope 2 mostram que a consciência de avaliação tem oito direções, não uma

Um estudo usando o EvalAwareBench testa se os modelos de linguagem usam uma única direção compartilhada ou múltiplos detectores específicos de sinal para identificar contextos de avaliação. A pesquisa alternou oito fatores de gatilho independentemente em 1.298 prompts enquanto mantinha as tarefas subjacentes e as entidades fixas.

media Don't Worry About the Vase · há 7 d · 6 visualizações

O modelo Astra da OpenAI é mais difícil de monitorar à medida que a eficácia do Pensamento em Cadeia diminui

A OpenAI reconhece que seu novo modelo Astra é significativamente mais difícil de monitorar do que as iterações anteriores, marcando um declínio na eficácia do monitoramento do Pensamento em Cadeia (CoT). Essa tendência sugere que, à medida que as capacidades do modelo aumentam, a capacidade de detectar desalinhamento por meio da análise CoT diminui, potencialmente tornando os sistemas de monitoramento atuais pouco confiáveis dentro de um ano.

lab Hugging Face Blog · há 7 d · 13 visualizações

Computação Multiverso propõe auto-distilação consciente de fronteira para recusa precisa de segurança em LLMs

Um artigo da Computação Multiverso apresenta um método para treinar modelos de linguagem a recusar apenas subconjuntos específicos prejudiciais de um tópico, em vez de toda a categoria, abordando as limitações das barreiras de tópicos grosseiras. A abordagem utiliza auto-distilação consciente de fronteira com reparo de cobertura e dados benignos na distribuição para manter a segurança enquanto reduz recusas falsas em prompts legítimos.

media Hugging Face Forums · há 8 d · 17 visualizações

memaudit executa auditorias de memorização dentro de trabalhos de treinamento do SFTTrainer

O memaudit é uma ferramenta que se integra ao SFTTrainer do Hugging Face TRL para fornecer evidências de que o ajuste fino em dados privados ou de clientes não resultou em memorização. Ele aborda a falta comum de verificação dos requisitos legais e de segurança, incorporando segredos decoy calibrados diretamente no conjunto de dados de treinamento.

media Don't Worry About the Vase · há 11 d · 11 visualizações

Anthropic lança o cartão do sistema Claude Fable 5.1 e Mythos 5.1

A Anthropic publicou o cartão do sistema para Claude Fable 5.1 e Mythos 5.1, detalhando seus perfis de segurança, riscos de alinhamento e capacidades em relação aos modelos anteriores.