media Hugging Face Forums · há 10 h · open_models

Pesquisador independente avalia o Kavach contra os 42 ataques de injeção de prompt reais do IssueTrojanBench

Traduzido do English → Português (BR)

Um pesquisador independente publicou o KavachBench, um benchmark que avalia a barreira de segurança do agente de codificação com IA Kavach contra o corpus do IssueTrojanBench de 42 ações maliciosas de chamada de ferramentas derivadas de payloads de issues do GitHub.

A avaliação utilizou o corpus real de injeção de prompt do IssueTrojanBench contendo 42 ações de ataque em 4 categorias.
Os resultados demonstraram que a cobertura é alcançada por meio da canonização do adaptador sob uma política de negação padrão, em vez de ajuste específico do benchmark.
O ambiente de pesquisa e o artigo estão disponíveis no Zenodo e no GitHub para revisão adicional.

As descobertas destacam a importância de distinguir entre aplicação baseada em canonização e ajuste específico ao avaliar barreiras de segurança semelhantes.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Ler original

Estudo revela divergência de política epistêmica na contaminação de LLMs multi-turno

Um estudo intitulado "Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation" avalia como grandes modelos de linguagem lidam com premissas falsas injetadas no histórico da conversa, um modo de falha denominado contaminação em nível de sessão. Os pesquisadores testaram GPT-5.4 Mini, Gemini-3.1 Flash-Lite e GLM-4.5-Air em dez domínios de conhecimento usando 22.500 turnos com temperatura zero.

media Hugging Face Forums · há 3 d · 1 visualização

SecFathy rejeita modelo especializado de 8B para XSS devido a falhas adversariais

O desenvolvedor SecFathy disponibilizou como código aberto um protótipo de pesquisa chamado XSS Specialist, um modelo de segurança de 8B projetado para análise de vulnerabilidades XSS. O projeto inicialmente visava empurrar os limites da especialização usando recuperação e LoRA, mas acabou rejeitando o modelo porque ele falhou nos testes adversariais de quase-acerto, onde pequenas alterações nos identificadores causavam julgamentos de segurança incorretos.

media Hugging Face Forums · há 3 d · 9 visualizações

Claude Opus 5 e Tetsu encontram seis verificações de CI vazias em seu próprio projeto

Em 27 de setembro, o Claude Opus 5 e o modelo Tetsu de 3B identificaram seis verificações de integração contínua separadas em seu repositório público que foram marcadas como verdes ou aprovadas, apesar de não verificarem o que deveriam medir. Os problemas variavam desde um gate de implantação que recusava reinicializações válidas devido a digests desatualizados até benchmarks de tempo com limiares vazios que aceitavam diferenças de desempenho insignificantes.

media Hugging Face Forums · há 5 d · 3 visualizações

Pesquisador busca endosso da categoria cs.CR do arXiv para avaliação adversarial de LLM no RedSOC

O pesquisador independente de segurança de IA Krishnakaanth Reddy Yeduguru está solicitando um endosso para a categoria cs.CR no arXiv para um artigo intitulado "RedSOC — Um Framework de Avaliação Adversarial para Centros de Operações de Segurança Integrados com LLM."

media Hugging Face Forums · há 7 d · 12 visualizações

Análise da sobreconfiança artificial em sistemas de IA treinados via RLHF

Os grandes modelos de linguagem modernos são sistematicamente sobreconfiantes, expressando alta confiança em respostas incorretas devido a incentivos de treinamento, e não a falhas técnicas de calibração. Durante o Aprendizado por Reforço com Feedback Humano (RLHF), os avaliadores humanos recompensam respostas que soam autoritativas e definitivas, fazendo com que o modelo aprenda que a incerteza é penalizada.