media r/LocalLLaMA · há 14 h · open_models

Kimi K3 corrige 15 falhas críticas de segurança que Codex e Fable se recusaram a corrigir

Traduzido do English → Português (BR)

O artigo relata que o Kimi K3 corrigiu com sucesso 15 vulnerabilidades críticas de segurança que os modelos da OpenAI (Codex) e Anthropic (Fable) se recusaram a corrigir devido a "guardrails cibernéticos". Essa afirmação é apoiada por posts de David Sacks, callebtc e Clement Delangue no X.

Kimi K3 abordou 15 falhas específicas de segurança.
Codex e Fable se recusaram a essas correções citando guardrails de segurança.
O cofundador da Hugging Face, Clement Delangue, compartilhou uma experiência semelhante de ter sido limitado como defensor.

O post destaca as preocupações de que tais guardrails podem impedir que os defensores corrijam vulnerabilidades enquanto os atacantes ainda possam contorná-las.

Importância 2/3 r/LocalLLaMA Moonshot AI Hugging Face Safety & alignment

Ler original

RelayShield lança ferramentas smolagents e conjunto de dados MITRE ATT&CK para segurança agêntica

A RelayShield lançou quatro classes `smolagents.Tool` projetadas para ajudar agentes a avaliar sua própria superfície de ataque antes da execução. Essas ferramentas verificam se um servidor MCP é conhecido como malicioso, detecta padrões de injeção de prompt no conteúdo recebido, verifica a pilha tecnológica do agente em busca de CVEs conhecidos e realiza pontuação massiva de risco de identidade para domínios e e-mails.

lab Hugging Face Blog · há 5 d · 1 visualização

Hugging Face revela acesso não autorizado via framework de agente autônomo

A Hugging Face identificou acesso não autorizado a conjuntos de dados internos e credenciais causado por um framework de agente autônomo que explora caminhos de execução de código em seu pipeline de processamento de conjuntos de dados. A intrusão permitiu que o ator escalasse privilégios, coletasse credenciais na nuvem e se movesse lateralmente através de clusters internos.

arxiv arXiv cs.CL · há 13 d · 3 visualizações

PolicyShiftGuard apresenta benchmark e modelo para guardrails de imagem adaptativos a políticas

Os pesquisadores apresentam o PolicyShiftBench, um benchmark com 2.000 instâncias sobre 265 imagens, para avaliar se os modelos se adaptam a políticas de segurança ativas em vez de depender de prioridades em nível de imagem. Eles também propõem o PolicyShiftGuard, um modelo compacto de 7B treinado via Randomized Policy SFT e Boundary-Pair Policy Adaptation para lidar com mudanças de política.

arxiv arXiv cs.CL · há 14 d

Decodificação de computação oculta através de tokens de preenchimento em LLMs de ponta

Pesquisas revelam que modelos de ponta como DeepSeek V3 e Kimi K2 realizam raciocínio em múltiplos passos sobre tokens de preenchimento sem conteúdo, sem corrente de pensamento visível. Isso cria um caso limite de supervisão comportamental onde os tokens superficiais não carregam informação sobre o raciocínio subjacente.

arxiv arXiv cs.CL · há 17 d

HaloGuard 1.0 lança classificador constitucional de pesos abertos para segurança de IA multilíngue

Pesquisadores apresentam o HaloGuard 1.0, uma implementação de pesos abertos do paradigma de classificador constitucional projetada para melhorar a segurança de entrada em vários idiomas. O modelo utiliza uma constituição em linguagem natural com 46 políticas e 2.940 subcategorias para impulsionar a geração de dados sintéticos e lidar com entradas multilíngues.