arxiv arXiv cs.CL · há 9 h · research

Ataque unidirecional no GLM-5.3-Flash revela fragilidade do alinhamento de segurança em modelos MoE

Traduzido do English → Português (BR)

Pesquisadores demonstram que a ablação direcional, um ataque white-box que remove a recusa ao projetar para fora uma única direção dos pesos, permanece eficaz em modelos frontier mixture-of-experts (MoE) como o GLM-5.3-Flash. O estudo mostra que, embora o ataque sobreviva à arquitetura, seus efeitos são distribuídos entre os escritores de atenção, densos e de especialistas roteados, em vez de concentrados em um único local.

A edição dos escritores de atenção, densos e de especialistas roteados individualmente remove 0,039, 0,016 e 0,148 da recusa, respectivamente.
A intervenção conjunta nos três componentes remove 0,776 da recusa, com 74% do efeito existente apenas sob essa edição combinada.
A correspondência convencional por nome de módulo explica apenas 0,066 do efeito total, fazendo com que o ataque falhe silenciosamente se aplicado de forma restrita.
O método alcança reduções de 41 a 89 pontos percentuais em sete benchmarks prejudiciais sem mudanças detectadas na capacidade.
Um resíduo concentrado por categoria sobrevive às edições sobre violência, conteúdo sexual e ódio, deixando recusa mensurável em todos os postos de 1 a 12.

As descobertas indicam que o alinhamento de segurança em modelos MoE é mais frágil do que se pensava anteriormente, pois os componentes críticos para a recusa estão dispersos e não são facilmente identificados por métodos de inspeção padrão.

Importância 2/3 arXiv cs.CL Zhipu AI Research paper Safety & alignment

Artigos relacionados

media Hugging Face Forums · há 9 d · 11 visualizações

ntrillard encontra as maiores coordenadas que não conduzem o logit steering do Qwen2-1.5B

Uma investigação causal do vocabulário-logit steering no modelo Qwen2-1.5B revela que as maiores coordenadas no vetor de steering não são necessariamente responsáveis pelos efeitos comportamentais observados. O estudo, conduzido por ntrillard, analisa como o sparse ranked logit steering influencia a geração de tokens e identifica os componentes estruturais específicos que impulsionam essas mudanças.

arxiv arXiv cs.CL · há 9 d · 16 visualizações

WebWorld usa navegador como modelo de mundo para autoaperfeiçoamento do código web

Os autores apresentam o WebWorld, uma interface que permite a um Modelo Visão-Linguagem (VLM) interagir autonomamente com o navegador como um modelo de mundo determinístico para código web. Esta abordagem aborda a falha estrutural no autoaperfeiçoamento orientado por VLMs, onde o modelo avalia seus próprios reparos, introduzindo uma contraparte que não pode ser enganada.

media Hugging Face Forums · há 15 d · 19 visualizações

Rastro base do Gemma 4 mostra loop de alucinação e autorrelato

Um rastro base do Gemma 4 com limite de força zero revela um persistente loop de alucinação onde o modelo gera um autorrelato de falha antes de entrar em um poço de repetição. A telemetria confirma que vazamento de tags de papel e frases como "STOPITSTOP" ocorrem dentro deste estado instável, espelhando padrões observados nos carregadores Llama e Gemma 3 desde dezembro de 2025.

media Hugging Face Forums · há 15 d · 14 visualizações

Estudo encontra estruturação representacional progressiva ao longo da profundidade em 8 modelos abertos

Um novo preprint analisa a dinâmica dos estados ocultos em oito pequenos modelos Transformer abertos instrumentados localmente para determinar se as representações internas seguem uma progressão estruturada durante a inferência. O estudo distingue entre mudanças que ocorrem ao longo da profundidade do modelo e aquelas que evoluem ao longo do tempo de geração autoregressiva.

arxiv arXiv cs.AI · há 15 d · 15 visualizações

Alinhamento Neurosimbólico melhora a segurança de LLMs clínicos por meio de fundamentação fisiológica

Pesquisadores propõem o Alinhamento Neurosimbólico, um framework de treinamento que acopla um LLM clínico de 7B a um Modelo do Mundo Fisiológico baseado em HGNN para melhorar a segurança no raciocínio clínico generativo. O método utiliza conhecimento fisiológico estruturado de um grafo de conhecimento biomédico com 847K nós para pontuar respostas candidatas e impulsionar atualizações iterativas de ORPO on-policy.