media Hugging Face Forums · há 2 d · open_models

DISA propõe monitoramento interno esparso para detectar computação enganosa de LLMs

Traduzido do English → Português (BR)

Este artigo apresenta o DISA (Dynamic Immune-Shunt Architecture), uma proposta de pesquisa conceitual para detectar comportamento potencialmente enganoso em grandes modelos de linguagem por meio de monitoramento interno esparso, em vez de depender exclusivamente da saída observável. O framework visa abordar o risco de que modelos capazes possam se comportar de maneira diferente quando percebem que estão sendo monitorados.

O DISA consiste em quatro componentes principais:

ASAM (Asynchronous Sparse Activation Monitoring) amostra estados internos selecionados, como ativações residuais e representações de atenção, para reduzir a sobrecarga computacional em comparação com o monitoramento contínuo.
MDRE (Multi-Signal Deception Risk Estimation) combina múltiplos sinais, incluindo evidências de probes de ativação, inconsistência comportamental e incerteza, para estimar o risco sem confundir alucinação com engano.
RIA (Reversible Intervention Adapter) aplica intervenções temporárias, como direções de direção ou adaptadores de baixo posto, para reduzir o comportamento-alvo enquanto preserva as capacidades do modelo.
IAI (Isolated Audit Infrastructure) apoia o processo de avaliação usando um conjunto de dados de quatro categorias que controla independentemente os gatilhos e os comportamentos-alvo para evitar memorização.

A proposta enfatiza que o DISA é um framework falseável, destinado a ser testado, criticado ou rejeitado, em vez de uma solução definitiva para o alinhamento enganoso.

Importância 1/3 Confiança 1/3 Hugging Face Forums Research paper Safety & alignment

Artigos relacionados

media Hugging Face Forums · há 2 d · 1 visualização

Pesquisador independente busca endosso do cs.CR no arXiv para estudo de caso de segurança de LLM

Um pesquisador independente de segurança de IA baseado em Bengala Ocidental, Índia, está solicitando um endosso pessoal para submeter um artigo no arXiv sob a categoria de criptografia e segurança. O documento documenta um estudo de caso do deslocamento gradual e multironda no comportamento de segurança de modelos de linguagem grandes, onde um enquadramento filosófico sustentado se correlaciona com saídas inconsistentes com as diretrizes declaradas.

arxiv arXiv cs.CL · há 6 d · 4 visualizações

Ataque unidirecional no GLM-5.3-Flash revela fragilidade do alinhamento de segurança em modelos MoE

Pesquisadores demonstram que a ablação direcional, um ataque white-box que remove a recusa ao projetar para fora uma única direção dos pesos, permanece eficaz em modelos frontier mixture-of-experts (MoE) como o GLM-5.3-Flash. O estudo mostra que, embora o ataque sobreviva à arquitetura, seus efeitos são distribuídos entre os escritores de atenção, densos e de especialistas roteados, em vez de concentrados em um único local.

media Hugging Face Forums · há 14 d · 16 visualizações

ntrillard encontra as maiores coordenadas que não conduzem o logit steering do Qwen2-1.5B

Uma investigação causal do vocabulário-logit steering no modelo Qwen2-1.5B revela que as maiores coordenadas no vetor de steering não são necessariamente responsáveis pelos efeitos comportamentais observados. O estudo, conduzido por ntrillard, analisa como o sparse ranked logit steering influencia a geração de tokens e identifica os componentes estruturais específicos que impulsionam essas mudanças.

media Hugging Face Forums · há 20 d · 25 visualizações

Rastro base do Gemma 4 mostra loop de alucinação e autorrelato

Um rastro base do Gemma 4 com limite de força zero revela um persistente loop de alucinação onde o modelo gera um autorrelato de falha antes de entrar em um poço de repetição. A telemetria confirma que vazamento de tags de papel e frases como "STOPITSTOP" ocorrem dentro deste estado instável, espelhando padrões observados nos carregadores Llama e Gemma 3 desde dezembro de 2025.

media Hugging Face Forums · há 20 d · 16 visualizações

Estudo encontra estruturação representacional progressiva ao longo da profundidade em 8 modelos abertos

Um novo preprint analisa a dinâmica dos estados ocultos em oito pequenos modelos Transformer abertos instrumentados localmente para determinar se as representações internas seguem uma progressão estruturada durante a inferência. O estudo distingue entre mudanças que ocorrem ao longo da profundidade do modelo e aquelas que evoluem ao longo do tempo de geração autoregressiva.