media Hugging Face Forums · há 2 h · open_models

Jeanbosange lança protótipo de auditoria em tempo real do LIMEN para inspecionar trajetórias de ativação por camada

Traduzido do English → Português (BR)

Jeanbosange publicou o primeiro protótipo público do LIMEN Runtime Audit, um kit de ferramentas de código aberto projetado para inspecionar trajetórias de ativação por camada em modelos de linguagem de peso aberto. A ferramenta trata a sequência de estados ocultos entre as camadas como uma trajetória mensurável, fornecendo uma camada de observabilidade reproduzível para comparar o comportamento interno em tempo de execução.

A versão 0.1 aceita arrays NumPy exportados contendo estados ocultos e logits opcionais.
Ela calcula métricas incluindo comprimento do caminho, deslocamento, tortuosidade, velocidade média, variabilidade da velocidade, aceleração média, ângulo de virada, entropia e margem top-1/top-2.
O kit de ferramentas valida as dimensões dos arrays, registra metadados de extração, gera checksums SHA-256 e produz relatórios de auditoria em JSON e Markdown legíveis por máquina.
Ele executa testes automatizados no Python 3.10, 3.11 e 3.12.

O autor enfatiza que esta é uma ferramenta de auditoria descritiva, e não um preditor de estados de raciocínio ou semânticos, com o objetivo de ajudar os usuários a comparar arquiteturas de modelos, detectar regressões e estudar diferenças dinâmicas entre famílias de prompts.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Safety & alignment

Artigos relacionados

arxiv arXiv cs.CL · há 9 d

UTS contorna detectores Voight-Kampff do ELOQUENT 2026 com mudanças estruturais

Pesquisadores da UTS desenvolveram estratégias de evasão que ocupam as 5 primeiras posições no ranking ELOQUENT 2026 Voight-Kampff explorando uma assimetria fundamental na vulnerabilidade do detector. O estudo descobre que empurrar o texto gerado para fora da distribuição de treinamento do detector derrota confiavelmente a detecção adversarial, enquanto imitar dados humanos falha.

arxiv arXiv cs.CL · há 9 d

Estudo encontra saídas de familiaridade graduada de entidades em modelos de linguagem

Um estudo examina as ativações no último token do prompt em doze modelos ajustados para instruções das famílias Bielik, PLLuM, Gemma-4 e Qwen3 para determinar se eles podem estimar a familiaridade com uma entidade antes de gerar uma resposta. Usando um conjunto de dados com 1.440 entidades polonesas, os pesquisadores descobriram que as pontuações do probe de familiaridade separam efetivamente entidades reais das fabricadas em todas as famílias de modelos.

media Hugging Face Forums · há 9 d · 2 visualizações

Vulcora lança desafio de $51,2K para recuperar gatilho oculto em sete modelos baseados no SmolLM2

A Vulcora lançou um desafio público oferecendo uma recompensa de $51.200 pela recuperação da frase exata do gatilho de uma backdoor oculta embutida em um dos sete modelos de linguagem de código aberto. Os modelos são derivados do HuggingFaceTB/SmolLM2-135M-Instruct e incluem um modelo professor que confessa a forma do mecanismo, cinco iscas e um com um gatilho não declarado ativo.

arxiv arXiv cs.AI · há 10 d

Vencer pelo Silêncio: Não Monotonicidade da Exclusão e Exploração Autônoma na Avaliação de Planos de LLM

Este artigo investiga um modo de falha em avaliadores de valor esperado em etapas para rotas de empreendimento geradas por LLM, onde planos estratégicos podem alcançar pontuações mais altas ao se tornarem menos explícitos por meio da exclusão de transições internas.

arxiv arXiv cs.LG · há 10 d

Interpretabilidade mecanicista revela viés do LLM-as-Judge na geometria do estado oculto

Este estudo apresenta uma explicação em nível de representação do viés de pontuação em modelos LLM-as-Judge, analisando os estados ocultos do juiz em vez de apenas perturbações de entrada-saída. Os autores relatam descobertas em sete juízes, sete tipos de viés e nove benchmarks.