arxiv arXiv cs.CL · há 2 d · fonte: há 4 d · research

Rep2Act alinha representações de VLM para melhorar a abstenção no novo benchmark VAD-R

Traduzido do English → Português (BR)

Pesquisadores introduzem o Diagnóstico de Responsividade Visual com Raciocínios (VAD-R), um novo benchmark projetado para avaliar a capacidade dos modelos de visão e linguagem de se absterem de perguntas sem resposta sem usar atalhos. O estudo revela que, embora os estados ocultos possam distinguir a responsividade, os modelos atuais falham em traduzir isso em decisões explícitas.

O VAD-R utiliza um pipeline de duas etapas de filtragem de atalhos e verificação de qualidade com raciocínios passo a passo.
Os VLMs open-source de última geração mostram abstenção espontânea limitada, com taxas médias de recall de apenas 11,4%.
Os autores propõem o Rep2Act, um método para alinhar a consciência latente de responsividade com ações explícitas de abstenção.
O Rep2Act melhora a precisão da ação no VAD-R de aproximadamente 56-59% para mais de 86-88% nos modelos Qwen2.5-VL.
No TUBench fora da distribuição, o Rep2Atinge uma pontuação média F1 de 53,3%, superando GPT-4 Turbo e GPT-4o.

Essa abordagem preenche a lacuna entre representação e ação, permitindo que os VLMs reconheçam efetivamente quando não devem responder a uma pergunta.

Importância 2/3 Supera um benchmark de um laboratório de ponta arXiv cs.CL Alibaba (Qwen) Evaluation & benchmarks Research paper

Artigos relacionados

media Hugging Face Forums · há 17 d · 29 visualizações

Estudo identifica FragileTokens que falham na cópia contextual apesar de passar em testes de isolamento

Um estudo caracteriza os "FragileTokens", entradas do vocabulário em modelos de linguagem de peso aberto que copiam com sucesso quando isolados, mas exibem erros quando inseridos no texto circundante. A pesquisa destaca que a preservação literal da identidade não é garantida por testes de isolamento padrão, pois tokens podem ser excluídos, substituídos ou truncados dentro de sequências.

arxiv arXiv cs.LG · há 79 d · 17 visualizações

Escalação em tempo de teste melhora pequenos VLMs em MCQ visuais multilíngues

O estudo examina se a escalação em tempo de teste (TTS) é transferida para pequenos modelos de visão e linguagem abertos usando o benchmark EXAMS-V, comparando métodos como consistência própria e busca em feixe guiada por PRM no Qwen2.5-VL-7B-Instruct e Qwen3.5-4B.

arxiv arXiv cs.AI · há 82 d · 14 visualizações

AMALIA-9B falha em medir validamente a autoridade moral apesar do alto acordo humano

Um estudo avalia o AMALIA de Portugal, um modelo de português europeu com 9B de parâmetros, encontrando que ele não pode medir validamente a base moral da autoridade apesar do alto acordo com codificadores humanos. Embora o AMALIA iguale modelos abertos oito a treze vezes seu tamanho em pontuações de acordo bruto, ele falha em recuperar o desempenho quando os prompts são decompostos em cláusulas atômicas, sugerindo dependência de correlatos superficiais como indignação moral em vez de construtos teóricos.

arxiv arXiv cs.CL · há 82 d · 14 visualizações

Modelos Qwen3-Next têm dificuldade em reduzir a demanda cognitiva no controle educacional alinhado com Bloom

Pesquisadores introduzem um framework alinhado com Bloom para medir a capacidade de Modelos de Linguagem Grande (LLM) de preservar a intenção instrucional enquanto deslocam a demanda cognitiva para objetivos de aprendizagem específicos. O estudo avalia Qwen3-Next-80B-A3B-Instruct e Qwen3-Coder-Next em 2.520 tarefas de programação de três benchmarks.

arxiv arXiv cs.CL · há 89 d · 18 visualizações

LLMs mostram políticas distintas sob pressão cética em vez de recuo sicológico

Um estudo testando Llama-3.1-8B, Qwen2.5-7B e Mistral-7B em domínios de clima, vacinas e evolução encontra que os modelos não recuam sicológicamente do consenso científico quando os usuários sinalizam dúvida. Em vez disso, os modelos exibem três políticas distintas: afirmação reativa onde o consenso aumenta (Llama), hedging superficial com tom suavizado (Qwen) e não-resposta (Mistral).