media Hugging Face Forums · há 16 h · open_models

Linda-Pro lança detector local de texto AI em inglês usando estilometria e DeBERTa

Traduzido do English → Português (BR)

O Linda-Pro é uma nova ferramenta local para detectar texto em inglês gerado por IA que combina estilometria com dois modelos DeBERTa ajustados. Ele analisa o texto em janelas de aproximadamente 300 palavras e fornece um mapa de calor por frase para identificar autoria mista.

No benchmark do Chicago Booth, ele alcança 99,7% de detecção para texto AI puro e 85% após a humanização com StealthGPT a 1% de falsos positivos.
Ele sinalizou 92,6% dos textos de geradores que os modelos nunca viram durante o treinamento.
Pontos fracos incluem ensaios do exame TOEFL com 8,8% de falsos positivos (reduzidos para 1,1% no modo preciso), texto humanizado e textos curtos.

Os pesos do modelo estão disponíveis para uso de pesquisa gratuito no Hugging Face, e o código é fornecido no GitHub para avaliação local.

Importância 1/3 Confiança 1/3 Hugging Face Forums Evaluation & benchmarks Open weights

Ler original

Together delineia estratégia para migração de modelos proprietários para código aberto

A Together oferece um framework para que empresas migrem de modelos de IA proprietários para modelos de código aberto (OSM) usando serviços gerenciados, com o objetivo de reduzir a complexidade e acelerar a adoção. O processo envolve descobrir modelos adequados por meio de benchmarks, avaliá-los via replay de tráfego, adaptar prompts ou pesos e calcular o ROI para justificar a mudança.

arxiv arXiv cs.CL · há 63 d · 26 visualizações

OSReward introduz avaliação padronizada para modelos de recompensa de uso de computador entre plataformas

Pesquisadores apresentam o OSReward, um benchmark realista projetado para avaliar a confiabilidade de modelos de visão e linguagem (VLMs) atuando como juízes para trajetórias de agentes que utilizam computadores. O estudo revela que mesmo os VLMs mais avançados sofrem com viés sistemático de indulgência e são frequentemente caros demais para escala, enquanto modelos abertos acessíveis têm desempenho ruim.

media Hugging Face Forums · há 71 d · 21 visualizações

John6666 lança a primeira implementação de referência independente para REO v1.5

John "John6666" desenvolveu a primeira implementação de referência independente do protocolo Reference Evaluation Object (REO v1.5), cumprindo um objetivo-chave do programa de pesquisa EPE para permitir benchmarks reproduzíveis por contribuidores externos.

arxiv arXiv cs.CL · há 89 d · 22 visualizações

AGC-Bench apresenta benchmark unificado e AGC-Judge para medir criatividade geral artificial

Pesquisadores apresentam o AGC-Bench, um benchmark unificado para criatividade geral artificial construído a partir de 3.101 artigos selecionados e cobrindo 78 conjuntos de dados em domínios como brainstorming e STEM. Para abordar o viés na avaliação automatizada, a equipe ajusta o Qwen3-30B em classificações corrigidas por viés para criar o AGC-Judge, um modelo de peso aberto que pontua robustamente novos benchmarks de criatividade.

media r/LocalLLaMA · há 91 d · 21 visualizações

Gemma-4-31B ajustado para Copywriting com pontuação +290 Elo no EqBench3

Um usuário lançou um ajuste fino específico do modelo Gemma-4-31B-it, otimizado para tarefas de copywriting e escrita criativa. O modelo foi treinado para eliminar clichês genéricos de marketing e adotar um estilo de resposta direta, caracterizado por especificações concretas e chamadas à ação precisas.