media Hugging Face Forums · hace 16 h · open_models

Linda-Pro lanza un detector local de texto AI en inglés basado en estilometría y DeBERTa

Traducido del English → Español

Linda-Pro es una nueva herramienta local para detectar texto en inglés generado por IA que combina estilometría con dos modelos DeBERTa ajustados. Analiza el texto en ventanas de aproximadamente 300 palabras y proporciona un mapa de calor por oración para identificar autoría mixta.

En la prueba Chicago Booth, logra una detección del 99,7% para texto AI puro y del 85% después de la humanización con StealthGPT al 1% de falsos positivos.
Marcó el 92,6% de los textos de generadores que los modelos nunca vieron durante el entrenamiento.
Los puntos débiles incluyen ensayos del examen TOEFL con un 8,8% de falsos positivos (reducidos al 1,1% en modo preciso), texto humanizado y textos cortos.

Los pesos del modelo están disponibles para uso de investigación gratuito en Hugging Face, y el código se proporciona en GitHub para evaluación local.

Importancia 1/3 Confianza 1/3 Hugging Face Forums Evaluation & benchmarks Open weights

Leer original

Together esboza la estrategia para migrar de modelos propietarios a de código abierto

Together proporciona un marco para que las empresas migren de modelos de IA propietarios a modelos de código abierto (OSM) utilizando servicios gestionados, con el objetivo de reducir la complejidad y acelerar la adopción. El proceso implica descubrir modelos adecuados mediante benchmarks, evaluarlos mediante la repetición del tráfico, adaptar los prompts o los pesos, y calcular el ROI para justificar el cambio.

arxiv arXiv cs.CL · hace 63 d · 26 vistas

OSReward introduce una evaluación estandarizada para modelos de recompensa de uso de computadora multiplataforma

Los investigadores presentan OSReward, un benchmark realista diseñado para evaluar la fiabilidad de los modelos de visión y lenguaje (VLM) que actúan como jueces para trayectorias de agentes que utilizan computadoras. El estudio revela que incluso los VLM más avanzados adolecen de un sesgo sistemático de indulgencia y suelen ser demasiado costosos para su escalado, mientras que los modelos abiertos asequibles tienen un rendimiento deficiente.

media Hugging Face Forums · hace 71 d · 21 vistas

John6666 lanza la primera implementación de referencia independiente para REO v1.5

John "John6666" ha desarrollado la primera implementación de referencia independiente del protocolo Reference Evaluation Object (REO v1.5), cumpliendo un objetivo clave del programa de investigación EPE para permitir benchmarks reproducibles por contribuyentes externos.

arxiv arXiv cs.CL · hace 89 d · 22 vistas

AGC-Bench presenta un benchmark unificado y AGC-Judge para medir la creatividad general artificial

Los investigadores presentan AGC-Bench, un benchmark unificado para la creatividad general artificial construido a partir de 3.101 artículos seleccionados y que cubre 78 conjuntos de datos en dominios como lluvia de ideas y STEM. Para abordar el sesgo en la evaluación automatizada, el equipo ajusta Qwen3-30B en calificaciones corregidas por sesgo para crear AGC-Judge, un modelo de peso abierto que puntúa robustamente nuevos benchmarks de creatividad.

media r/LocalLLaMA · hace 91 d · 21 vistas

Gemma-4-31B afinado para Copywriting: +290 Elo en EqBench3

Un usuario ha lanzado un fine-tune estrecho del modelo Gemma-4-31B-it específicamente optimizado para tareas de copywriting y escritura creativa. El modelo fue entrenado para eliminar clichés genéricos de marketing y adoptar un estilo de respuesta directa caracterizado por especificaciones concretas y llamadas a la acción precisas.