blog Hamel Husain · hace 15 h · evaluation

Anthropic lanza herramientas de evaluación automática para Claude Code

Traducido del English → Español

Anthropic ha lanzado nuevas herramientas de evaluación para Claude Code, introduciendo un plugin `claude-api` con comandos `build_eval` y `hill-climb` diseñados para ayudar a los desarrolladores a construir evaluaciones, verificar clasificadores y mejorar aplicaciones en función de ellas.

La herramienta descubre automáticamente problemas en las trazas de conversación, como problemas con la transferencia humana, el formato y los agentes de voz.
Permite a los usuarios crear evaluadores para modos de fallo específicos, aunque el revisor señaló que el alcance inicial era demasiado amplio.
El flujo de trabajo incluye comandos para verificar clasificadores y mejorar iterativamente el rendimiento de la aplicación basándose en los resultados de la evaluación.

El autor de la reseña sugiere esperar a usar la herramienta hasta que soporte mejor la exploración de datos antes de comprometerse con un evaluador, señalando que la interfaz actual para revisar las etiquetas es engorrosa.

Importancia 2/3 Nueva función frente a los líderes Hamel Husain Anthropic Code generation Evaluation & benchmarks

Artículos relacionados

media r/LocalLLaMA · hace 90 d · 33 vistas

Seguimiento: DeepSeek V4 Flash en 2x RTX PRO 6000 finaliza tareas de codificación reales más rápido que Sonnet y Opus, con calidad aproximada a la de Sonnet

Una evaluación de seguimiento compara el rendimiento de DeepSeek V4 Flash ejecutándose en dos GPUs RTX PRO 6000 usando vLLM, contrastándolo con modelos basados en API como Claude Sonnet y Opus en tareas de codificación del mundo real. El estudio encuentra que, aunque Opus y Fable mantienen una calidad de código superior, DeepSeek V4 Flash alcanza una calidad aproximadamente al nivel de Sonnet con tiempos de pared significativamente más rápidos.

arxiv arXiv cs.CL · hace 91 d · 21 vistas

TestEvo-Bench: Un benchmark ejecutable y en vivo para la co-evolución de pruebas y código

Los autores presentan TestEvo-Bench, un benchmark en vivo diseñado para evaluar qué tan bien los agentes de automatización de pruebas manejan la co-evolución del código y las pruebas. Aborda limitaciones en benchmarks existentes al proporcionar tareas ejecutables ancladas a historiales reales de commits con configuraciones de entorno.

arxiv arXiv cs.AI · hace 94 d · 8 vistas

Detección de agentes de codificación de IA en código abierto: un censo validado y multimétodo de 180 millones de repositorios

Un marco de detección multicapa que analiza 180 millones de repositorios Git revela que los métodos de señal única subestiman significativamente la prevalencia de agentes de codificación de IA generativa, omitiendo hasta el 97% de la actividad. El estudio identifica más de 320.000 commits por mes de agentes como Claude Code, que domina la adopción silenciosa a través de archivos de configuración en lugar de cuentas de bot.

media r/LocalLLaMA · hace 95 d · 10 vistas

Qwen3.6 27B local vs Opus 4.8, motor de voxel en C puro sin frameworks

Un experimento comparativo enfrentó a Claude Code con Opus 4.8 contra un modelo Qwen3.6 27B ejecutándose localmente para construir un motor de mundo de voxel en C plano sin ningún framework o librería externa.

arxiv arXiv cs.CL · hace 101 d · 10 vistas

El marco P4IR mejora la precisión del cumplimiento de código basado en LLM

P4IR, un marco de dos etapas, utiliza ajuste fino supervisado y Optimización de Política Relativa de Grupo para mejorar los sistemas automatizados de cumplimiento de código basados en modelos de lenguaje grandes. Reduce las distancias de Levenshtein a nivel de árbol y de token hasta en un 23,8% y un 38,6% respectivamente, superando a LLMs líderes como Claude Opus, GPT-5.2 y GLM-4.7 en configuraciones de zero-shot con prompting few-shot, y reduce los falsos positivos por un margen estadísticamente significativo.