Todos los artículos
media r/LocalLLaMA · hace 1 h En vivo

Discrepancia entre el rendimiento de Llama Bench y el del mundo real

El usuario reporta una brecha significativa entre los resultados de las pruebas de Llama y el rendimiento real del modelo. Las pruebas muestran 754 tk/s de prefill y 36 tk/s de generación, pero el uso real revela solo 7.98 tokens por segundo, con alta latencia y bajo throughput. La discrepancia se atribuye a las condiciones de uso en el mundo real, no a la configuración de las pruebas, lo que sugiere que el rendimiento real del modelo está muy por debajo de la velocidad medida en las pruebas.

media r/LocalLLaMA · hace 1 h En vivo

Keye-VL-2.0-30B-A3B se lanza con capacidades avanzadas de comprensión de video y agente

Keye-VL-2.0-30B-A3B es un modelo multimodal de 30B de parámetros diseñado para la comprensión de videos largos y funcionalidad de agente. Supera a los rivales de código abierto y iguala a Gemini-3-Flash en anclaje temporal, admite hasta 256K de contexto con razonamiento casi sin pérdida, e incluye capacidades integradas para flujos de trabajo de agentes de código, herramientas y búsqueda web.

arxiv arXiv cs.CL · hace 1 h En vivo

Alineación fallida en LLMs: Un estudio cuantitativo

Un nuevo estudio presenta VETO, un conjunto de datos de 2.032 pares contrastivos derivados de BBQ, para cuantificar la alineación fallida en modelos de lenguaje grandes. Define la Tasa de Alineación Fallida (MAR) y encuentra que todos los LLMs evaluados exhiben MARs entre 4.7% y 18.9%, mientras que los participantes humanos logran 0%. La investigación muestra que las señales de alineación pueden amplificar estos fallos, con supresión de evidencia que ocurre en las capas tardías de los modelos y emerge después del entrenamiento por instrucciones.

media r/LocalLLaMA · hace 1 h En vivo

Reseña de GLM-5.2 y respuesta a la censura

GLM-5.2 demuestra una coherencia excepcional en contextos largos y fluidez conversacional, superando a Gemini-3.1-Pro en tareas solo de texto e igualando a GPT-5.5 en calidad de razonamiento. El modelo responde de manera factual a temas sensibles como Taiwán y la Plaza de Tiananmén, proporcionando contexto histórico detallado sin censura explícita, aunque se adhiere a las directrices de contenido del gobierno chino.

arxiv arXiv cs.CL · hace 1 h En vivo

Dango: Un LLM estrictamente L1 para investigación de AAL

Dango es un LLM de 1.8B parámetros diseñado para estudiar la adquisición de una segunda lengua del japonés al inglés. Utiliza un método de filtrado para minimizar la contaminación en inglés durante el preentrenamiento monolingüe, preservando la exposición realista a L1. Ajustado finamente con lecciones generadas por LLM, Dango produce salidas L2 similares a las humanas, superando a los modelos multilingües sin filtrar y estándar.

arxiv arXiv cs.CL · hace 2 h

LLM como interfaz, ML como predictor para apendicitis pediátrica

ClaMPAPP, un sistema híbrido, utiliza un LLM para extraer características clínicas estructuradas de notas de texto libre y las pasa a un clasificador XGBoost para el diagnóstico. Superó a los LLM de extremo a extremo tanto en validación interna como externa, con mayor estabilidad y menos casos de apendicitis no detectados, demostrando un rendimiento diagnóstico y una seguridad superiores en la triaje pediátrica.

arxiv arXiv cs.CL · hace 2 h

RECOM: Compromiso entre validez y discriminación en métricas de QA de Reddit

RECOM evalúa 15,000 preguntas de r/AskReddit con respuestas auténticas de la comunidad publicadas después del entrenamiento del modelo. Muestra que ningún métrica automática logra simultáneamente una fuerte validez y poder discriminatorio, con BERTScore clasificando débilmente a los modelos incluso cuando se controla la longitud. El compromiso surge del diseño de representación, no de diferencias entre modelos, y requiere informar tanto la validez como la discriminación con umbrales mínimos basados en aleatoriedad.

arxiv arXiv cs.CL · hace 2 h

STARE: Reponderación de ventajas a nivel de token guiada por sorpresividad para la estabilidad de la entropía de la política

STARE aborda el colapso de la entropía de la política en el aprendizaje por refuerzo basado en GRPO identificando subconjuntos de tokens críticos para la entropía mediante cuantiles de sorpresividad y reponderando sus ventajas. Mantiene una entropía de la política estable a través de escalas de modelos y tareas, superando a DAPO y otras líneas base entre un 4% y un 8% en AIME24 y AIME25, con un equilibrio consistente entre exploración y explotación.