Todos los artículos
media r/LocalLLaMA · hace 1 h En vivo

Keye-VL-2.0-30B-A3B se lanza con capacidades avanzadas de comprensión de video y agente

Keye-VL-2.0-30B-A3B es un modelo multimodal de 30B de parámetros diseñado para la comprensión de videos largos y funcionalidad de agente. Supera a los rivales de código abierto y iguala a Gemini-3-Flash en anclaje temporal, admite hasta 256K de contexto con razonamiento casi sin pérdida, e incluye capacidades integradas para flujos de trabajo de agentes de código, herramientas y búsqueda web.

arxiv arXiv cs.CL · hace 1 h En vivo

Alineación fallida en LLMs: Un estudio cuantitativo

Un nuevo estudio presenta VETO, un conjunto de datos de 2.032 pares contrastivos derivados de BBQ, para cuantificar la alineación fallida en modelos de lenguaje grandes. Define la Tasa de Alineación Fallida (MAR) y encuentra que todos los LLMs evaluados exhiben MARs entre 4.7% y 18.9%, mientras que los participantes humanos logran 0%. La investigación muestra que las señales de alineación pueden amplificar estos fallos, con supresión de evidencia que ocurre en las capas tardías de los modelos y emerge después del entrenamiento por instrucciones.

arxiv arXiv cs.CL · hace 2 h

Dango: Un LLM estrictamente L1 para investigación de AAL

Dango es un LLM de 1.8B parámetros diseñado para estudiar la adquisición de una segunda lengua del japonés al inglés. Utiliza un método de filtrado para minimizar la contaminación en inglés durante el preentrenamiento monolingüe, preservando la exposición realista a L1. Ajustado finamente con lecciones generadas por LLM, Dango produce salidas L2 similares a las humanas, superando a los modelos multilingües sin filtrar y estándar.

arxiv arXiv cs.CL · hace 2 h

LLM como interfaz, ML como predictor para apendicitis pediátrica

ClaMPAPP, un sistema híbrido, utiliza un LLM para extraer características clínicas estructuradas de notas de texto libre y las pasa a un clasificador XGBoost para el diagnóstico. Superó a los LLM de extremo a extremo tanto en validación interna como externa, con mayor estabilidad y menos casos de apendicitis no detectados, demostrando un rendimiento diagnóstico y una seguridad superiores en la triaje pediátrica.

arxiv arXiv cs.CL · hace 2 h

RECOM: Compromiso entre validez y discriminación en métricas de QA de Reddit

RECOM evalúa 15,000 preguntas de r/AskReddit con respuestas auténticas de la comunidad publicadas después del entrenamiento del modelo. Muestra que ningún métrica automática logra simultáneamente una fuerte validez y poder discriminatorio, con BERTScore clasificando débilmente a los modelos incluso cuando se controla la longitud. El compromiso surge del diseño de representación, no de diferencias entre modelos, y requiere informar tanto la validez como la discriminación con umbrales mínimos basados en aleatoriedad.

arxiv arXiv cs.CL · hace 2 h

STARE: Reponderación de ventajas a nivel de token guiada por sorpresividad para la estabilidad de la entropía de la política

STARE aborda el colapso de la entropía de la política en el aprendizaje por refuerzo basado en GRPO identificando subconjuntos de tokens críticos para la entropía mediante cuantiles de sorpresividad y reponderando sus ventajas. Mantiene una entropía de la política estable a través de escalas de modelos y tareas, superando a DAPO y otras líneas base entre un 4% y un 8% en AIME24 y AIME25, con un equilibrio consistente entre exploración y explotación.

arxiv arXiv cs.CL · hace 2 h

DreamReasoner-8B: Aprendizaje de currículo por tamaño de bloque para razonamiento con difusión

DreamReasoner-8B es un modelo de difusión por bloques de código abierto que demuestra una sólida capacidad de razonamiento en cadenas largas de pensamiento. Un estudio sistemático muestra que los tamaños pequeños de bloques de entrenamiento preservan la efectividad del razonamiento, mientras que los tamaños grandes degradan el rendimiento. El aprendizaje de currículo por tamaño de bloque transita gradualmente el entrenamiento desde bloques finos hasta gruesos, permitiendo un razonamiento robusto y generalizable en diferentes configuraciones de inferencia, con resultados competitivos frente a Qwen3-8B en benchmarks matemáticos y de código.

arxiv arXiv cs.CL · hace 2 h

Gibbs de Lenguaje Grande para Inferencia Probabilística Estructurada

Gibbs de Lenguaje Grande utiliza distribuciones condicionales de LLM como operadores de transición para el remuestreo iterativo de variables. Este método permite una inferencia estructurada probabilísticamente coherente al evitar sesgos dependientes del orden y lograr una distribución estacionaria que equilibra los condicionales locales. Demuestra eficacia práctica en distribuciones sintéticas, razonamiento consistente y aprendizaje de estructura bayesiana.

arxiv arXiv cs.CL · hace 2 h

Estudio empírico de la adaptación de LLM médicos en QA francés

Un estudio compara el preentrenamiento continuo (CPT), el ajuste fino supervisado (SFT) y su combinación para QA médico en francés. CPT+SFT obtiene los mejores resultados en preguntas de opción múltiple, aunque las mejoras sobre SFT son mínimas y a menudo insignificantes, lo que convierte a SFT en una opción predeterminada rentable. Para preguntas abiertas, CPT mejora las métricas mientras que SFT degrada la calidad de la generación, siendo el ajuste de instrucciones y CPT+SFT favorecidos por evaluaciones basadas en LLM. Los resultados multilingües muestran una transferencia efectiva de benchmarks franceses a ingleses.

arxiv arXiv cs.CL · hace 2 h

Juego ficticio multiagente para la toma de decisiones con posturas entrelazadas

Un nuevo sistema multiagente, Juego Ficticio Multiagente (MAFP), aborda el entrelazamiento de posturas en la toma de decisiones modelando las perspectivas de las partes interesadas como agentes. MAFP utiliza juego ficticio basado en teoría de juegos para mejorar iterativamente las decisiones mediante respuestas óptimas mutuas, superando a los métodos base en fuerza de torneo y robustez en escenarios competitivos.