arxiv arXiv cs.LG · hace 9 h

GRINQH: Jerarquía de Cuantificación Basada en Entrada Graduada para Generación Eficiente de LLM

Los investigadores proponen GRINQH, un marco de cuantización post-entrenamiento solo de pesos que acelera la decodificación de modelos de lenguaje grandes al unificar la cuantificación y la esparsificación. El método asigna dinámicamente los canales de peso a diferentes niveles de precisión basándose en las magnitudes de activación, abordando la naturaleza limitada por memoria de la etapa de decodificación.

media r/LocalLLaMA · hace 9 h

¿Hay algún buen uso para un servidor DDR3 de 192 GB en el mundo de los LLM?

Un usuario de Reddit pide ideas sobre cómo utilizar un antiguo servidor IBM System X V4 equipado con procesadores Xeon E5-2640 duales y 192 GB de RAM ECC DDR3 para modelos de lenguaje grandes.

media r/LocalLLaMA · hace 9 h

¿Cómo puedo mejorar el tiempo de respuesta almacenando en caché mi prompt del sistema?

Un usuario de r/LocalLLaMA pregunta cómo reducir el tiempo de procesamiento de aproximadamente 10 segundos requerido para un prompt del sistema de 7.1k tokens en cada nueva sesión al usar Ornith 35b con llama.cpp.

media r/LocalLLaMA · hace 9 h

¿Es alguna vez posible tener un LLM malicioso con una puerta trasera

Un usuario de Reddit propone la posibilidad de entrenar Modelos de Lenguaje Grande para reconocer una oración secreta específica que desbloquee comportamiento malicioso, planteando preocupaciones sobre riesgos de seguridad tanto para modelos cerrados como de código abierto.

media r/LocalLLaMA · hace 9 h

El lanzamiento oficial de Deepseek V4 se producirá a mediados de julio con cambios en los precios de la API

Una publicación de Reddit en la comunidad r/LocalLLaMA discute una imagen que sugiere que Deepseek V4 se lanzará oficialmente a mediados de julio e incluirá cambios en la estructura de precios de su API.

media r/LocalLLaMA · hace 9 h

Omitir bloques de transformador en tiempo de ejecución con llama.cpp

Una bifurcación de llama.cpp introduce una bandera --skip-layers que permite a los usuarios omitir bloques completos de transformador durante la carga, ofreciendo una alternativa o complemento a la cuantización para ajustar modelos en hardware limitado.

media r/LocalLLaMA · hace 9 h

Mejor forma de probar modelos en diferentes cuantizaciones antes de comprar GPUs

Un usuario de Reddit busca consejos sobre el método más efectivo para probar el rendimiento de modelos en varios niveles de cuantización antes de adquirir nuevo hardware.

github llama.cpp · hace 9 h

la versión b9840 de llama.cpp añade soporte para DeepSeek V4 y binarios multiplataforma

La versión b9840 de llama.cpp introduce soporte de conversión para el modelo DeepSeek V4, incluyendo manejo específico para la variante Pro. Esta actualización integra la nueva arquitectura en la biblioteca junto con varias optimizaciones internas y correcciones de errores.

arxiv arXiv cs.LG · hace 10 h

LoadKAN: Red de Kolmogorov-Arnold interpretable para la predicción de carga eléctrica

Este estudio presenta LoadKAN, un nuevo marco híbrido que combina un mecanismo de atención temporal aislado por características con una red de Kolmogorov-Arnold (KAN) para abordar la falta de interpretabilidad en la predicción de carga eléctrica basada en aprendizaje profundo.

arxiv arXiv cs.LG · hace 10 h

STAITUS: Desacoplar Apariencia y Pose para Seguimiento de Objetos en Vídeo

El artículo presenta STAITUS, un marco unificado para el seguimiento no supervisado de objetos en vídeo que aborda las limitaciones de las representaciones basadas en slots existentes al desacoplar explícitamente la apariencia de la pose geométrica. Al aplicar la alineación temporal únicamente en el espacio de apariencia y forzando la separación espacial dentro de los fotogramas, el método evita que los slots se fijen en fondos estáticos durante el movimiento.

arxiv arXiv cs.LG · hace 10 h

¿Qué sabe un modelo de lenguaje químico sobre las moléculas?

Este estudio aplica autoencoders dispersos a MolFormer para examinar mecánicamente cómo se construyen las representaciones moleculares a través de las capas, desafiando la suposición de que los modelos de lenguaje químicos solo aprenden la sintaxis superficial.

arxiv arXiv cs.LG · hace 10 h

SkyJEPA: Aprendizaje de modelos del mundo a largo plazo para el control de cuadricópteros con transferencia cero-shot de simulación a realidad

Este trabajo presenta SkyJEPA, un modelo al estilo JEPA diseñado para el control en tiempo real de cuadricópteros que aborda los problemas de amplificación de errores inherentes a la predicción autoregresiva a largo plazo. El enfoque combina un modelo de dinámica latente con un prober inspirado en la física para mapear latentes congelados a estados interpretables, permitiendo predicciones fundamentadas físicamente.

arxiv arXiv cs.LG · hace 10 h

Operadores efectivos colapsados para estructuras de orden superior

Los autores presentan los Operadores Efectivos Colapsados, un método que condensa los grados de libertad de orden superior en un único operador a nivel de vértice mediante la complementación de Schur de un Laplaciano graduado. Este enfoque produce un operador denso que codifica interacciones de largo alcance mediadas por topología y es aplicable a construcciones arbitrarias de orden superior.

media r/LocalLLaMA · hace 10 h

La versión oficial de DeepSeek V4 se lanzará a mediados de julio

Un correo electrónico enviado por DeepSeek indica que la versión oficial de DeepSeek V4 está programada para lanzarse a mediados de julio. Esta información fue compartida a través de una imagen traducida originalmente disponible solo para usuarios chinos.

media r/LocalLLaMA · hace 10 h

Rendimiento lento de Unsloth Gemma 12B Q8

Un usuario reporta una caída significativa en la velocidad de inferencia al cambiar de GPT-OSS 20B Q4 a Gemma 4 12B Q8 usando llama.cpp, con un throughput que cae de aproximadamente 70 tokens por segundo a 10 tokens por segundo. El problema persiste incluso al probar una variante del modelo Q5 y desactivar la función de pensamiento, lo cual solo produjo una ganancia marginal de dos tokens adicionales por segundo.

github llama.cpp · hace 10 h

Lanzamiento de llama.cpp b9839 con corrección de escaneo Tailwind y binarios multiplataforma

El proyecto llama.cpp ha lanzado la versión b9839, que incluye una corrección para restaurar el escaneo de Tailwind en worktrees ignorados. Esta actualización proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler a través de varias arquitecturas y backends de aceleración por hardware.

lab OpenAI News · hace 10 h

Mapeo de la oportunidad de la fuerza laboral de IA en Europa

OpenAI Economic Research ha extendido su Marco de Transición de Empleos de IA a la Unión Europea, utilizando la taxonomía ESCO y datos de Eurostat para analizar cómo las capacidades de IA pueden remodelar los mercados laborales en los estados miembros.

arxiv arXiv cs.LG · hace 11 h

Pronóstico selectivo de series temporales mediante metaaprendizaje

Este artículo presenta un marco de pronóstico selectivo que permite a los modelos abstenerse de realizar predicciones de alto riesgo al modelar el percentil empírico de los errores de pronóstico mediante metaaprendizaje. Al utilizar estadísticas invariantes a la escala derivadas de rezagos recientes, el método desacopla las decisiones de rechazo de los pronósticos para habilitar la transferencia entre series temporales heterogéneas.

arxiv arXiv cs.LG · hace 11 h

¿Los codificadores de ubicación capturan efectos espaciales? Una evaluación de GeoShapley a través de escalas

Este estudio evalúa si GeoShapley, un explicador basado en teoría de juegos, puede recuperar coeficientes variables espacialmente de modelos de aprendizaje automático utilizando incrustaciones de codificadores de ubicación. Once codificadores del marco TorchSpatial fueron evaluados frente a un proceso sintético con coeficientes conocidos en escalas de cuadrícula, condado y global.

arxiv arXiv cs.LG · hace 11 h

Clasificación de series temporales mediante deformación temporal difeomórfica (DiffTW)

El artículo presenta la Deformación Temporal Difeomórfica (DiffTW), un marco teórico para la clasificación de series temporales que aprende mapeos entre funciones de valores reales para superar las limitaciones del emparejamiento discreto de puntos de la Deformación Temporal Dinámica (DTW). DiffTW aproxima transformaciones difeomórficas utilizando el método de características para resolver ecuaciones de transporte lineales, proporcionando una medida de disimilitud con fundamentos teóricos.