media r/LocalLLaMA · hace 1 h · open_models

El modelo MoE G9v3-39A5B muestra fuertes resultados en artificialanalysis

Traducido del English → Español

El modelo G9v3-39A5B está atrayendo atención por su rendimiento en artificialanalysis, donde se informa que ocupa un puesto superior al de Qwen 3.6 27B.

Es una arquitectura de Mezcla de Expertos (MoE).
Existe una rama de características de llama.cpp para soportar el formato G9v3.
Los checkpoints GGUF están disponibles a través de Hugging Face.

Importancia 2/3 r/LocalLLaMA Inference efficiency Local inference

Leer original

La canalización de Celestium permite ejecutar SDXL en GPUs de 4GB-8GB mediante FP16 adaptativo y fallback a CPU

Un diagnóstico utilizando la canalización de inferencia hardware-agnostic de Celestium demuestra que Stable Diffusion XL puede ejecutarse de forma estable en GPUs con baja VRAM (4GB, 6GB y 8GB) aprovechando la precisión FP16 adaptativa y la limpieza autónoma de memoria. El enfoque previene picos de fragmentación durante las canalizaciones multi-etapa y utiliza un modo CPU de emergencia para mantener la generación cuando se agota la VRAM de la GPU.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10505 añade la opción de preset dedup-cache-models

El proyecto llama.cpp ha lanzado la versión b10505, que introduce una nueva opción de preset `dedup-cache-models` para el componente del servidor.

media Hugging Face Forums · hace 2 d · 3 vistas

La cuantización de la magnitud de Fourier del caché KV duplica la longitud del contexto con la misma memoria

ntrillard demuestra que cuantificar el espectro de magnitud de Fourier de los valores del caché K y V a 4 bits, mientras se preserva la fase con precisión completa, logra un 96,9 % de coincidencia de tokens con la referencia fp16 en Gemma-3-1B, una mejora de 5 a 10 veces respecto a la cuantización estándar min-max.

github llama.cpp · hace 5 d · 26 vistas

llama.cpp añade soporte para el modelo Kimi-K3 con reempaquetado MXFP4 y plantilla de chat

El proyecto llama.cpp ha añadido soporte para el modelo de texto Kimi-K3, implementando su arquitectura de atención híbrida KDA (lineal) + MLA (completa) junto con cinco características arquitectónicas específicas ausentes en el antiguo Kimi-Linear-48B.

github llama.cpp · hace 5 d · 21 vistas

llama.cpp b10447 rediseña el modelo de hilos yield_to_queue

El proyecto llama.cpp ha lanzado la compilación b10447, que incluye un rediseño del modelo de hilos `yield_to_queue`. Este cambio implica ejecutar `common_speculative_process` en el trabajador y cambiar el diseño del hilo trabajador al principal.