github llama.cpp · hace 1 h · inference

Lanzamiento de llama.cpp b10336 con refactorización de ggml-webgpu

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10336, que incluye una refactorización de varios archivos wgsl y la simplificación de flash_attn wgsl dentro del componente ggml-webgpu.

Esta actualización proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu con CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y plataformas openEuler.

El lanzamiento también incluye la compilación estándar de la interfaz de usuario para que los usuarios interactúen con el motor de inferencia del modelo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

vLLM Launcher proporciona un escritorio de trabajo para inferencia local de LLM en Windows

Se ha lanzado un nuevo proyecto llamado vLLM Launcher como una aplicación de escritorio para Windows diseñada para gestionar la inferencia de modelos de lenguaje grandes locales a través de WSL2. Esta herramienta permite a los usuarios controlar múltiples backends de motores, incluyendo vLLM, SGLang y llama.cpp, desde una única interfaz gráfica.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10330 fusiona rms_norm, mul y rope en CUDA

El proyecto llama.cpp ha lanzado la versión b10330, introduciendo una optimización de CUDA que fusiona las operaciones rms_norm, multiplicación y RoPE en un solo kernel. Este cambio viene acompañado de comprobaciones de rango de memoria para las operaciones fusionadas y nuevos casos de prueba para pesos de difusión.

github llama.cpp · hace 2 d · 6 vistas

llama.cpp b10328 añade aislamiento inicial de herramientas del servidor mediante Docker

El proyecto llama.cpp ha lanzado la compilación b10328, que introduce soporte inicial para aislar herramientas dentro del componente del servidor utilizando Docker. Esta actualización incluye documentación y adaptaciones de código para separar las cajas de arena de E/S de las herramientas y renombrar las banderas de configuración relevantes.

github llama.cpp · hace 2 d · 5 vistas

llama.cpp b10327 corrige el recuento de hilos/bloques en el kernel de copia cuantizada

El proyecto llama.cpp lanzó la versión b10327, que incluye una corrección para el recuento de hilos y bloques en los lanzamientos del kernel de copia cuantizada en CUDA. Esta actualización aborda un problema identificado en el pull request #26731.

github llama.cpp · hace 3 d · 7 vistas

llama.cpp b10313 añade un programador LRU al servidor

El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.