github llama.cpp · ahora mismo · inference

llama.cpp b10153 añade soporte para el modelo Nanbeige4.2

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10153, que introduce soporte para la arquitectura del modelo Nanbeige4.2.

Añade compatibilidad para cargar y ejecutar modelos Nanbeige4.2.
Corrige las comprobaciones de linting flake8 en la base de código.
Corrige las comprobaciones de límites de bucle y elimina la lógica redundante de head_dim.
Proporciona binarios para macOS (Apple Silicon e Intel), Linux, Windows, Android e iOS a través de CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL y otros backends.

Esta actualización permite a los usuarios utilizar el modelo Nanbeige4.2 dentro del marco llama.cpp mientras se benefician de mejoras generales en la calidad del código.

Importancia 1/3 Confianza 1/3 llama.cpp Local inference

Leer original

llama.cpp b10150 ajusta la lógica de descarga de ggml y corrige el grafo dsv4

El proyecto llama.cpp ha lanzado la compilación b10150, que incluye ajustes en la lógica de ggml para las operaciones de descarga hacia el backend de los pesos. Esta actualización también aborda correcciones para el grafo llama dsv4.

media Hugging Face Forums · hace 4 h

TraceML añade un callback de Hugging Face Trainer para diagnosticar cuellos de botella en la carga de datos

El autor ha integrado una herramienta de diagnóstico en TraceML, un proyecto de observabilidad de PyTorch de código abierto, para ayudar a los usuarios a distinguir entre problemas de rendimiento de entrenamiento limitados por la GPU y por la entrada. Esta nueva función permite a los desarrolladores identificar rápidamente si la baja utilización de la GPU se debe a una carga lenta de datos o a límites reales de cómputo del modelo.

github llama.cpp · hace 6 h · 1 vista

Aaron Teo añade el argumento -lm mlock a llama.cpp

Aaron Teo ha enviado un cambio al repositorio de llama.cpp que introduce un nuevo argumento de línea de comandos `-lm mlock`. Esta adición permite a los usuarios bloquear explícitamente la memoria en las regiones donde el código realiza operaciones `mlock` pero no utiliza `mmap`.

github llama.cpp · hace 4 d

llama.cpp b10093 corrige la plantilla de DeepSeek v4 y añade el indicador drop_reasoning

El proyecto llama.cpp ha lanzado la compilación b10093, que incluye actualizaciones específicas para admitir los modelos DeepSeek v4. El lanzamiento aborda el manejo de plantillas e introduce nuevos indicadores de configuración para esta familia de modelos.

media Hugging Face Forums · hace 5 d

Forge genera y compila interfaces de usuario aislados para modelos de Hugging Face en el navegador

Amin Musah creó Forge, un entorno de pruebas de código abierto en el navegador para modelos de Hugging Face que genera dinámicamente interfaces de usuario utilizando un modelo de código separado. El sistema crea un componente TSX basado en las especificaciones de la tarea, que el navegador luego compila del lado del cliente con esbuild-wasm y ejecuta en un iframe aislado.