github llama.cpp · agora mesmo · inference

llama.cpp b10153 adiciona suporte ao modelo Nanbeige4.2

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10153, que introduz suporte para a arquitetura do modelo Nanbeige4.2.

Adiciona compatibilidade para carregar e executar modelos Nanbeige4.2.
Corrige as verificações de linting flake8 na base de código.
Corrige verificações de limite de loop e remove a lógica redundante de head_dim.
Fornece binários para macOS (Apple Silicon e Intel), Linux, Windows, Android e iOS através de CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL e outros backends.

Esta atualização permite que os usuários utilizem o modelo Nanbeige4.2 dentro do framework llama.cpp, beneficiando-se de melhorias gerais na qualidade do código.

Importância 1/3 Confiança 1/3 llama.cpp Local inference

Ler original

llama.cpp b10150 ajusta a lógica de offloading do ggml e corrige o grafo dsv4

O projeto llama.cpp lançou a compilação b10150, que inclui ajustes na lógica do ggml para operações de offloading para o backend dos pesos. Esta atualização também aborda correções para o grafo llama dsv4.

media Hugging Face Forums · há 4 h

TraceML adiciona callback do Hugging Face Trainer para diagnosticar gargalos de carregamento de dados

O autor integrou uma ferramenta de diagnóstico no TraceML, um projeto de observabilidade do PyTorch de código aberto, para ajudar os usuários a distinguir entre problemas de desempenho de treinamento limitados pela GPU e pela entrada. Este novo recurso permite que os desenvolvedores identifiquem rapidamente se a baixa utilização da GPU é causada por carregamento lento de dados ou limites reais de computação do modelo.

github llama.cpp · há 6 h · 1 visualização

Aaron Teo adiciona o argumento -lm mlock ao llama.cpp

Aaron Teo submeteu uma alteração ao repositório do llama.cpp que introduz um novo argumento de linha de comando `-lm mlock`. Essa adição permite que os usuários bloqueiem explicitamente a memória nas regiões onde o código executa operações `mlock`, mas não utiliza `mmap`.

github llama.cpp · há 4 d

llama.cpp b10093 corrige o modelo DeepSeek v4 e adiciona a flag drop_reasoning

O projeto llama.cpp lançou a build b10093, que inclui atualizações específicas para suportar os modelos DeepSeek v4. O lançamento aborda o tratamento de templates e introduz novas flags de configuração para esta família de modelos.

media Hugging Face Forums · há 5 d

Forge gera e compila UIs sandboxed para modelos do Hugging Face no navegador

Amin Musah construiu o Forge, um playground de código aberto no navegador para modelos do Hugging Face que gera dinamicamente interfaces de usuário usando um modelo de código separado. O sistema cria um componente TSX com base nas especificações da tarefa, que o navegador então compila no lado do cliente com esbuild-wasm e executa em um iframe sandboxed.