github llama.cpp · agora mesmo · inference

llama.cpp b10665 adiciona suporte para DSpark no Nemotron3.5

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10665, que introduz o suporte ao DSpark para o modelo Nemotron3.5.

Adiciona suporte ao DSpark para Nemotron3.5 por meio de atualizações em src/models/dflash.cpp.
Fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu com CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) e openEuler.

Esta versão permite que os usuários executem modelos Nemotron3.5 usando o formato DSpark em uma ampla gama de arquiteturas de hardware e sistemas operacionais.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 10 h · 4 visualizações

llama.cpp b10653 adiciona TENSOR_READ_LAZY para carregamento de modelos

O projeto llama.cpp lançou a compilação b10653, introduzindo o recurso TENSOR_READ_LAZY em seu carregador de modelos. Esta alteração inclui a adição da função TENSOR_GET_ROW_LAZY e uma flag correspondente --tensor-read-lazy na linha de comando.

github llama.cpp · há 10 h · 3 visualizações

llama.cpp b10655 adiciona suporte ao LIGHTNING_INDEXER para operações do Deepseek V4 no Vulkan

O projeto llama.cpp lançou a compilação b10655, que introduz suporte à operação LIGHTNING_INDEXER dentro do backend do Vulkan para habilitar as operações do Deepseek V4.

github llama.cpp · há 1 d · 6 visualizações

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.

media Hugging Face Forums · há 2 d · 4 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.