github llama.cpp · há 1 h · inference

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) e openEuler. Ele também inclui a interface llama.cpp UI.

Esta atualização garante compatibilidade com configurações de hardware que utilizam tamanhos de warp maiores que 64.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

lab Hugging Face Blog · há 1 d · 1 visualização

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.

github llama.cpp · há 1 d · 21 visualizações

llama.cpp 0.3.0 adiciona modelo dots3-note e tensor-split para DeepSeek 4

O llama.cpp 0.3.0 introduz suporte ao modelo multimodal dots3-note com um novo tipo de cache KV DSA-ISWA, além de suporte à previsão multi-token (MTP) para GLM-4.5-Air. A versão também adiciona capacidades de tensor-split para DeepSeek 4 e corrige problemas de rollback em múltiplas sequências.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b10615 adiciona vec flash-attn ajustado por dispositivo para Metal

O projeto llama.cpp lançou a versão b10615, introduzindo operações vetoriais flash-attention quantizadas (Q, NE) ajustadas por dispositivo para o backend do Metal.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10614 adiciona divisão de fonte por operação do Metal e compilação paralela

O lançamento llama.cpp b10614 introduz uma mudança arquitetural significativa no backend do Metal ao dividir as fontes das operações e habilitar a compilação paralela. Esta atualização também inclui várias implementações de kernel novas e suporte para formatos de quantização adicionais.