github llama.cpp · há 1 h · inference

llama.cpp b10638 adiciona Vulkan cross_entropy_loss e lança binários

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10638, que implementa suporte ao Vulkan para as funções `cross_entropy_loss` e `cross_entropy_loss_back`.

O lançamento inclui binários pré-compilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 e arm64), Android (arm64) e openEuler.
A aceleração de GPU está disponível via Vulkan, CUDA (12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL e OpenVINO nas plataformas suportadas.
As compilações do macOS Apple Silicon com KleidiAI estão atualmente desativadas neste lançamento.
Um pacote de interface do usuário atualizado também é fornecido junto com os binários principais.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10639 corrige a suposição do tamanho de warptile no Vulkan

O projeto llama.cpp lançou a compilação b10639, que inclui uma correção para o backend Vulkan onde as warptiles anteriormente assumiam que os tamanhos de warp eram menores ou iguais a 64. Esta alteração limita o tamanho do warp para contornar problemas com warps maiores.

media Hugging Face Forums · há 2 h · 1 visualização

Celestium Neon corrige OOM no SDXL em GPUs de 4GB limpando a VRAM

O Celestium Neon é uma nova ferramenta projetada para limpar a VRAM e permitir a inferência do Stable Diffusion XL (SDXL) em placas gráficas com apenas 4 GB de memória, como a GTX 1650.

github llama.cpp · há 5 h · 1 visualização

llama.cpp b10636 desativa a compilação da UI npm por padrão e limpa o CI

O projeto llama.cpp lançou a versão b10636, que altera o comportamento padrão ao compilar a interface web. A compilação da UI baseada em npm agora está desativada por padrão (LLAMA_BUILD_UI=OFF), com a UI sendo incorporada a partir de fontes locais ou downloads pré-compilados.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10635 desbloqueia mmq para MoE em sm_60

O projeto llama.cpp lançou a versão b10635, que inclui atualizações específicas de suporte ao CUDA. A principal alteração é o desbloqueio da multiplicação de matriz de precisão mista (mmq) para arquiteturas Mixture of Experts (MoE) em GPUs com capacidade de computação 6.0 (sm_60).

media Hugging Face Forums · há 7 h · 1 visualização

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.