github llama.cpp · há 2 h · inference

llama.cpp b11157 adiciona conv3d com GEMM implícito para CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11157, introduzindo suporte para operações de convolução 3D usando GEMM implícito no CUDA. Esta atualização refina a implementação para lidar com kernels vazios e está disponível em uma ampla gama de plataformas, incluindo macOS, Linux, Windows, Android e iOS.

Adiciona conv3d com GEMM implícito para backends CUDA.
Refina a lógica do GEMM implícito do conv3d para lidar corretamente com kernels vazios.
Fornece binários para CPU, Vulkan, ROCm, OpenVINO, SYCL e Snapdragon no Linux e Windows.
Inclui builds para macOS Apple Silicon (arm64), macOS Intel (x64) e iOS XCFramework.
Oferece builds Android arm64 com suporte para CPU, GPU Adreno e NPU Hexagon.

Este lançamento expande as capacidades de aceleração por hardware da biblioteca ao habilitar operações de convolução 3D em GPUs NVIDIA.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11156 adiciona suporte a Ling 3.0 VL via BailingMoeV3

O projeto llama.cpp lançou a compilação b11156, que introduz suporte para o modelo Ling 3.0 VL. Esta atualização integra o Ling 3.0 VL na arquitetura BailingMoeV3 e garante que as listas compartilhadas de NORM rope permaneçam intactas ao ativar o BailingMoe3 nas seções mrope.

github llama.cpp · há 12 h · 3 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

lab Microsoft Research Blog · há 14 h · 15 visualizações

Microsoft Research mostra que o descarregamento da inferência de IA física melhora o desempenho do robô e a vida útil da bateria

A Microsoft Research desafia a suposição de que a inferência de IA física deve ser executada exclusivamente nas GPUs onboard dos robôs, demonstrando que o descarregamento para infraestrutura de borda ou nuvem melhora significativamente as cargas de trabalho de manipulação móvel. Seu estudo sistemático das cargas de trabalho de robótica revela que depender do processamento onboard limita o desempenho, a vida útil da bateria e a escalabilidade.

github llama.cpp · há 15 h · 11 visualizações

llama.cpp b11147 adiciona kernel OpenCL dp4a non-MoE Q6_K A8

O projeto llama.cpp lançou a versão b11147, que introduz um novo kernel binário para OpenCL. Esta atualização adiciona especificamente suporte para a configuração A8 Q6_K non-MoE dp4a.

github llama.cpp · há 17 h · 9 visualizações

llama.cpp b11140 habilita sparse-fa para prefill dsv4 no CUDA

O projeto llama.cpp lançou a versão b11140, que inclui uma otimização de CUDA que habilita o uso de sparse-fa para o prefill dsv4. Esta atualização aborda problemas de desempenho no processo de varredura de máscaras do flash attention ao templatear kernels para permitir o desenrolamento de loops em tempo de compilação.