github llama.cpp · agora mesmo · inference

llama.cpp b10675 adiciona suporte a hoisting para IDs de linha e contagem de especialistas em shaders

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10675, que inclui uma atualização chave para seu backend Vulkan. Este lançamento adiciona suporte a hoisting para IDs de linha e contagens de especialistas dentro do código do shader.

A implementação usa IDs de linha elevados no coopmat2.
Aborda o feedback da revisão sobre count_experts usando vk_op_count_experts_push_constants em vez de vetores uint crus.
O truque fastdiv é aplicado à operação div/mod ne00 em count_experts.
Os deslocamentos por especialista são computados com subgroupExclusiveAdd onde suportado, mantendo um caminho serial como fallback.

Esta atualização fornece builds Vulkan otimizados para macOS, Linux, Windows e Android em vários backends de hardware, incluindo CUDA, ROCm e OpenCL.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

llama.cpp adiciona ajustes fa-vec para Apple M4 Pro

O projeto llama.cpp adicionou ajustes de vetor de atenção rápida (fa-vec) para a GPU Apple M4 Pro por meio de uma nova contribuição ao backend Metal. Esta atualização segue o trabalho anterior para suportar GPUs adicionais da Apple e foi gerada usando a ferramenta `ggml-metal-tuning` em um MacBook Pro de 14 polegadas de novembro de 2024.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b10643 adiciona suporte multi-NPU e backend Hexagon totalmente assíncrono

O projeto llama.cpp lançou a versão b10643, introduzindo suporte para dispositivos multi-NPU (IQ9, IQ10) e um backend totalmente assíncrono para a arquitetura Hexagon.

media Hugging Face Forums · há 2 d · 4 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10628 adiciona suporte ao transporte RPC de Apple RDMA

O projeto llama.cpp lançou a versão b10628, introduzindo suporte para o Apple RDMA como mecanismo de transporte de chamada de procedimento remoto (RPC).

lab OpenAI News · há 3 d · 13 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.