github llama.cpp · há 1 h · inference

llama.cpp b10632 adiciona MMA SSD em chunks para otimização de prefill do Mamba-2

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10632, que introduz uma otimização de MMA SSD em chunks para o prefill do Mamba-2 via ggml-metal.

Adiciona kernels WIP de SSM_SCAN SSD em chunks para prefill multi-token no Metal.
Remove o caminho SSD escalar em favor do MMA combinado com uma cauda sequencial.
Reserva K tokens para snapshots de rollback do kernel sequencial e redefine a concorrência entre MMA e seq tail.
Especializa a cauda ssm_scan com um template e atualiza constantes para clareza.

Esta atualização fornece binários para macOS, iOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm, Vulkan e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10628 adiciona suporte ao transporte RPC de Apple RDMA

O projeto llama.cpp lançou a versão b10628, introduzindo suporte para o Apple RDMA como mecanismo de transporte de chamada de procedimento remoto (RPC).

lab OpenAI News · há 19 h · 6 visualizações

OpenAI relata que chip Jalapeño oferece até 3,6x menos latência e 1,9x mais eficiência

A OpenAI divulgou os primeiros resultados de desempenho do Jalapeño, seu primeiro chip de inferência personalizado, demonstrando ganhos significativos em velocidade e eficiência energética em comparação com sistemas comerciais existentes. A empresa afirma que a nova arquitetura permite maior vazão e menor latência simultaneamente, abordando uma troca comum no hardware atual.

media r/LocalLLaMA · há 21 h · 1 visualização

Quantization-Aware Healing: um modelo comprimido de 4 bits que supera seu original de precisão completa

O artigo apresenta o Quantization-Aware Healing, um método para criar um modelo comprimido de 4 bits que alcança desempenho superior ao do seu original de precisão completa.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10622 corrige falha OOM do Metal no iOS/macOS

O projeto llama.cpp lançou a compilação b10622, que inclui uma correção crítica para o backend do Metal para evitar falhas por falta de memória. A atualização aborda um problema onde `ggml_metal_buffer_init` retornando NULL devido a uma falha de alocação não era verificado, levando a uma falha grave via `EXC_BAD_ACCESS` ao dereferenciar o ponteiro nulo.

lab Hugging Face Blog · há 21 h · 1 visualização

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.