github llama.cpp · há 1 h · inference

llama.cpp b10412 habilita amostragem de backend para dflash e dspark

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10412, que introduz suporte à amostragem de backend tanto para os backends dflash quanto dspark. Esta atualização também permite valores p_min maiores que 0 dentro da lógica de amostragem de backend e adiciona as salvaguardas correspondentes.

Habilita a amostragem de backend para dflash e dspark.
Permite p_min > 0 na amostragem de backend com proteções adicionais.
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.

Este lançamento expande as opções de aceleração por hardware disponíveis para os usuários do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10414 adiciona suporte a TQ2_0 e otimiza o kernel mul_mv

O projeto llama.cpp lançou a compilação b10414, introduzindo suporte ao tipo de quantização ternária GGML_TYPE_TQ2_0 no backend Metal. Esta atualização também inclui otimizações no kernel mul_mv de tensores contíguos (cont).

lab OpenAI News · há 2 h

OpenAI apresenta modo Ultrafast executando GPT-5.6 Sol até 14 vezes mais rápido

A OpenAI está lançando uma prévia do Ultrafast, um novo nível de serviço que executa o modelo GPT-5.6 Sol até 14 vezes mais rápido do que o processamento padrão. Alimentado por hardware da Cerebras, este modo gera até 750 tokens de saída por segundo e está inicialmente disponível via API da OpenAI.

github llama.cpp · há 3 h

llama.cpp b10410 remove promoção de tipo fp32 separada no caminho gemm non-oneDNN

O projeto llama.cpp lançou a versão b10410, que inclui uma alteração de código para o backend SYCL. Esta atualização remove a promoção de tipo fp32 separada no caminho GEMM non-oneDNN e em vez disso usa promoção automática fp16.

github llama.cpp · há 4 h

llama.cpp b10408 adiciona kernel ESIMD Q3_K e move o controle para o tempo de execução

O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.

media Hugging Face Forums · há 9 h · 1 visualização

liventruth lança UL-SMF para compressão de cache KV 384x usando FSQ

O desenvolvedor liventruth disponibilizou como código aberto o Unified Latent-State Memory Fabric (UL-SMF), uma arquitetura co-projetada de hardware e software que comprime caches Key-Value padrão FP32 em um espaço latente discreto de 16 dimensões usando Quantização Escalar Finita (FSQ).