github llama.cpp · há 1 h · inference

llama.cpp b10203 adiciona suporte SYCL para multiplicação de matrizes q2_0

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10203, que introduz suporte ao formato de quantização q2_0 em operações de multiplicação de matrizes baseadas em SYCL. Esta atualização expande a compatibilidade da biblioteca para cenários específicos de aceleração por hardware.

Adiciona suporte para q2_0 em mul_mat via PR #26231.
Estende a cobertura para casos adicionais de q2_0 dentro do backend SYCL.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

O lançamento permite que os usuários utilizem a quantização q2_0 em dispositivos compatíveis com SYCL, ampliando o intervalo de configurações de hardware suportadas para inferência de modelos eficiente.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10206 impõe os mesmos tipos de cache K e V para modelos DeepSeek V4 e MLA

O projeto llama.cpp lançou a versão b10206, que introduz mudanças específicas em como os caches de chave-valor são tratados nos mecanismos de atenção. A atualização garante que os tipos de cache K e V permaneçam consistentes para os modelos DeepSeek V4.

github llama.cpp · há 2 h

Lançamento do llama.cpp b10202 com fusão SYCL RMS_NORM

O projeto llama.cpp lançou a versão b10202, introduzindo uma otimização SYCL que funde as operações RMS_NORM e MUL.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10201 melhora flash attention para KV quantizado em contextos longos

O projeto llama.cpp lançou a versão b10201, que inclui uma melhoria chave no backend ggml-webgpu. Esta atualização melhora o desempenho do flash attention ao lidar com caches de chave-valor quantizados durante a geração de contexto longo.

media Latent Space · há 7 h

OpenAI reduz preços do GPT-5.6 em até 80% por meio de auto-otimização

A OpenAI anunciou reduções significativas nos preços de seus modelos GPT-5.6, impulsionadas por melhorias sistêmicas de eficiência e técnicas de auto-otimização recursiva. A empresa relata que o custo da inteligência de nível GPT-5.4 caiu aproximadamente 13 vezes em quatro meses, com os preços do GPT-5.6 Luna cortados em 80% e o Terra em 20%.

blog Simon Willison · há 14 h · 2 visualizações

OpenAI reduz o preço do GPT-5.6 Luna em 80% usando Sol para otimizar a inferência

A OpenAI reduziu significativamente os preços de sua família de modelos GPT-5.6, introduzindo uma queda massiva de 80% no preço do GPT-5.6 Luna e uma redução de 20% para o GPT-5.6 Terra. Essas mudanças são habilitadas pelo GPT-5.6 Sol, que otimiza a passagem direta do modelo e os kernels de produção para melhorar a eficiência.