github llama.cpp · há 1 h · inference

llama.cpp b10199 adiciona suporte de embedding do servidor para geração do próximo token

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10199, introduzindo novas capacidades em seu componente de servidor. A atualização principal permite que o servidor suporte embeddings para gerar o próximo token, especificamente adicionando suporte para embeddings de tokens amostrados.

O servidor agora suporta geração de embedding para tokens amostrados para facilitar fluxos de trabalho de previsão do próximo token.
Uma correção foi aplicada ao destrutor ~server_batch().
As compilações do macOS Apple Silicon (arm64) com KleidiAI estão desabilitadas nesta versão.
Binários pré-compilados estão disponíveis para Linux, Windows, Android e macOS através dos backends CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e OpenCL.

Esta atualização permite que usuários que utilizam o servidor llama.cpp acessem embeddings de tokens diretamente durante a geração, o que é útil para aplicações que requerem representações vetoriais dos tokens de saída.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10198 adiciona suporte Vulkan para concatenação quantizada

O projeto llama.cpp lançou a compilação b10198, que introduz suporte para operações de concatenação quantizada dentro do backend Vulkan.

media r/LocalLLaMA · há 4 h

Lucebox e AMD superam Nvidia DGX Spark em 3.63x no DeepSeek V4 Flash

A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.

lab OpenAI News · há 4 h · 5 visualizações

OpenAI reduz preços do GPT-5.6 Luna e Terra e introduz modo rápido para Sol

A OpenAI reduziu o custo de seus modelos GPT-5.6 Luna e Terra, ao mesmo tempo em que introduz um novo "modo rápido" para o GPT-5.6 Sol para melhorar o desempenho por dólar em cargas de trabalho empresariais.

media MarkTechPost · há 5 h

Tencent lança AngelSpec, um framework de treinamento unificado para MTP e decodificação especulativa em bloco-paralelo

A Tencent lançou o código aberto do AngelSpec, um framework de treinamento nativo para torch que suporta tanto a previsão multi-token autoregressiva (MTP) quanto os drafters da família DFlash em bloco-paralelo para modelos Hy3. O sistema trata a heterogeneidade da carga de trabalho como uma restrição primária de design, permitindo especializar estrutura, dados de treinamento e profundidade de verificação com base em casos de uso específicos.

lab Hugging Face Blog · há 6 h

Gerenciamento de GPU: Por que GPUs ociosas são os novos aviões no chão

O artigo argumenta que a utilização de GPU, em vez da inteligência do modelo, tornou-se a principal restrição na IA corporativa, traçando paralelos com a utilização de aeronaves das companhias aéreas, onde os custos acumulam por hora, independentemente do uso.