github llama.cpp · há 2 h · inference

llama.cpp b10107 corrige falha no Windows e fornece binários para várias plataformas

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10107, que inclui uma correção para uma falha no Windows que ocorria quando o recurso op_poll estava habilitado.

Resolve uma falha no Windows quando o op_poll está ativo (PR #26029).
Fornece binários pré-compilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x com CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.
Desativa o suporte ao KleidiAI para Apple Silicon no macOS nesta versão.

Esta atualização garante a estabilidade em sistemas Windows que utilizam op_poll, enquanto continua oferecendo suporte abrangente ao hardware em principais sistemas operacionais e aceleradores.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10105 refatora mlock/mmap/directio em um único argumento de modo de carregamento

O projeto llama.cpp lançou a versão b10105, que introduz uma refactorização significativa da interface de linha de comando ao consolidar flags separadas de gerenciamento de memória em um único argumento `load-mode`.

github llama.cpp · há 17 h

llama.cpp b10099 melhora a quantização NVFP4 W4A4 no CUDA

O projeto llama.cpp lançou a versão b10099, que inclui uma atualização significativa no backend do CUDA para melhorar a quantização de ativação NVFP4 W4A4.

github llama.cpp · há 19 h

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

media Together AI Blog · há 21 h

Together lança Inferência de Modelo Dedicado com beta de treinamento personalizado

A Together lançou uma atualização significativa para sua plataforma de inferência, introduzindo a "Inferência de Modelo Dedicada" projetada para dar aos usuários controle total sobre desempenho, custo e qualidade para modelos de pesos abertos. A atualização também anuncia um beta fechado para capacidades de treinamento personalizado, incluindo reforço com pesos completos e LoRA.

github llama.cpp · há 22 h · 1 visualização

llama.cpp b10094 infere tipo especulativo a partir de sidecars do repositório rascunho

O projeto llama.cpp lançou a versão b10094, introduzindo um recurso que detecta automaticamente o tipo de decodificação especulativa a partir de sidecars do repositório rascunho. Anteriormente, ao usar a flag `-hfd` para apontar para um repositório contendo sidecars mtp-, dflash- ou eagle3- sem fornecer explicitamente `--spec-type`, o sistema resolvia incorretamente o rascunho como um modelo completo.