O projeto llama.cpp lançou a versão b9957, que foca em melhorar a infraestrutura de ferramentas do servidor. A atualização introduz uma abstração `tools_io` e sua implementação básica, enquanto remove a função `apply_diff`.

  • Funcionalidade da ferramenta de edição melhorada
  • Adicionada abstração tools_io e tools_io_basic
  • Utilitários movidos para membros de classe e adicionados qualificadores const
  • Corrigidos problemas de compilação
  • Suporte ao KleidiAI para Apple Silicon no macOS desativado
  • Fornecidos binários para macOS, Linux, Android, Windows e openEuler para CPU, GPU e vários aceleradores como CUDA, Vulkan, ROCm e OpenVINO

Este lançamento atualiza as capacidades do lado do servidor e fornece binários atualizados para uma ampla gama de plataformas de hardware.