O projeto llama.cpp lançou a compilação b10005, que inclui atualizações específicas para a arquitetura do modelo DeepseekV4. O lançamento aborda problemas de gerenciamento de sequência corrigindo `seq_rm` e implementando uma função `seq_cp` adequada.

  • Corrige `seq_rm` para os modelos DeepseekV4.
  • Implementa a funcionalidade adequada de `seq_cp`.
  • Cria um contexto de atualização real para um tratamento aprimorado.
  • As compilações para macOS Apple Silicon (arm64) estão disponíveis, enquanto o suporte do KleidiAI está desativado.
  • Os binários do Linux cobrem Ubuntu x64 e arm64 (CPU), s390x, Vulkan, ROCm 7.2, OpenVINO e SYCL FP32/FP16.
  • Compilações para Android arm64 CPU são fornecidas.
  • As versões do Windows incluem variantes de CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e HIP.
  • O suporte ao openEuler para x86 e aarch64 (310p/910b ACL Graph) está incluído, com algumas configurações desativadas.

Esta atualização garante o tratamento correto de sequências para os modelos DeepseekV4 em todas as plataformas suportadas.