Todos os artigos
github llama.cpp · há 12 d

Lançamento do llama.cpp b9714 adiciona cabeçalho X-Accel-Buffering e novos binários

A versão b9714 do llama.cpp adiciona o cabeçalho "X-Accel-Buffering": "no" aos endpoints de streaming para evitar que o Nginx armazene as respostas em buffer, resolvendo problemas de streaming com aplicativos como a ferramenta de codificação Pi. O lançamento inclui binários para macOS, Linux, Android, Windows e openEuler, abrangendo múltiplas arquiteturas e opções de aceleração por hardware.

github llama.cpp · há 13 d

llama.cpp release b9700: novos binários e atualizações da API SYCL

A versão b9700 do llama.cpp introduz suporte SYCL atualizado com flags de API renomeadas: GGML_SYCL_SUPPORT_LEVEL_ZERO renomeado para GGML_SYCL_SUPPORT_LEVEL_ZERO_API e GGML_SYCL_ENABLE_LEVEL_ZERO renomeado para GGML_SYCL_USE_LEVEL_ZERO_API. O release inclui binários para macOS, Linux, Android, Windows e openEuler em múltiplas arquiteturas e opções de aceleração de hardware, incluindo Vulkan, ROCm, OpenVINO e SYCL.