github llama.cpp · há 1 h · inference

llama.cpp b10331 corrige get_info do servidor para relatar corretamente o diretório de trabalho isolado

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10331, que inclui uma correção para o endpoint `get_info` do servidor. Anteriormente, quando nenhum diretório de trabalho atual explícito era fornecido, a função incorretamente recaía no diretório de trabalho do processo do servidor, mesmo se um tools runtime estivesse configurado.

O servidor agora solicita ao isolado seu diretório de trabalho quando um tools runtime está ativo, garantindo que o caminho correto seja relatado.
Ele retém o diretório de trabalho do processo apenas quando as ferramentas são executadas diretamente no host.
Um comentário redundante foi removido da base de código.

Esta alteração garante que os caminhos de execução das ferramentas sejam refletidos com precisão nas respostas de informações do servidor, evitando problemas onde os caminhos do host nomeados não correspondiam ao ambiente real do isolado.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10330 funde rms_norm, mul e rope no CUDA

O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b10328 adiciona isolamento inicial de ferramentas do servidor via Docker

O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.

github llama.cpp · há 19 h · 1 visualização

llama.cpp b10327 corrige a contagem de threads/blocos no kernel de cópia quantizada

O projeto llama.cpp lançou a versão b10327, que inclui uma correção para a contagem de threads e blocos nos lançamentos do kernel de cópia quantizada no CUDA. Esta atualização aborda um problema identificado no pull request #26731.

github llama.cpp · há 1 d

llama.cpp b10326 leva em conta a passagem do vocoder nos tempos

O projeto llama.cpp lançou a compilação b10326, que modifica como as medições de tempo são calculadas ao incluir a passagem do vocoder.

github llama.cpp · há 1 d

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.