github llama.cpp · há 2 h · inference

llama.cpp b11455 adiciona pré-segmentação do tokenizador PLaMo-3

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11455, introduzindo suporte para a lógica de pré-segmentação do tokenizador PLaMo-3. Esta alteração implementa limites rígidos antes de executar o Unigram DP, especificamente ao redor de marcadores de texto específicos e sequências de caracteres idênticos ou espaços.

Adicionado o tipo de vocabulário "plamo3" em src/llama-vocab.cpp para lidar com as novas regras de tokenização.
Reproduzidas as passagens re.sub() da implementação de referência codificando cada segmento independentemente.
Garante que a indentação do código e a pontuação repetida sejam tokenizadas de forma consistente com a referência PLaMo-3.

Esta atualização permite que o llama.cpp tokenize corretamente as entradas para os modelos PLaMo-3, correspondendo ao comportamento do tokenizador original.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11454 adiciona suporte para K2 Horizon dense e MoVA

O projeto llama.cpp lançou a compilação b11454, que introduz suporte para a arquitetura do modelo K2 Horizon, incluindo as variantes dense e Mixture-of-Value Attention (MoVA).

media Together AI Blog · há 2 h · 1 visualização

Together AI escala a inferência empresarial com IBM Cloud e GPUs NVIDIA B300

A Together AI fez parceria com a IBM e a NVIDIA para implantar um cluster de inferência dedicado em grande escala na IBM Cloud, utilizando GPUs NVIDIA B300 e rede Ethernet Spectrum-X. Essa infraestrutura marca o primeiro despliegue desse tipo na IBM Cloud, com a Together AI como cliente inicial.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b11450 adiciona suporte a tensores RPC e corrige flush do Apple RDMA

O projeto llama.cpp lançou a compilação b11450, introduzindo melhorias na chamada de procedimento remoto (RPC) e correções de bugs específicas da plataforma. A atualização permite a flag `-sm tensor` para operações RPC e resolve um problema de flush que afeta as implementações do Apple RDMA.

github llama.cpp · há 4 h · 1 visualização

llama.cpp adiciona suporte para embeddings multimodais do embeddingGemma2

O projeto llama.cpp adicionou suporte ao modelo embeddingGemma2, que lida com entradas de texto, visão e áudio. Esta atualização é implementada por meio do pull request #30054.

github llama.cpp · há 8 h · 12 visualizações

llama.cpp b11440 re-reserva o agendador quando as flags de extração NextN mudam

O projeto llama.cpp lançou a versão b11440, que inclui uma correção para a inicialização especulativa de MTP. A atualização garante que o agendador seja re-reservado quando as flags de extração NextN mudarem, prevenindo problemas com extração não mascarada.