github llama.cpp · il y a 2 h · inference

llama.cpp b11455 ajoute la pré-segmentation du tokenizeur PLaMo-3

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11455, introduisant le support de la logique de pré-segmentation du tokenizeur PLaMo-3. Ce changement met en œuvre des limites strictes avant d'exécuter Unigram DP, spécifiquement autour de marqueurs textuels spécifiques et de séquences de caractères identiques ou d'espaces.

Ajout du type de vocabulaire "plamo3" dans src/llama-vocab.cpp pour gérer les nouvelles règles de tokenisation.
Reproduction des passes re.sub() de l'implémentation de référence en encodant chaque segment indépendamment.
Garantit que l'indentation du code et la ponctuation répétée sont tokenisées de manière cohérente avec la référence PLaMo-3.

Cette mise à jour permet à llama.cpp de tokeniser correctement les entrées pour les modèles PLaMo-3, correspondant au comportement du tokenizeur original.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b11454 ajoute le support de K2 Horizon dense et MoVA

Le projet llama.cpp a publié la compilation b11454, qui introduit le support pour l'architecture du modèle K2 Horizon, y compris les variantes dense et Mixture-of-Value Attention (MoVA).

media Together AI Blog · il y a 2 h · 1 vue

Together AI met à l'échelle l'inférence d'entreprise avec IBM Cloud et les GPU NVIDIA B300

Together AI s'est associé à IBM et NVIDIA pour déployer un cluster d'inférence dédié à grande échelle sur IBM Cloud, utilisant des GPU NVIDIA B300 et le réseau Ethernet Spectrum-X. Cette infrastructure marque le premier déploiement de ce type sur IBM Cloud, avec Together AI en tant que client initial.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b11450 ajoute le support des tenseurs RPC et corrige le flush de l'Apple RDMA

Le projet llama.cpp a publié la build b11450, introduisant des améliorations de l'appel de procédure à distance (RPC) et des corrections de bugs spécifiques à la plateforme. La mise à jour permet l'utilisation du drapeau `-sm tensor` pour les opérations RPC et résout un problème de flush affectant les implémentations Apple RDMA.

github llama.cpp · il y a 4 h · 1 vue

llama.cpp ajoute le support des embeddings multimodaux d'embeddingGemma2

Le projet llama.cpp a ajouté le support du modèle embeddingGemma2, qui gère les entrées textuelles, visuelles et audio. Cette mise à jour est implémentée via la pull request #30054.

github llama.cpp · il y a 8 h · 12 vues

llama.cpp b11440 réréserve le planificateur lorsque les drapeaux d'extraction NextN changent

Le projet llama.cpp a publié la version b11440, qui inclut une correction pour l'initialisation spéculative de MTP. La mise à jour garantit que le planificateur est rérérévé lorsque les drapeaux d'extraction NextN changent, empêchant les problèmes d'extraction non masquée.