Tous les articles
media r/LocalLLaMA · il y a 2 h

OpenLumara relie désormais n'importe quelle interface utilisateur aux modèles locaux via un point de terminaison OpenAI

Le framework open source OpenLumara prend désormais en charge la connexion à n'importe quelle interface utilisateur capable de communiquer avec un point de terminaison OpenAI, tel que KoboldLite et OpenWebUI. Cette mise à jour permet aux utilisateurs d'intégrer le harnais efficace en tokens dans leurs workflows existants sans modifier leur frontend préféré.

media Hugging Face Forums · il y a 13 h

Erreur du compteur de téléchargement pour les modèles sur Hugging Face

Un utilisateur du forum communautaire de Hugging Face a signalé que les statistiques de téléchargement de son dépôt de modèle, InternScience/Agents-A1-FP8, sont restées à zéro bien qu'il ait été téléchargé deux jours plus tôt. L'utilisateur note que le dépôt inclut un fichier config.json et soupçonne qu'un problème technique empêche le compteur de se mettre à jour.

media r/LocalLLaMA · il y a 13 h

Le Bonsai-8B 1-bit de PrismML bat IBM Granite sur l'appel d'outils CPU avec grammaire

Un benchmark du modèle Bonsai-8B 1-bit de PrismML contre le Granite d'IBM et d'autres LLMs révèle que Bonsai-8B atteint la plus haute précision d'appel d'outils lors de l'utilisation du décodage contraint par grammaire. Ce test, réalisé sur CPU avec llama.cpp, met en évidence le rôle critique des contraintes de sortie pour permettre aux petits modèles quantifiés de fonctionner efficacement pour les tâches d'agent.

media r/LocalLLaMA · il y a 13 h

Backend LLM local open-source pour les conversations entre PNJ

L'auteur a publié un backend de synthèse vocale entièrement local conçu pour les PNJ basés sur des grands modèles de langage (LLM), permettant des interactions directes entre PNJ sans dépendance au cloud. Le système intègre la reconnaissance vocale, un LLM local et la synthèse vocale pour permettre aux PNJ de converser, de conserver le contexte et d'influencer les interactions futures avec le joueur.