Ornith 35B fonctionne raisonnablement bien avec le modèle spéculatif Qwen3.6 35B DFlash

Un utilisateur rapporte avoir obtenu une augmentation de la vitesse de génération de tokens de 30 à 40 % en associant le modèle Ornith-1.0-35B comme modèle de brouillon avec Qwen3.6-35B-A3B-DFlash via llama-server.

• La configuration utilise Ornith-1.0-35B-GGUF (Q8_0) comme modèle d'ébauche spéculatif via le drapeau `--spec-type draft-dflash`.
• Des tests sur un contexte de 50k mêlant code JavaScript et texte Wikipédia ont donné un taux d'acceptation de tokens de 80 %.
• La configuration implique l'exécution de llama-server avec des paramètres spécifiques pour la longueur du contexte, la température et les étapes de brouillon.

Bien que cette combinaison améliore la vitesse de génération, elle se fait au prix de temps de traitement des prompts considérablement plus longs, ce qui signifie qu'il ne s'agit pas d'une solution universelle.