Проект llama.cpp выпустил сборку b10896, которая устраняет критическую проблему, при которой память драфтера не могла выделять новые токены при использовании DFlash с моделями с зрением. Этот сбой происходил из-за того, что изображения сообщали фиксированное смещение, препятствуя правильному выделению токенов.
- Исправление прекращает копирование смещений изображений, позволяя драфтеру продолжать декодирование.
- Пропуск M-RoPE ограничен только изображениями, позволяя аудио проходить без изменений.
- Комментарии были очищены для соответствия обновленной логике реализации.
Это обновление гарантирует, что спекулятивное декодирование с DFlash работает корректно для мультимодальных моделей, устраняя ошибки выделения памяти, вызванные обработкой метаданных изображений.