Проект llama.cpp обновил свой серверный компонент для поддержки визуального ввода для модели Clef. Это изменение является частью pull request #29969.

  • Добавлена поддержка визуального ввода для Clef.
  • Функция input_attn_causal перемещена в приватную область.
  • Расширен старый server_batch::embd.
  • Изменено server_batch::token::pos на многомерное.
  • Исправлена обработка прерывания.
  • Исправлен лимит токенов изображения.
  • Исправлена проблема с изменением данных в yield_to_queue.