github llama.cpp · 1 ч назад · inference

llama.cpp b10437 добавляет поддержку моделей MiniMax-Text-01 и MiniMax-M1

Переведено с English → Русский

Проект llama.cpp выпустил версию b10437, которая вводит нативную поддержку каузальных языковых моделей MiniMax-Text-01 и MiniMax-M1. Это обновление включает необходимые скрипты конвертации, шаблоны чата и реализации архитектуры моделей для запуска этих конкретных моделей в рамках фреймворка llama.cpp.

Добавлена поддержка `MiniMaxText01ForCausalLM` и `MiniMaxM1ForCausalLM` на уровне модели.
Реализовано подавление токенов для эмбеддингов с нулевыми значениями, чтобы предотвратить нарушение процесса выборки.
Оптимизирована производительность за счет удаления операций транспонирования состояния и использования общих функций для лаконичной реализации.
Добавлен шаблон Jinja чата специально для MiniMax-M1.
Включены артефакты сборки для macOS, Linux, Windows, Android и openEuler для CPU, GPU и различных ускорителей.

Это обновление позволяет пользователям локально запускать модели MiniMax с использованием существующей инфраструктуры вывода llama.cpp.

Важность 1/3 Доверие 1/3 llama.cpp MiniMax Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 19 д назад · 4 просмотра

llama.cpp b10142 добавляет предварительную поддержку зрения MiniMax-M3

Проект llama.cpp выпустил сборку b10142, которая вводит предварительную поддержку зрения для модели MiniMax-M3. Это обновление реализует текстовый порт, который повторно использует существующие компоненты из MiniMax-M2, включая GQA с нормализацией QK на голову и частичным поворотом, экспертами в стиле DeepSeek-V3 и активацией swigluoai.

github llama.cpp · 8 ч назад

llama.cpp b10435 исправляет квадратичную стоимость в jinja gather_string_parts

Проект llama.cpp выпустил версию b10435, которая устраняет проблему производительности в шаблонизаторе Jinja. Основное изменение исправляет ошибку с квадратичной временной сложностью в функции `gather_string_parts`.

github llama.cpp · 11 ч назад · 1 просмотр

llama.cpp b10434 передаёт reasoning_effort в шаблоны

Проект llama.cpp выпустил сборку b10434, которая добавляет поддержку передачи параметра `reasoning_effort` в шаблоны Jinja. Это изменение гарантирует, что значения `reasoning_effort` из OpenAI Chat Completions сохраняются и становятся доступными во время генерации.

lab NVIDIA Research · 12 ч назад · 6 просмотров

Nvidia представляет FusionRelight для перенастройки освещения портретов в реальном времени посредством слияния гибридных предметных знаний

Исследователи из Nvidia представили FusionRelight — метод перенастройки освещения портретов, сочетающий физически правдоподобный перенос освещения с сохранением идентичности и компактным выводом в реальном времени. Подход использует Гибридное Слияние Предметных Знаний (HDKF), фреймворк обучения, который дистиллирует априорные знания о физике, отражательной способности и реализме из синтетических данных, данных One-Light-at-a-Time (OLAT) и естественных сцен в модель-студент.

github llama.cpp · 13 ч назад · 1 просмотр

llama.cpp b10431 добавляет откат рекуррентного состояния для моделей SSM

Проект llama.cpp выпустил версию b10431, которая внедряет поддержку отката рекуррентного состояния (RS) в операции ggml_ssm_scan. Это изменение позволяет выполнять откат RS для моделей Nemotron на бэкендах CPU и CUDA.