vLLM выпустила версию 0.27.1, патчное обновление, построенное на основе предыдущего выпуска v0.27.0.
- Обновление вводит поддержку квантованных заголовков DSpark Markov.
github
vLLM
·
15 ч назад
·
inference
vLLM v0.27.1 добавляет поддержку квантованных заголовков DSpark Markov
Переведено с English → Русский
Похожие статьи
github
llama.cpp
·
8 ч назад
llama.cpp b10361 исправляет SWA для EXAONE 4.5 и пропускает TENSOR_SKIP в пути метаданных
Релиз llama.cpp b10361 устраняет критическую ошибку, при которой Sliding Window Attention (SWA) не была включена для модели LGAI-EXAONE 4.5 из-за неверного порядка параметров при загрузке.
lab
Hugging Face Blog
·
12 ч назад
ALTK-Evolve достигает точности не хуже ACE при значительно меньшей стоимости вывода
ALTK-Evolve — система агентной памяти, преобразующая траектории агентов в повторно используемые руководства без обновления весов; она сопоставима с ACE или превосходит её по точности, используя значительно меньше токенов. В отличие от ACE, который на каждом шаге внедряет полный свод правил, ALTK-Evolve использует селективный поиск для предоставления только релевантных руководств в зависимости от мощности модели.
lab
NVIDIA Research
·
16 ч назад
·
10 просмотров
DSTP устраняет сбои при отсечении визуальных токенов в сложных задачах рассуждения MLLM
Исследователи выявили сдвиг релевантной визуальной информации (RVIS) во время декодирования как основную причину отказа существующих методов отсечения визуальных токенов в мультимодальных больших языковых моделях (MLLM). Для решения этой проблемы они предлагают метод Decoding-stage Shift-aware Token Pruning (DSTP), не требующий обучения, который согласовывает визуальные токены с меняющимися требованиями рассуждения.
media
MarkTechPost
·
17 ч назад
·
1 просмотр
webAI выпускает TwIL-LM — семейство формально-логических моделей на 1,7B и 3B параметров для локальной автоформализации
webAI выпустила TwIL-LM, семейство из двух логических вычислителей с 1,7B и 3B параметров, предназначенных для автоформализации на локальном оборудовании. Модели переводят английский текст в логику первого порядка и проверяют корректность заключений; вариант на 3B параметров достигает макросреднего показателя 0,4218 на задачах формальной логики из обучающей области.
media
AI News (smol.ai)
·
17 ч назад
Meta выпустила модель с открытыми весами Muse Glimmer 30B; Anthropic улучшила оценку для гипотезы Римана
Meta выпустила Muse Glimmer — плотную мультимодельную модель на 30B параметров, оптимизированную для локального развёртывания агентов под лицензией Apache 2.0, а также пообещала в будущем выпустить веса для Muse Spark 1.2.