github llama.cpp · 1 ч назад · inference

llama.cpp b10632 добавляет чанковое SSD MMA для оптимизации префилла Mamba-2

Переведено с English → Русский

Проект llama.cpp выпустил версию b10632, которая вводит оптимизацию чанкового SSD MMA для префилла Mamba-2 через ggml-metal.

Добавлены WIP чанковые ядра SSD SSM_SCAN для многозадачного префилла на Metal.
Отказ от скалярного пути SSD в пользу MMA, объединенного с последовательным хвостом.
Резервирует K токенов для снимков отката последовательного ядра и сбрасывает параллелизм между MMA и seq tail.
Специализирует хвост ssm_scan с помощью шаблона и обновляет константы для ясности.

Это обновление предоставляет бинарные файлы для macOS, iOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах, включая CPU, CUDA, ROCm, Vulkan и OpenVINO.

Важность 1/3 Доверие 1/3 llama.cpp Inference efficiency

Оригинал

Похожие статьи

github llama.cpp · 16 ч назад · 1 просмотр

llama.cpp b10628 добавляет поддержку транспорта Apple RDMA RPC

Проект llama.cpp выпустил версию b10628, добавляющую поддержку Apple RDMA в качестве механизма транспорта удалённого вызова процедур (RPC).

lab OpenAI News · 19 ч назад · 6 просмотров

OpenAI сообщает: чип Jalapeño обеспечивает снижение задержки до 3,6 раза и повышение эффективности в 1,9 раза

OpenAI опубликовала предварительные результаты производительности Jalapeño, своего первого собственного чипа для вывода моделей, демонстрирующие значительное улучшение скорости и энергоэффективности по сравнению с существующими коммерческими системами. Компания заявляет, что новая архитектура позволяет одновременно достигать более высокой пропускной способности и меньшей задержки, решая типичный компромисс в современном аппаратном обеспечении.

media r/LocalLLaMA · 21 ч назад · 1 просмотр

Quantization-Aware Healing: сжатая 4-битная модель, превосходящая оригинал полной точности

В статье представлена Quantization-Aware Healing — метод создания сжатой 4-битной модели, которая демонстрирует производительность выше, чем у её оригинала полной точности.

github llama.cpp · 21 ч назад · 1 просмотр

llama.cpp b10622 исправляет сбой OOM Metal на iOS/macOS

Проект llama.cpp выпустил сборку b10622, которая включает критическое исправление для бэкенда Metal, предотвращающее сбои из-за нехватки памяти. Обновление устраняет проблему, при которой возвращение `ggml_metal_buffer_init` значения NULL из-за ошибки выделения памяти не проверялось, что приводило к жесткому сбою через `EXC_BAD_ACCESS` при разыменовании нулевого указателя.

lab Hugging Face Blog · 21 ч назад · 1 просмотр

Papers with Code использует сервисы Hugging Face для гибридного поиска по статьям

Papers with Code внедрил систему гибридного поиска, сочетающую ключевые слова и семантический поиск, чтобы помочь пользователям находить релевантные статьи по исследованиям в области ИИ. Архитектура использует Hugging Face Jobs, Storage Buckets и Inference Endpoints для управления конвейером эмбеддингов и обслуживания запросов с низкой задержкой.