github MLX · 1 ч назад · inference

MLX v0.32.1 добавляет поддержку размерности головы 72 в полное внимание Metal

Переведено с English → Русский

Библиотека MLX выпустила версию 0.32.1, добавившую поддержку размерности головы 72 в реализации полного внимания Metal.

Обновление позволяет использовать размерность головы 72 в полном внимании Metal через запрос на слияние #4330.

Важность 1/3 Доверие 2/3 MLX Apple ML Inference efficiency

AFM3 20B от Apple использует pruning следования инструкциям для активации ~20% слоёв

Apple представила новую архитектуру для своих фундаментальных моделей третьего поколения (AFM3), которая использует «Pruning следования инструкциям» для значительного снижения количества активных параметров. Модель спроектирована так, чтобы активировать примерно 20% своих MLP слоёв, принимая решения маршрутизации один раз на промпт, а не на токен.

media r/LocalLLaMA · 34 д назад · 9 просмотров

Apple ведёт переговоры со стартапом PrismML о сокращении размеров ИИ-моделей для работы на iPhone

Apple в настоящее время ведёт переговоры со стартапом PrismML по поводу технологии сжатия моделей искусственного интеллекта для развёртывания на iPhone.

github MLX · 41 д назад · 11 просмотров

MLX v0.32.0 исправляет градиенты conv2 для группированного случая с шагом на Metal

Библиотека MLX выпустила версию 0.32.0, которая устраняет конкретную ошибку в бэкенде Metal.

arxiv arXiv cs.CL · 44 д назад · 1 просмотр

BaseRT обеспечивает лучший в классе вывод LLM на Apple Silicon через нативный Metal

Исследователи представляют BaseRT, нативный runtime вывода для больших языковых моделей на базе Apple Silicon с использованием Metal, который демонстрирует самую высокую зафиксированную пропускную способность вывода на сегодняшний день. За счет использования специфичных для чипа слияний ядер и оптимизации с учетом единой памяти он преодолевает накладные расходы, присущие существующим фреймворкам, таким как llama.cpp и MLX.

media r/LocalLLaMA · 58 д назад · 3 просмотра

Теперь вы можете конвертировать квантованные модели EXL3 на Mac с процессором Apple Silicon

Пользователи теперь могут конвертировать и запускать квантованные модели EXL3 на Mac с процессором Apple Silicon и объёмом памяти 64 ГБ и более. Проверки показывают, что модели, такие как MiniCPM5 и Qwen3.6-27B, достигают производительности, сравнимой с или немного ниже производительности при конвертации на картах RTX, при этом EXL3 обеспечивает более высокое качество квантования по сравнению с MLX.