media r/LocalLLaMA · 73 д назад · open_models

Apple планирует чип M7 Ultra с до 1,5 ТБ объединённой памяти

Переведено с English → Русский

По сообщениям, Apple планирует выпуск чипа M7 Ultra, который будет поддерживать до 1,5 ТБ объединённой памяти.

Запланированная спецификация подчеркивает значительное увеличение ёмкости памяти для будущих процессоров Apple silicon.

Важность 1/3 r/LocalLLaMA Apple ML Hardware & chips

Mac на базе Apple M5: расчёт вместимости открытых моделей по спецификациям

В статье рассчитывается, какие открытые большие языковые модели помещаются в новые Mac серии Apple M5 (Mac mini, Mac Studio), путём анализа ограничений памяти, а не запуска бенчмарков. Вместимость определяется на основе размеров файлов GGUF формата Q4_K_M, требований к KV-кэшу и накладных расходов во время выполнения относительно доступной видеопамяти GPU.

arxiv arXiv cs.CL · 82 д назад · 10 просмотров

BaseRT обеспечивает лучший в классе вывод LLM на Apple Silicon через нативный Metal

Исследователи представляют BaseRT, нативный runtime вывода для больших языковых моделей на базе Apple Silicon с использованием Metal, который демонстрирует самую высокую зафиксированную пропускную способность вывода на сегодняшний день. За счет использования специфичных для чипа слияний ядер и оптимизации с учетом единой памяти он преодолевает накладные расходы, присущие существующим фреймворкам, таким как llama.cpp и MLX.

media r/LocalLLaMA · 91 д назад · 1 просмотр

Apple пропустит чипы M6 Pro/Max и ускорит выпуск M7 для локального ИИ

Согласно последнему сообщению, Apple планирует пропустить выпуск чипов M6 Pro и M6 Max в своей следующей линейке продуктов. Вместо этого компания намерена ускорить разработку серии чипов M7 для лучшей поддержки локальных задач искусственного интеллекта. Эта стратегическая переориентация указывает на приоритет возможностей ИИ на устройстве над традиционным увеличением производительности для линейки Pro. Решение отражает растущее внимание Apple к интеграции передовых функций машинного обучения непосредственно в архитектуру своего оборудования. Ускорив сроки выхода M7, Apple стремится обеспечить более высокую производительность нейронного движка для запуска больших языковых моделей локально. Этот шаг сигнализирует о значительном сдвиге в дорожной карте разработки Apple Silicon в сторону принципов дизайна, ориентированных на ИИ.

github llama.cpp · 5 ч назад · 4 просмотра

llama.cpp b11160 добавляет int8 coopmat1 matmul для AMD RDNA3/4 и поддержку IQ4_XS

Проект llama.cpp выпустил версию b11160, внедряя реализацию int8 cooperative matrix (coopmat1) для Vulkan на архитектурах AMD RDNA3 и RDNA4. Это обновление включает выделенный шейдер, который напрямую опрашивает значения coopmat для повышения производительности.

media Latent Space · 11 ч назад · 1 просмотр

Meta Connect 2026 представляет персонального агента Muse, VR-очки и брелок Charm

На Meta Connect 2026 Meta представила своего персонального агента Muse как центр стратегии «железо плюс агент», внедряя новые функции и устройства и анонсируя будущую модель передового уровня. Компания продемонстрировала расширенные возможности Muse, включая голосовые и видеосвязь в реальном времени, а также новое оборудование, такое как VR-очки и брелок Charm.