github llama.cpp · только что · inference

llama.cpp b10153 добавляет поддержку модели Nanbeige4.2

Переведено с English → Русский

Проект llama.cpp выпустил сборку b10153, которая добавляет поддержку архитектуры модели Nanbeige4.2.

Добавлена совместимость для загрузки и запуска моделей Nanbeige4.2.
Исправлены проверки линтера flake8 в кодовой базе.
Исправлены проверки границ циклов и удалена избыточная логика head_dim.
Предоставлены бинарные файлы для macOS (Apple Silicon и Intel), Linux, Windows, Android и iOS для CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL и других бэкендов.

Это обновление позволяет пользователям использовать модель Nanbeige4.2 в рамках llama.cpp, получая при этом преимущества от общих улучшений качества кода.

Важность 1/3 Доверие 1/3 llama.cpp Local inference

Оригинал

llama.cpp b10150 корректирует логику выгрузки ggml и исправляет dsv4-граф

Проект llama.cpp выпустил сборку b10150, которая включает корректировки логики ggml для операций выгрузки на бэкенд весов. Это обновление также содержит исправления для графа llama dsv4.

media Hugging Face Forums · 4 ч назад

TraceML добавляет коллбэк Hugging Face Trainer для диагностики узких мест загрузки данных

Автор интегрировал диагностический инструмент в TraceML, проект с открытым исходным кодом для наблюдаемости PyTorch, чтобы помочь пользователям различать проблемы производительности обучения, ограниченные вычислениями GPU и ограничениями ввода. Эта новая функция позволяет разработчикам быстро определить, вызвана ли низкая утилизация GPU медленной загрузкой данных или реальными пределами вычислений модели.

github llama.cpp · 6 ч назад · 1 просмотр

Аарон Тео добавил аргумент -lm mlock в llama.cpp

Аарон Тео отправил изменение в репозиторий llama.cpp, которое вводит новый аргумент командной строки `-lm mlock`. Это дополнение позволяет пользователям явно блокировать память в тех областях, где код выполняет операции `mlock`, но не использует `mmap`.

github llama.cpp · 4 д назад

llama.cpp b10093 исправляет шаблон DeepSeek v4 и добавляет флаг drop_reasoning

Проект llama.cpp выпустил сборку b10093, которая включает специфические обновления для поддержки моделей DeepSeek v4. Релиз решает проблемы с обработкой шаблонов и вводит новые флаги конфигурации для этого семейства моделей.

media Hugging Face Forums · 5 д назад

Forge генерирует и компилирует изолированные UI для моделей Hugging Face в браузере

Амин Муса создал Forge, открытую браузерную песочницу для моделей Hugging Face, которая динамически генерирует пользовательские интерфейсы с помощью отдельной модели кода. Система создает TSX-компонент на основе спецификаций задачи, который браузер затем компилирует на стороне клиента с помощью esbuild-wasm и запускает в изолированном iframe.