GLM-5.2, содержащий 753 миллиарда параметров и окно контекста в 1 миллион токенов, теперь доступен на локальной аппаратуры через квантование. Его лицензия MIT и обширные обучающие данные позволяют сообществу проводить настройку более мелких моделей, что обещает значительные улучшения для локальных решений ИИ.
Локальный агент на 30B, используя циклы бездействующих скриншотов, автономно отлаживает демонстрацию raytraced FPS на чистом C, захватывая кадры на ключевых событиях и итерируя по исправлениям. Агент строит рекурсивный визуальный цикл отладки, демонстрируя, что простые механизмы обратной связи могут позволить малым моделям решать сложные визуально обусловленные задачи.
Модель SIQ-1, обученная с использованием PPO с верифицируемой наградой, превосходит GLM-5.2 и Qwen-350B по задачам параметрического гольфа, с выводами, схожими с Opus4.8. Она также побеждает NEX и GPT-5.5 на тесте bullshit-bench. Модель и её версия GGUF доступны на Hugging Face, а также представлен демонстрационный агент, совместимый с ZeroGPU.
Разработчик выпустил локальную RPG-игру, в которой персонажи, локации, предметы и миссии генерируются как постоянные игровые объекты. Эти элементы могут быть повторно посещаемы и взаимодействованы, а игра интегрирует модели языковой обработки в основные механики RPG, такие как диалог, рассказ и прогрессирование миссий, при управлении инвентарем, боем и сохранениями. Игра продала около 1800 копий в первый месяц и имеет рейтинг 4,0 в магазине, что указывает на интерес игроков к игровым опыта, основанным на ИИ.
Релиз LLaMA.cpp b9678 включает оптимизацию mul_mat_f16_f32_l4 для декодирования и вводит новые сборки для macOS, Linux, Android, Windows и openEuler. Релиз предлагает поддержку CPU, Vulkan, ROCm, OpenVINO, SYCL и HIP на нескольких архитектурах, с доступным специальным пакетом интерфейса.
В версии llama.cpp b9677 обновлены логи для обеспечения max_capacity и удалена логика расширения очереди. В релизе представлены бинарники для macOS, Linux, Android, Windows и openEuler на разных архитектурах и вариантах ускорения, включая Vulkan, CUDA, OpenVINO и SYCL.
Пользователь спрашивает, актуальна ли «задача поиска иголки в стоге сена» — метрика, используемая для оценки производительности моделей — или она была забыта. В посте отражается её историческое применение в релизах моделей и задаётся вопрос о том, не стала ли она устаревшей или забытой.
Версия LLaMA.cpp b9674 исправляет баг использования после освобождения в асинхронном memcpy SYCL во время предварительной загрузки MoE. В релизе представлены бинарники для macOS, Linux, Android, Windows и openEuler, поддерживающие CPU, Vulkan, ROCm, OpenVINO, SYCL и CUDA на нескольких архитектурах.
Версия llama.cpp b9675 включает поддержку FP16 для операций, таких как SQR, SQRT, LOG, SIN, COS и CLAMP. В релизе представлены бинарники для macOS, Linux, Android, Windows и openEuler на нескольких архитектурах, с поддержкой Vulkan, ROCm, OpenVINO, SYCL (FP16 и FP32) и CUDA 12.4 и 13.3.
Релиз GLM 5.2 указывает на то, что модели открытого веса достигли уровня Opus 4.8. Пользователи спрашивают, сколько времени потребуется, чтобы увидеть модели открытого веса, соответствующие производительности класса Mythos или Fable из Китая.
Локальные модели перешли от того, что они были в основном ориентированы на приватность и служили игрушками, до практических инструментов для программирования, управления частными документами и локальных рабочих процессов за один год. Хотя они всё ещё не могут заменить лучшие закрытые модели при выполнении сложных задач, требующих планирования и исправления ошибок, общий рост в удобстве и производительности очевиден.
Разработчик потратил 12 месяцев на создание локального, открытого голосового помощника, вдохновленного Alexa, документируя возникающие трудности и прогресс. Проект ставил целью создание альтернативы с акцентом на приватность, используя локальные модели, с постоянными улучшениями и исправлениями.
GLM-5.2 — это языковая модель, разработанная специально для задач с длительным горизонтом. Она направлена на более эффективное выполнение сложных, многошаговых рассуждений и долгосрочного планирования за счёт улучшения способности сохранять контекст на протяжении длительных последовательностей.
llama.cpp releases version b9680 with updated Vulkan support and new binaries for macOS, Linux, Android, Windows, and openEuler. The release includes CPU and GPU variants for multiple architectures, with support for Vulkan, CUDA, OpenVINO, SYCL, and ROCm.
AI-модель Rio 3.5 397B, по сообщениям, была разработана путем слияния модели Nex N2 Pro без дополнительной тренировки, используя средства, предназначенные для правильной разработки моделей. Официальная документация сначала утверждала наличие продвинутой тренировки, но позже была обновлена и признала поверхностное слияние, при этом все еще утверждала, что произошла дополнительная тренировка, и исходная модель была удалена с Hugging Face.
Версия llama.cpp b9673 вводит опциональные аллокации USM системы для буферов GPU ≥1GB, позволяя перераспределять VRAM при наличии поддержки устройства. Функция требует переменной среды GGML_SYCL_USM_SYSTEM и по умолчанию отключена, в случае отсутствия поддержки переключается на обычные аллокации.
GLM-5.2 Max занимает третье место среди доступных моделей, как среди открытых, так и среди проприетарных моделей. Оценка основана на показателях производительности и текущих оценках в области больших языковых моделей.
Datasette 1.0a34 вводит инструменты для вставки, редактирования и удаления строк в интерфейсе. Эти функции доступны на страницах таблиц и как действия на страницах строк, решая долгожданную возможность в интерфейсе.
Пользователь ищет локально размещаемое, автономное приложение для генерации английских субтитров (в формате .srt или .ass) из видеофайлов. Они рассматривают Qwen-ASR и Whisper как сильные варианты, но отмечают плохое сопоставление временных меток в реализациях ComfyUI и нестабильную работу с более старыми моделями, такими как те, что используются в storytoolkitAI. Они просят рекомендации, которые хорошо работают на Windows и могут обрабатывать несколько языков.
Веб-компонент click-to-play отображает статичное изображение с кнопкой «воспроизвести», которая загружает анимацию в формате GIF по запросу. Он поддерживает постепенное улучшение, позволяя загружать анимации только при взаимодействии пользователя с изображением.