Реальный датчик газа MQ-2 обнаруживает дым и передает живые данные в LLM-сэмплер, корректируя температуру, top_p и top_k в реальном времени. По мере увеличения дыма речь робота становится более цикличной и ассоциативной, без заранее скриптового режима 'пьяного', демонстрируя живое поведение модели, вызванное физическим вводом.
mistral.rs v0.8.10 вводит открытую совместимую с OpenAI функцию агентов навыков через конечную точку /v1/skills, позволяющую локальным моделям выполнять инструкции и скрипты в определённых областях без зависимости от API frontier. Обновление поддерживает инструменты, такие как загрузка и скачивание файлов через /v1/files, и включает предварительно скомпилированные бинарники для Linux, macOS и Windows.
Hugging Face предоставляет бесплатный доступ к инференсу модели GLM-5.2 в течение следующих шести часов. Пользователи могут получить доступ к модели через платформу Hugging Face, с рекомендованным промптом, указанным в посте.
Модель unsloth GLM-5.2-GGUF доступна с 2-битной квантованией, размером 238 ГБ. Она размещена на Hugging Face и поделена в посте в сообществе LocalLLaMA на Reddit.
Оценка Сэма Пэча по критерию креативного письма на EQ Bench определяет GLM-5.2 как лучшую открытую модель креативного письма. Оценка основана на метриках производительности в тесте креативного письма EQ Bench.
Версия llama.cpp b9702 включает исправление ошибки, при которой аргументы роутера не передаются детям. В релизе представлены бинарники для macOS, Linux, Android, Windows и openEuler на разных архитектурах и вариантах ускорения, включая Vulkan, ROCm, OpenVINO и SYCL.
Пользователь спрашивает, где можно продать почти неиспользованный RTX PRO 6000 Blackwell Max-Q, купленный для локальной инференс-обработки ИИ с минимальным использованием. Он рассматривает r/hardwareswap, eBay или специализированные рынки для профессионалов и рабочих станций, и просит совет по реалистичной цене и ожиданиям покупателей, таким как передача гарантии или инвойса.
Белый дом в США остановил внедрение передовых моделей ИИ, включая Claude Fable 5 и Claude Mythos 5, указав на отчёт о 'выходе из системы', при котором ИИ мог определять и исправлять уязвимости в коде. Anthropic работает с администрацией Трампа по устранению проблемы, однако эксперты считают, что проблема фундаментальная — ИИ либо может писать безопасный код, либо не может, что делает исправление невозможным без подрыва его защитных возможностей.
Пользователи обсуждают, может ли задачеспецифичная малая языковая модель (SLM) превосходить более крупные модели в определённых задачах, приводя примеры бенчмарков, где модели на 9 миллиардов параметров достигают или превосходят более крупные. Они предлагают последовательный агентский поток, использующий несколько специализированных моделей, при этом одна координирует, а другие проверяют ответы, предполагая, что диффузионные модели могут ускорять такие потоки, несмотря на снижение интеллекта.
Qwen3.6-27B работает со скоростью около 60 токенов в секунду на 32 ГБ ОЗУ с квантованием кэша KV в формате FP8. Квантование кэша KV NVFP4 на SM120 может значительно повысить производительность на таких системах, хотя текущая реализация пока недоступна.
Проект PearlOS запустил открытую платформу для распределённого интеллекта, которая использует локальные модели для выполнения многомодальных задач. Она автоматически выбирает и переключается между наиболее эффективными моделями на основе критериев оценки, обеспечивая пользователям постоянный доступ к самым новым и наиболее мощным моделям, не завися от закрытых систем или подписок.
Создатель GLM заявил на Reddit, что GLM-fable может быть выпущен к концу года. Пост возник в обсуждении пользователя на форуме LocalLLaMA, где утверждение представлено без подтверждения или официального объявления.
llama.cpp version b9701 introduces a refactored preprocessor with a new mtmd_image_preproc_out feature and updated developer documentation. The release includes binaries for macOS, Linux, Android, Windows, and openEuler across multiple architectures and hardware acceleration options, including Vulkan, CUDA, OpenVINO, and SYCL.
На основании данных OpenRouter за последние три месяца, открытые модели превзошли проприетарные модели по доле рынка. Анализ показывает значительный сдвиг в сторону открытых языковых моделей в общей экосистеме ИИ.
Пользователь сообщает о значительной разнице между результатами Llama benchmark и реальной производительностью модели. Бенчмарки показывают 754 токен/с при предварительной загрузке и 36 токен/с при генерации, однако в реальных условиях наблюдается только 7,98 токена в секунду, с высокой задержкой и плохим пропускным расходом. Отклонение объясняется реальными условиями использования, а не настройками бенчмарка, что указывает на то, что реальная производительность модели значительно ниже скорости, указанной в бенчмарке.
Пользователь поделился тем, что их локальный агент LLM оснащен инструментами MCP для прямого генерирования изображений и видео. Система работает полностью автономно и является бесплатной для использования, подробности и исходный код доступны в комментариях.
llama.cpp version b9700 вводит обновленную поддержку SYCL с переименованными флагами API: GGML_SYCL_SUPPORT_LEVEL_ZERO переименован в GGML_SYCL_SUPPORT_LEVEL_ZERO_API и GGML_SYCL_ENABLE_LEVEL_ZERO переименован в GGML_SYCL_USE_LEVEL_ZERO_API. В релизе представлены бинарные файлы для macOS, Linux, Android, Windows и openEuler на нескольких архитектурах и вариантах ускорения, включая Vulkan, ROCm, OpenVINO и SYCL.
Пользователи выражают интерес к локальной, "флеш" версии Le Chaton Fat для обеспечения приватности и суверенности. Сообщество просит обновления по срокам, когда может быть доступна такая лёгкая локальная версия.
Версия LLaMA.cpp b9698 позволяет включать самоподписку только при сборке с помощью llama-install.sh. В этом выпуске представлены бинарники для macOS, Linux, Android, Windows и openEuler на разных архитектурах и вариантах ускорения, включая Vulkan, CUDA, OpenVINO и SYCL.
llama.cpp version b9699 introduces support for MUL_MAT and OUT_PROD operations with Q1_0 precision via PR #24721. The release includes precompiled binaries for macOS, Linux, Android, Windows, and openEuler across multiple architectures and acceleration frameworks, including SYCL (FP32 and FP16), Vulkan, CUDA, ROCm, and OpenVINO.