Выпуск llama.cpp b9827 вводит оптимизацию производительности для CUDA, добавляя быстрый путь cudaMemcpy2DAsync в функцию ggml_cuda_cpy. Это изменение ускоряет копирование с шагом одинакового типа и формы, где тензоры не являются полностью непрерывными, но каждый ряд является непрерывным, заменяя более медленные ядра поэлементного скалярного копирования.
Автор представляет BatonBot — приложение с открытым исходным кодом, ориентированное на локальное использование и предназначенное для упрощения рабочих процессов AI-агентов по написанию кода за счёт снижения потребности в постоянном контроле со стороны пользователя. Инструмент решает проблему неэффективности последовательного взаимодействия агентов, позволяя пользователям настраивать задачи и визуально отслеживать прогресс на доске в стиле Kanban.
Проект с открытым исходным кодом audio.cpp предоставляет нативный C++ фреймворк для инференса аудио-моделей, построенный на базе ggml; в настоящее время поддерживает 12 выпущенных семейств моделей, включая TTS, ASR и конвертацию голоса. Бенчмарки на Ubuntu/CUDA демонстрируют, что производительность синтеза речи (text-to-speech) в этом рантайме до 5 раз быстрее по сравнению с соответствующими эталонными реализациями на Python.
Брюс Шнайер обсуждает недавнее решение немецкого суда, которое возлагает на Google ответственность за ошибки в его ИИ-обзорах, утверждая, что ИИ-агентов следует рассматривать как агентов организации-разработчика.
JetSpec представляет метод спекулятивного декодирования под названием каузальное параллельное черновое построение дерева, который совместно оптимизирует стоимость и качество черновика для снижения задержки генерации LLM.
Пост на Reddit от пользователя /u/AtlanticHM в r/LocalLLaMA содержит изображение с заголовком «Правительство США будет индивидуально одобрять, кто получит GPT 5.6.».
Пользователь сообщает, что при версии драйвера 595.71.05 две карты RTX 3090 ранее могли снижать потребление до 13-15 Вт в простое, но одна карта теперь застряла на уровне 24-30 Вт при нулевой активности и выключенных вентиляторах.
Пользователь r/LocalLLaMA рассматривает возможность добавления второй GPU в свою систему для локального вывода LLM, но его останавливает резкий рост цен на карты AMD Radeon RX 7900 XTX и XT. Автор поста отмечает, что новые цены на RX 7900 XTX выросли до 1200€, подержанные экземпляры стоят около 900€, а бюджетная RX 7900 XT начинается от 700€.
Автор подробно описывает архитектуру библиотеки оркестрации, независимой от фреймворка (harness-agnostic), уделяя особое внимание управлению окружением агентов через различные абстракции рабочего пространства и времени выполнения. Система определяет четыре последовательных состояния — unprovisioned, provisioned, started и retired — для контроля жизненного цикла каждого экземпляра агента.
Пользователь Reddit задаётся вопросом об отсутствии модели Qwen 3.6 27B, дообученной с помощью GLM 5.2, отмечая, что обе модели имеют открытые веса, а GLM известен своими способностями к рассуждению. Автор поста предполагает, что отсутствие такого дообучения может быть связано с недавним выходом GLM 5.2 или общим отсутствием интереса сообщества к объединению этих конкретных моделей.
Проект llama.cpp выпустил версию b9825, которая включает исправление оператора шага Vulkan при обработке нулевых входных данных. Это обновление предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler для различных аппаратных бэкендов.
Проект llama.cpp опубликовал релиз b9826, включающий исправление неудачных случаев модульных тестов, связанных с функцией нормализации в SYCL. Это обновление предоставляет предварительно собранные двоичные файлы и фреймворки для нескольких платформ и аппаратных ускорителей.
В этой статье утверждается, что агенты ИИ часто выполняют действия на основе неполных инструкций, догадываясь о недостающей информации; эта проблема называется «сбоем подтверждения до выполнения». Предлагается структура с принудительным выполнением во время выполнения, требующая проверки известных и неизвестных данных перед любым действием.
Обновление crewAI версии 1.15.1 вводит новые функции для инициализации проектов и развертывания, а также содержит несколько исправлений ошибок и улучшений документации.
Проект llama.cpp опубликовал выпуск b9822, предоставляющий предварительно собранные бинарные файлы для macOS, iOS, Linux, Android и Windows. Это обновление включает исправление для опции --no-common в тесте chat-template и распределяет сборки по различным аппаратным архитектурам и ускорителям.
Проект llama.cpp выпустил версию b9823, предоставляя предварительно собранные бинарные файлы для платформ macOS, iOS, Linux, Android, Windows и openEuler. Ключевым изменением в этом выпуске является добавление сборки OpenVINO для Windows в конвейер проверки релизов.
Проект llama.cpp выпустил версию b9824, которая включает улучшения в бинарных файлах rpc-server и export-graph-ops. Инструмент `export-graph-ops` переименован для соответствия соглашениям об именах тестов, а `rpc-server` переименован в `ggml-rpc-server`, чтобы избежать конфликтов в системных каталогах.
Пользователь на форумах Hugging Face просит удалить аккаунт 'cerealpotatochipssea' за публикацию запрещённого контента. В сообщении утверждается, что аккаунт распространял материалы 18+, сцены жестокости и изображения нацистской тематики.
Обновление CrewAI 1.15.1a1 вводит новую телеметрию, требует явных определений проектов для CrewAI и улучшает рабочий процесс развертывания через CLI.
В релизе v0.24.0 обновлена непрерывная интеграция, чтобы увеличить таймаут запуска GSM8K для конфигураций MoE Refactor Qwen3 NVFP4.