Пользователь успешно использовал модель MiMo-V2.5-GGUF для написания встроенного инструмента llama.cpp для выполнения кода на C++ и получения результатов. Реализация была выполнена с использованием opencode, где модель сгенерировала необходимый код на основе конкретных инструкций.
Автор отмечает, что большинство дообученных моделей, загруженных на Hugging Face, работают хуже своих базовых аналогов, что делает их бесполезными. Это распространение объясняется тем, что люди используют эти модели как форму профессиональной сертификации для получения высокооплачиваемых позиций в сфере ИИ.
Проект llama.cpp выпустил версию b9835, которая включает исправление функциональности остановки и пропуска рассуждений в режиме одной модели. Это обновление устраняет определенные проблемы в пользовательском интерфейсе для улучшения управления во время вывода модели.
Пользователь поделился скриптом на Bash, предназначенным для парсинга подробного вывода llama.cpp, предоставляющим четкую сводку требований к VRAM/RAM и метрик производительности во время выполнения. Этот инструмент решает проблему предсказания потребностей в памяти для различных квантизаций моделей путем группировки распределений буферов по функциям и бэкендам.
В этой статье сообщается об обновлении модели Ornith-1.0-35B, включающем нативную голову черновика MTP, привитую к корпусу IQ4_XS для самоспекулятивного декодирования в llama.cpp. Автор предоставляет комплексные метрики производительности, включая пропускную способность, время до первого токена (TTFT) и возможности работы с длинным контекстом на одном GPU RTX PRO 6000 Blackwell.
После недавнего повышения цен компания Apple добавила множество топовых моделей 14-дюймового MacBook Pro, оснащённых чипами M5 Pro и M5 Max, в свой магазин восстановленной техники.
Отчет The Wall Street Journal указывает на то, что китайские модели искусственного интеллекта достигли паритета с Claude от Anthropic в задачах кибербезопасности.
Пост на Reddit ставит под сомнение заявление Дарио Амодей о том, что модели с открытым исходным кодом уступают проприетарным системам, указывая на его непонимание технологии. Автор утверждает, что Амодей не осознаёт прозрачность и возможности современных моделей с открытыми весами.
Пользователь форума задаёт спекулятивный вопрос о том, приведёт ли обучение нейронных сетей или систем ИИ пониманию бинарного кода к значительному улучшению их общих возможностей, особенно в задачах программирования.
Пользователь предлагает концепцию веб-сайта, где люди обмениваются данными для обучения моделей ИИ, исключая необходимость денежных транзакций. Система работает на основе кредитной экономики, где пользователи получают стартовый набор кредитов и размещают задания за вознаграждение для конкретных потребностей в данных.
Ландшафт открытых ИИ-моделей становится все более разнообразным, уходя от доминирования нескольких китайских игроков к более широкому смешению организаций, включая суверенные ИИ-инициативы, Big Tech и продуктовые компании.
Проект llama.cpp выпустил версию b9833, в которой представлен выделенный парсер для модели MiniCPM5 наряду с различными исправлениями ошибок и рефакторингом. Это обновление включает поддержку парсинга вызовов инструментов, упрощение грамматики и исправленное поведение Jinja API для обеспечения совместимости со стандартами Jinja2.
Проект llama.cpp выпустил версию b9832, вводя новую опцию командной строки `--dump-prog` для движка шаблонов Jinja, чтобы помочь в отладке. Это обновление также включает предварительно собранные бинарные файлы для macOS, Linux, Android, Windows и openEuler для различных архитектур CPU и GPU.
Пользователь Reddit предлагает систему для создания по-настоящему открытых дистиллированных больших языковых моделей путём обёртывания существующих сервисов ИИ с командной строкой. Этот подход позволит собирать пользовательские входные и выходные данные из таких приложений, как помощники по написанию кода или чат-боты, формируя огромные наборы данных за счёт участия добровольцев.
DeepSpec — это полнофункциональная кодовая база, выпущенная deepseek-ai для обучения и оценки моделей-черновиков, используемых в спекулятивном декодировании. Проект предоставляет утилиты подготовки данных, реализацию кода и скрипты оценки для содействия разработке этих вспомогательных моделей.
Выпуск llama.cpp b9831 вводит поддержку DFlash v2, включая скользящее окно внимания для типов слоёв, а также обширный набор предварительно собранных бинарных файлов для нескольких платформ.
Поддержка формата DFlash была объединена с репозиторием llama.cpp. Это обновление позволяет пользователям использовать файлы DFlash в рамках фреймворка.
Пользователь демонстрирует запуск модели Step-3.7-Flash от StepFun на 198B параметров на потребительской конфигурации из 4×RTX 3090, выявляя критические компромиссы производительности между уровнями квантования и многозадачным предсказанием (MTP) с возможностями работы с изображениями.
Пользователь Reddit выражает обеспокоенность по поводу возможной потери доступа к открытым весам на оборудовании с памятью 96–128 ГБ и задаётся вопросом, реализуема ли крупная языковая модель, разрабатываемая сообществом.
Пользователь Reddit спрашивает, стоит ли ему продать половину своей оперативной памяти DDR5 6400 ECC объемом 768 ГБ, чтобы приобрести видеокарты RTX 6000 Pro, ссылаясь на текущие цены на RAM.