Все статьи
github llama.cpp · 11 ч назад

Выпуск llama.cpp b9829: сокращение логов и мультиплатформенные бинарники

Проект llama.cpp выпустил версию b9829, которая включает сокращение вывода логов в сервере, общих компонентах и модулях спекулятивного декодирования. Это обновление также стандартизирует соглашения об именах, заменяя CMN_ на COM_.

media r/LocalLLaMA · 12 ч назад

Реверс-инжиниринг DeepSeek Chat для совместимого с OpenAI API

Разработчик создал локальный прокси, который через реверс-инжиниринг бесплатного веб-чата DeepSeek для потребителей открывает конечную точку API, совместимую с OpenAI, по адресу localhost:8000/v1. Этот инструмент позволяет существующим клиентам, совместимым с OpenAI, таким как Open WebUI и различные SDK, взаимодействовать с моделями V4 и R1 от DeepSeek без изменений в коде или использования ключей API.

media r/LocalLLaMA · 12 ч назад

Qwen3-VL-2B отлично справляется с извлечением JSON на маломощном оборудовании

Пользователь сообщает, что Qwen3-VL-2B — единственная жизнеспособная модель для визуального и языкового анализа, способная надёжно извлекать данные из изображений в формат JSON на устройствах с низкой спецификацией, таких как ноутбуки Intel i3 с 8 ГБ ОЗУ. Автор отмечает, что, несмотря на её производительность, модель отсутствует в основных бенчмарках, таких как Artificial Analysis и Open LLM Leaderboard.

media r/LocalLLaMA · 14 ч назад

Clark Labs выпустила модель генерации изображений по тексту Sana 1.6B с тернарным квантованием

Clark Labs выпустила сжатую версию трансформатора для генерации изображений по тексту Sana 1.6B, квантованного до тернарных весов примерно по 1,85 бита на вес. Это сжатие приводит к тому, что модель в 8,6 раза меньше стандартной версии FP16, сохраняя качество, близкое к FP16.

media Hugging Face Forums · 14 ч назад

Пользователь ищет соавторов для нового проекта ML-датасета по судоку

Пользователь на форумах Hugging Face ищет соавторов для создания проекта в области машинного обучения и глубокого обучения, ориентированного на судоку. Автор начал создавать базу данных с нуля и стремится создать независимую организацию для этой цели.

media r/LocalLLaMA · 15 ч назад

Слепой визуальный парадигм для проверки переноса навыков в малых моделях без дообучения

Автор предлагает кросс-доменный слепой визуальный эксперимент, чтобы определить, может ли большая языковая модель сжать свое процедурное планирование в переиспользуемый каркас, который улучшает вывод малой модели без дообучения. Используя Three.js в качестве тестовой среды, исследование направлено на доказательство того, что этот перенос навыков является подлинным, а не просто переобучением на исходном домене.

media r/LocalLLaMA · 15 ч назад

Пользователь собирает локальную установку для LLM на максимуме с RTX Pro 5000 и Ryzen 9950X3D

Пользователь Reddit делится завершением высококлассной локальной рабочей станции для ИИ, оснащённой GPU NVIDIA RTX Pro 5000, CPU AMD Ryzen 9 9950X3D, 192 ГБ ОЗУ и 80 ГБ видеопамяти. Сборка была завершена после того, как заявка пользователя на участие в программе NVIDIA Inception была отклонена, а цены на RTX Pro 6000 превысили его бюджет.

media r/LocalLLaMA · 15 ч назад

Проверено, какая модель лучше всего отправляет HTML-письма

Недавно пользователь развернул инструмент Mailcue, включающий MCP-сервер для управления электронной почтой, и протестировал три конкретные модели, чтобы определить, какая из них генерирует наиболее визуально привлекательные HTML-письма. Оценивались следующие модели: google/gemma-4-26b-a4b-qat, qwen/qwen3.6-35b-a3b и qwen/qwen3.6-27b.

media r/LocalLLaMA · 16 ч назад

Пост в Reddit: 10x Каиокен SSJ1 4-й класс, стоит ли того в 2026? Сможет ли он запустить Qwen3.6?

Пользователь Reddit разместил изображение с заголовком «10x Каиокен SSJ1 4-й класс, стоит ли того в 2026? Сможет ли он запустить Qwen3.6?» в сообществе r/LocalLLaMA. В посте приведена ссылка на оригинальное изображение и ссылка на раздел комментариев для дальнейшего обсуждения.

media r/LocalLLaMA · 16 ч назад

Слепая оценка 55 LLM: Смещение в пользу моделей одного семейства статистически значимо

Открытая оценка, включавшая 55 моделей от 11 семейств разработчиков, показала, что большие языковые модели демонстрируют статистически значимое смещение в пользу своих же моделей при слепой оценке друг друга. Среди 22 254 действительных суждений каждое семейство, имевшее достаточный объем данных, проявляло тенденцию оценивать своих представителей иначе, чем модели других семейств.

media r/LocalLLaMA · 16 ч назад

Полное удаление конфиденциальных данных из документов с помощью Qwen 3.6 27B и агента на базе Pi

Автор демонстрирует, что локальные модели, в частности Qwen 3.6 27B, способны выполнять сквозное удаление конфиденциальных данных из документов при оптимизации с использованием более высокого уровня квантования и агентного интерфейса на основе фреймворка PI.

media r/LocalLLaMA · 16 ч назад

claude_converter: Преобразование сессий Claude Code в данные для тонкой настройки

Автор разработал `claude_converter`, инструмент, который преобразует локальные `.jsonl` файлы сессий Claude Code в форматы, совместимые с фреймворками для тонкой настройки, такими как TRL, Axolotl и LLaMA-Factory.

media r/LocalLLaMA · 16 ч назад

Станут ли китайские модели с открытым исходным кодом единственным вариантом в ближайшее время?

Пользователь Reddit утверждает, что американские технологические компании стремятся к полному глобальному контролю над ИИ и рассматривают выпуск продвинутых моделей как угрозу своему доминированию.

media r/LocalLLaMA · 16 ч назад

Model Registry: Торренты для открытых моделей с использованием Hugging Face в качестве резервного веб-сидa.

Создан новый репозиторий и сайт под названием Model Registry для публикации и распространения .torrent файлов популярных открытых моделей, используя Hugging Face в качестве резервного веб-сидa. Проект включает скрипты для автоматизации процесса и бэкенд-сервис, который перенаправляет BitTorrent-клиенты на правильный эндпоинт Hugging Face.

media r/LocalLLaMA · 17 ч назад

Домашняя лаборатория: 4 модифицированные RTX 4090 для локального вывода LLM

Пользователь описывает высокопроизводительную конфигурацию для локального вывода, использующую четыре модифицированных GPU NVIDIA RTX 4090 с 192 ГБ VRAM, в паре с материнской платой WRX90E-SAGE SE и блоком питания на 3000 Вт.

media r/LocalLLaMA · 17 ч назад

Могли бы ИИ-апскейлеры для игр получить выгоду от легких игровых адаптеров?

Пользователь Reddit предлагает, чтобы технологии ИИ-масштабирования, такие как DLSS и FSR, могли использовать легкие специфичные для игры адаптерные слои для улучшения производительности на маломощном оборудовании.