media r/LocalLLaMA · 50 д назад · open_models

Стоимость в $1800 GPU позволяет запустить Qwen3.6-27B с контекстом в 262K и скоростью 55 ток/с

Переведено с English → Русский

Настройка, использующая четыре видеокарты 5060 Ti (итого $1800), обеспечивает скорость 55 токенов в секунду при использовании Qwen3.6-27B-FP8, поддерживая длину контекста 262K и кэш KV в формате bfloat16. Конфигурация использует P2P и FlashInfer, при этом результаты тестирования показывают пропускную способность 55,67 токенов на выход и процент принятия спекулятивного декодирования в 65,25%.

Важность 2/3 r/LocalLLaMA Alibaba (Qwen) Code generation Inference efficiency Reasoning models

Оригинал

Qwen3.6 35B-A3B генерирует авиасимулятор в одном промпте

Пользователь Reddit продемонстрировал, как Qwen3.6 35B-A3B генерирует полноценный расслабляющий авиасимулятор с горами, облаками и бесконечным процедурным ландшафом из одного промпта.

media r/LocalLLaMA · 37 д назад · 1 просмотр

Локальная производительность Qwen 27B на потребительском оборудовании

Пользователь сообщает, что Qwen 27B, квантованный до q6kxl и работающий с многозадачным предсказанием токенов на системе с GPU 4090 и 3090, достигает скорости декодирования 50-90 токенов/с и скорости предварительного заполнения 1500-2200 токенов/с. Модель надежно взаимодействует с различными API и генерирует функциональный код для одностраничных приложений, документов LaTeX, парсеров и краулеров.

arxiv arXiv cs.AI · 46 д назад

Оценка LLM для обнаружения уязвимостей в веб-приложениях

Исследование оценивает шесть LLM на обнаружение реальных уязвимостей в веб-приложениях в плагинах WordPress, выявляя, что показатели обнаружения варьируются в зависимости от модели и дизайна запроса. Claude Opus 4.6 достиг наивысшего показателя обнаружения — 63%, в то время как Qwen 3.5 достиг лишь 35%, и ни одна модель не стабильно идентифицировала все базовые уязвимости на всех итерациях.

arxiv arXiv cs.AI · 46 д назад · 1 просмотр

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нулевом режиме. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие недостатки включают утечку промпта, халлюцинации и слабое выполнение задач.

arxiv arXiv cs.CL · 47 д назад · 2 просмотра

Оценка бенчмарка малых языковых моделей для арабской NLP

Бенчмарк из 240 арабских тестовых заданий в восьми областях и десяти навыках оценивает двенадцать малых языковых моделей в нуля-шот условиях. Gemma 3 (12B) достигла наивысшей общей оценки (4,548/5), за ним следуют Aya и C4AI Command Arabic, производительность которых связана больше с арабской настройкой и выполнением инструкций, чем с размером модели. Общие неисправности включают утечку промпта, халлюцинации и слабое выполнение задач.