Пользователь сообщает о значительном падении скорости инференса при переключении с GPT-OSS 20B Q4 на Gemma 4 12B Q8 с использованием llama.cpp, при этом пропускная способность упала примерно с 70 токенов в секунду до 10 токенов в секунду. Проблема сохраняется даже при тестировании варианта модели Q5 и отключении функции мышления, что дало лишь незначительный прирост в два дополнительных токена в секунду.
Проект llama.cpp выпустил версию b9839, которая включает исправление для восстановления сканирования Tailwind в игнорируемых worktrees. Это обновление предоставляет предварительно собранные бинарные файлы для macOS, Linux, Android, Windows и openEuler для различных архитектур и бэкендов аппаратного ускорения.
Исследовательская группа OpenAI по экономике расширила свою «Рамочную модель перехода рабочих мест на базе ИИ» на Европейский Союз, используя таксономию ESCO и данные Евростата для анализа того, как возможности ИИ могут изменить рынки труда в государствах-членах.
В данной статье представлен фреймворк селективного прогнозирования, который позволяет моделям воздерживаться от высокорисковых предсказаний путем моделирования эмпирического перцентиля ошибок прогнозирования через метабучение. Используя инвариантные к масштабу статистики, полученные из недавних лагов, метод разделяет решения об отказе от прогноза и сами прогнозы, что обеспечивает перенос между гетерогенными временными рядами.
В данном исследовании проводится бенчмарк того, может ли GeoShapley, объяснитель на основе теории игр, восстанавливать пространственно изменяющиеся коэффициенты из моделей машинного обучения с использованием эмбеддингов кодировщиков локаций. Одиннадцать кодировщиков из фреймворка TorchSpatial были оценены на синтетическом процессе с известными коэффициентами в масштабах сетки, округа и глобальном.
В статье представлен диффеоморфное выравнивание времени (DiffTW), теоретическая основа для классификации временных рядов, которая учит отображения между вещественнозначными функциями, чтобы преодолеть ограничения дискретного сопоставления точек динамического выравнивания времени (DTW). DiffTW аппроксимирует диффеоморфные преобразования с помощью метода характеристик для решения линейных уравнений переноса, обеспечивая теоретически обоснованную меру несовпадения.
В данном исследовании установлены гарантии согласованности обучения признаков для широкого подкласса глубоких нейронных сетей, характеризующихся сублинейным ростом входных/выходных размерностей и количества скрытых нейронов относительно размера выборки. Авторы доказывают, что такие архитектуры обеспечивают универсальную аппроксимацию для иерархически композиционных функций, даже в рамках традиционного режима избыточной параметризации, где количество параметров превышает количество обучающих примеров.
TROPT представлен как первая открытая платформа, объединяющая оптимизацию текстовых триггеров путем стандартизации выполнения и разработки в едином интерфейсе. Она решает проблему фрагментации, позволяя пользователям настраивать сквозные рецепты оптимизации с помощью взаимозаменяемых моделей, целевых функций и оптимизаторов.
FLKit — это открытый, поддерживаемый сообществом инструмент онбординга, предназначенный для помощи междисциплинарным командам в прохождении жизненного цикла федеративного обучения в исследованиях в области здравоохранения и наук о жизни. Он предоставляет ориентированные на роли точки входа для клинических специалистов, юристов, экспертов по управлению и технических участников, устраняя практические барьеры, связанные с разрозненными фреймворками и обязательствами по управлению.
В статье представлен FairBED — фреймворк, который изменяет сам процесс сбора данных, чтобы получать изначально более справедливые данные, устраняя предвзятость, присутствующую в существующих наборах данных. Он предлагает новые формулировки для количественной оценки справедливости наборов данных на основе принципа, согласно которому справедливые наборы данных не должны содержать информации о чувствительных атрибутах.
Запрос на слияние, отправленный в репозиторий ggml-org/llama.cpp, позволяет локально запускать модель DeepSeek V4.
Исследователи представляют DMV-Bench, первый интерактивный бенчмарк, разработанный для оценки визуальной памяти мультимодальных агентов в контролируемых условиях. В исследовании предлагается DualMem — архитектура параллельной визуальной и вербальной памяти, которая значительно превосходит существующие системы на этом новом диагностическом инструменте.
В данной статье представлена Concordia, среда выполнения, предназначенная для обеспечения отказоустойчивости долгоживущих агентов LLM за счет сохранения ценного состояния на GPU без перезапуска стека обслуживания. Система использует постоянное ядро, residing на устройстве, которое перехватывает загрузку модулей GPU для поддержки инструментирования на уровне PTX и SASS.
Любительское сравнение на потребительском оборудовании показывает, что сильно квантованная GLM-5.2 (Q1_S) превосходит модель более высокого бита Qwen 3.6 27B (Q8) в сложной задаче программирования, несмотря на значительно более низкую скорость вывода.
Пользователь Reddit просит рекомендации по «ярким» и насыщенным функциями интерфейсам чата, конкретно сравнивая LibreChat и OpenWebUI, для технически подкованного, но не разбирающегося в ИИ друга.
Метод MiCA (Minor Component Adaptation) был объединен с основной веткой библиотеки Hugging Face PEFT, что позволяет пользователям устанавливать его непосредственно из исходного кода. Он доступен через существующий интерфейс LoRA путем установки `init_lora_weights="mica"`.
Пользователь Reddit сравнивает цены и характеристики GPU AMD Instinct MI210 64 ГБ и китайского DCU K100 64 ГБ, доступных на китайском рынке eBay. Обсуждение подчеркивает, что хотя обе карты предлагают схожую емкость памяти, они значительно различаются по цене, пропускной способности шины памяти и архитектурным особенностям.
Ручной эксперимент проверил, может ли процедурный каркас, сгенерированный большой моделью, передать дисциплину планирования меньшим моделям без дообучения или раскрытия целевого ответа. Результаты показывают, что этот подход значительно улучшает структурную читаемость и композицию в малых моделях при применении к различным доменам Three.js.
Это исследование исследует статистическое обучение и ментальные представления нейронных языковых моделей путем обучения генеративных трансформеров на синтетической грамматике и анализа их внутренних представлений на различных этапах.
В данной статье выявлен особый режим отказа в агентах на основе больших языковых моделей, при котором им трудно отказываться от устаревших фактов в пользу актуальных, даже когда понимание текста сохранено. Авторы показывают, что этот «разрыв суперпозиции» сохраняется при различных масштабах моделей и размерах памяти, что указывает на его природу как обучаемого узкого места, а не ограничения контекстного окна или мощности модели.