Исследователи предлагают GRINQH, фреймворк постобучающего квантования только весов, который ускоряет декодирование больших языковых моделей за счёт объединения квантования и разреженности. Метод динамически назначает каналы весов разным уровням точности на основе величин активаций, решая проблему ограниченности памяти на этапе декодирования.
Пользователь Reddit спрашивает о вариантах использования старого сервера IBM System X V4, оснащённого двумя процессорами Xeon E5-2640 и 192 ГБ ОЗУ DDR3 ECC для больших языковых моделей.
Пользователь на r/LocalLLaMA спрашивает, как сократить примерно 10-секундное время обработки системного промпта длиной в 7.1k токенов для каждой новой сессии при использовании Ornith 35b с llama.cpp.
Пользователь Reddit предлагает возможность обучения больших языковых моделей распознаванию конкретного секретного предложения, которое активирует вредоносное поведение, что вызывает опасения относительно рисков безопасности как для закрытых, так и для моделей с открытым исходным кодом.
Пост в сообществе r/LocalLLaMA на Reddit обсуждает изображение, предполагающее, что официальный запуск Deepseek V4 состоится в середине июля и будет сопровождаться изменениями в структуре ценообразования API.
Форк llama.cpp внедряет флаг --skip-layers, который позволяет пользователям пропускать целые блоки трансформера на этапе загрузки, предлагая альтернативу или дополнение к квантованию для размещения моделей в условиях ограниченного оборудования.
Пользователь Reddit ищет советы о наиболее эффективном методе тестирования производительности моделей на различных уровнях квантования перед покупкой нового оборудования.
Выпуск llama.cpp b9840 вводит поддержку конвертации для модели DeepSeek V4, включая специальную обработку варианта Pro. Это обновление интегрирует новую архитектуру в библиотеку наряду с различными внутренними оптимизациями и исправлениями ошибок.
В данном исследовании представлена LoadKAN, новая гибридная архитектура, сочетающая механизм временного внимания с изоляцией признаков и сеть Колмогорова-Арнольда (KAN) для решения проблемы недостаточной интерпретируемости в прогнозировании нагрузки на электроэнергию на основе глубокого обучения.
В статье представлен STAITUS — унифицированная система для обучения без учителя при отслеживании объектов на видео, которая устраняет ограничения существующих слотовых представлений за счёт явного разделения внешнего вида и геометрической позы. Применяя временное выравнивание только в пространстве признаков (appearance space) и обеспечивая пространственное разделение внутри кадров, метод предотвращает «застревание» слотов на статичном фоне при движении.
В данном исследовании применяются разреженные автоэнкодеры к MolFormer для механистического изучения того, как строятся представления молекул на разных слоях, что ставит под сомнение предположение о том, что химические языковые модели изучают только поверхностный синтаксис.
В данной работе представлена SkyJEPA — модель в стиле JEPA, разработанная для управления квадрокоптерами в реальном времени и решающая проблемы усиления ошибок, присущие авторегрессионному долгосрочному прогнозированию. Подход объединяет модель латентной динамики с физически мотивированным пробером для отображения замороженных латентных переменных в интерпретируемые состояния, что обеспечивает предсказания, основанные на физических принципах.
Авторы представляют метод Свёрнутых эффективных операторов (Collapsed Effective Operators), который сжимает степени свободы высшего порядка в единый вершинный оператор с помощью дополнения Шура градуированного лапласиана. Этот подход даёт плотный оператор, кодирующий дальнодействующие взаимодействия, опосредованные топологией, и применим к произвольным конструкциям высшего порядка.
Электронное письмо, отправленное от DeepSeek, указывает на то, что официальная версия DeepSeek V4 запланирована к выпуску в середине июля. Эта информация была распространена через переведенное изображение, изначально доступное только для пользователей из Китая.
Пользователь сообщает о значительном падении скорости инференса при переключении с GPT-OSS 20B Q4 на Gemma 4 12B Q8 с использованием llama.cpp, при этом пропускная способность упала примерно с 70 токенов в секунду до 10 токенов в секунду. Проблема сохраняется даже при тестировании варианта модели Q5 и отключении функции мышления, что дало лишь незначительный прирост в два дополнительных токена в секунду.
Проект llama.cpp выпустил версию b9839, которая включает исправление для восстановления сканирования Tailwind в игнорируемых worktrees. Это обновление предоставляет предварительно собранные бинарные файлы для macOS, Linux, Android, Windows и openEuler для различных архитектур и бэкендов аппаратного ускорения.
Исследовательская группа OpenAI по экономике расширила свою «Рамочную модель перехода рабочих мест на базе ИИ» на Европейский Союз, используя таксономию ESCO и данные Евростата для анализа того, как возможности ИИ могут изменить рынки труда в государствах-членах.
В данной статье представлен фреймворк селективного прогнозирования, который позволяет моделям воздерживаться от высокорисковых предсказаний путем моделирования эмпирического перцентиля ошибок прогнозирования через метабучение. Используя инвариантные к масштабу статистики, полученные из недавних лагов, метод разделяет решения об отказе от прогноза и сами прогнозы, что обеспечивает перенос между гетерогенными временными рядами.
В данном исследовании проводится бенчмарк того, может ли GeoShapley, объяснитель на основе теории игр, восстанавливать пространственно изменяющиеся коэффициенты из моделей машинного обучения с использованием эмбеддингов кодировщиков локаций. Одиннадцать кодировщиков из фреймворка TorchSpatial были оценены на синтетическом процессе с известными коэффициентами в масштабах сетки, округа и глобальном.
В статье представлен диффеоморфное выравнивание времени (DiffTW), теоретическая основа для классификации временных рядов, которая учит отображения между вещественнозначными функциями, чтобы преодолеть ограничения дискретного сопоставления точек динамического выравнивания времени (DTW). DiffTW аппроксимирует диффеоморфные преобразования с помощью метода характеристик для решения линейных уравнений переноса, обеспечивая теоретически обоснованную меру несовпадения.