Nokia Applied Research выпустила AnyJev, проект, который позволяет пользователям извлекать достоверные решения непосредственно из внутреннего состояния LLM за один прямой проход.
Исследователи представляют TokenProbe, фреймворк, который решает проблему высокого потребления токенов при цепочке рассуждений (Chain-of-Thought) за счет использования неравноценности токенов внутри последовательности. Метод использует нормализованную логарифмическую вероятность для различения ключевых структурных токенов и избыточного «мусора», что позволяет осуществлять выборочное сжатие.
Исследователь-фрилансер Мохамед Менаси опубликовал GlucoEdge — инженерное исследование, подробно описывающее конвейер машинного обучения для выполнения задач непосредственно на устройстве. Система предназначена для прогнозирования тренда уровня глюкозы по пяти классам с шагом 15 минут на основе данных непрерывного мониторинга глюкозы. В работе представлена компактная 1D CNN, содержащая всего 2909 параметров, и охвачен полный рабочий процесс от PyTorch до конвертации в LiteRT.
Независимый исследователь опубликовал обзор литературы, анализирующий, снижают ли методы сжатия моделей, такие как квантование, прунинг и дистилляция, фактически измеряемое энергопотребление или лишь уменьшают количество FLOPs.
Multiverse Computing представляет Quantization-Aware Healing (QAH), метод, который дистиллирует сжатые, квантованные большие языковые модели непосредственно из их исходных учителей до сжатия. Применённый к модели GPT-OSS 120B, сжатой до 60B параметров и квантованной до MXFP4, подход даёт модель, которая превосходит свою собственную полнопрецизионную версию bfloat16 в 7 из 9 бенчмарков.
Исследователи предлагают Reduced Matrix Multiplication (RMM), метод вывода без обучения, адаптируемый к входу, который уменьшает произведения матриц в трансформерах за счёт выбора информативных срезов вдоль размерностей свёртки без изменения весов модели. При простом управлении коэффициентом сохранения RMM обеспечивает плавный и предсказуемый компромисс между точностью и эффективностью для языковых моделей от 1B до 70B параметров.
Мы используем cookie для аналитики и улучшения сайта. Вы можете принять или отклонить аналитические cookie. Политика конфиденциальности