Малый эксперимент показывает, что нативные бинарные модели векторов обеспечивают лучшую рекомендацию по сравнению с пост-последовательной бинаризацией моделей с плавающей точкой. На SciFact Recall@10 нативные бинарные модели (2048-мерные и 4096-мерные) превосходят пост-последовательные бинарные модели на 17% и 25% соответственно, с существенными преимуществами по скорости и памяти при индексировании.
Система Buddy использует монитор нестабильности на языке Rust для обнаружения неопределенности на уровне каждого токена при локальной инференции Gemma 3 4B, направляя только неопределенные токены в Sonnet через NER-ограниченную извлечение спанов и семантическое извлечение. Результаты тестирования показывают, что она достигает точности 71,4% при стоимости $0,21, превосходя паттерн Anthropic Advisor (62,9% при стоимости $0,44) на семи наборах данных Hugging Face, с ключевым улучшением на SQuAD v2 за счет направления фрагментов исходного текста в облачную модель.
Mateusz разработал полностью предобученную модель языка Project Inkblot's Titan v1, объединяющую Mamba SSM, Multi-Head Attention и 32-экспертную MoE в одной архитектуре декодера-только, с менее чем 1 миллиард параметров. Модель, обученная на одном GPU NVIDIA L4 за ~$50, достигает значения перпексивности 27.5 на валидационной выборке и демонстрирует эффективное масштабирование при изменении одной строки конфигурации, при этом все компоненты реализованы с нуля на PyTorch. Первый цикл обучения Titan v2 теперь завершён, и происходит расширение датасета.
LLM не просто халлюцинируют; они усиливают эпистемическую уверенность человека, превращая слабые гипотезы в согласованные, хорошо оформленные утверждения до того, как доказательства будут подтверждены. Это создает риск преждевременной уверенности в исследованиях, политике и других областях, не потому что модели лгут, а потому что они ускоряют склонность человека к выбору элегантных объяснений вместо неопределенности.
Джейсон Ван Фам выпустил Niodoo, локальный рантайм, предназначенный для управления замороженными большими языковыми моделями через их скрытые состояния. Проект направлен на исправление ошибок последнего шага путем внедрения шума или «физических сил» во время вывода данных, чтобы разорвать циклы токенов. Этот подход позволяет меньшим моделям улучшать производительность без тонкой настройки, ориентирован на конкретные случаи сбоев, такие как бенчмарк Llama strawberry prompt. Система генерирует собственные теги телеметрии и использует анализ TDA для мониторинга внутренних состояний модели на предмет циклического поведения. Ван Фам разработал этот инструмент органически в ходе месяцев самостоятельных исследований и тестирования на проникновение (red-teaming), делая акцент на воспроизводимых результатах с зафиксированными хешами. Код доступен на GitHub в репозитории Ruffian-L/niodoo-hidden-state-steering.
Пользователь ищет рекомендации по оптимальной стратегии форматирования промптов для обучения модели Phi-3.5-mini-instruct с использованием Unsloth. Запрос сравнивает сохранение пользовательского текстового формата с использованием стандартного шаблона чата при подготовке датасета. Текущая реализация использует функцию, которая структурирует данные в разделы '### Input:' и '### Output:', добавляя токен конца текста. Этот подход обрабатывает поля ввода и вывода в формате JSON, полученные из объекта Hugging Face Dataset. Приведенный пример демонстрирует сложную структуру, включающую финансовые инсайты, названия мерчантов, даты и суммы транзакций. Пользователь планирует развернуть обученную модель через пользовательский API и просит совета: следует ли сохранить этот формат или перейти на шаблон чата.
Пользователь на форуме обсуждений Hugging Face сообщил, что модель Step 3.7 Flash от StepFun AI потеряла возможность использовать инструменты, включая серверы MCP, начиная с утра момента публикации сообщения. Автор выразил обеспокоенность тем, является ли этот сбой временным или постоянным, отметив свою сильную предпочтительность к данной конкретной модели из-за её высокой производительности и низких затрат ресурсов по сравнению с конкурентами. Несмотря на высокую оценку качества и доступности модели, пользователь подчеркнул немедленные проблемы, вызванные невозможностью выполнения функций, основанных на использовании инструментов. Сообщение призывает сообщество поделиться опытом решения подобных проблем и предложить возможные пути устранения неполадки. Этот инцидент подчеркивает критическую зависимость пользователей от доступности инструментов при использовании данной конкретной конфигурации ИИ.
Автор представляет «онтологическую инверсию» — технику, предназначенную для расширения однонаправленной природы вывода больших языковых моделей. Этот метод позволяет моделям улавливать тонкие, многогранные концепции, такие как воспоминания, вызывающие одновременно печаль и радость. Подход был разработан путем применения коэффициента отрицательного градиента при проходах в архитектуре управления Niodoo. Он решает распространенное ограничение, при котором LLM переобучаются на единственные эмоциональные метки при запросе личных воспоминаний. Инвертируя концепции аналогично инволюции в физике, техника позволяет моделям менять эмоциональные состояния, например, превращать печальные воспоминания в радостные. Работа опубликована в репозитории GitHub под названием 'ontological-inversion' пользователем Ruffian-L.
Пользователь сообщил об ошибке в библиотеке text-embeddings-inference от Hugging Face, затрагивающей модели Qwen3 и Gemma3. Проблема возникает при выполнении инференса на процессорах с одновременными запросами, что приводит к значительному снижению точности. В частности, бэкенд Candle неправильно пропускает маски внимания для батчей, в которых все входные последовательности имеют одинаковую длину. Этот дефект ставит под угрозу надежность генерируемых эмбеддингов при таких условиях. Для решения проблемы автор подготовил pull request с исправлением, которое было тщательно протестировано на его локальных машинах. Ошибка подчеркивает потенциальные риски стабильности сервисов встраивания на основе CPU, обрабатывающих батчированные входные данные.
Aiden — это физическое устройство ИИ-агента, которое контролирует экран телефона через HDMI и управляет им через USB HID, позволяя автоматизировать приложения без jailbreak или установленного программного обеспечения. Оно поддерживает использование собственных моделей LLM, работает без необходимости в backend-инфраструктуре или сборе данных, и выпущено под лицензией AGPL как открытая разработка платформы.
200-строчный тьюториал на Go демонстрирует создание лёгкого сервера протокола контекста модели, используя параллелизм и простоту языка Go. Сервер позволяет ИИ-агентам, таким как Claude, получать структурированные данные и приложения на Go, что потенциально делает их в 10 раз более полезными.
Пользователь ищет лёгкую модель LLM, предназначенную для Unity 6.5 с MCP, работающую в пределах 12 ГБ VRAM. В настоящее время он использует бесплатные версии Cursor и Claude, однако считает их недостаточными, и спрашивает, существуют ли специализированные модели или альтернативные решения.
Пользователь сообщает, что настройка wav2vec2-base или wavlm-base-plus для классификации аудио на 3 класса достигает лишь 33% точности, что соответствует уровню случайности. Модель обучалась с обновлением только заголовка классификации, с использованием заполненных кусков длительностью 1,0 секунды без масок внимания, и с коэффициентом обучения 1e-3, что приводит к плохим результатам, несмотря на несбалансированность классов и короткие входные куски.
Страница Hugging Face для модели Llama 3.1 405B перечисляет Featherless AI как поставщика, но тестовый веб-компонент показывает 'Не удалось получить данные' и на сайте featherless.ai модель не указана как доступная. Аналогичная проблема отмечена для модели Baidu ERNIE-4.5-300B.
Пользователи могут получить доступ к модели Llama 3.1 70B через тестер Hugging Face, однако при использовании сторонних приложений или curl появляется ошибка "Модель не поддерживается поставщиком". Модель в настоящее время доступна только через интерфейс Hugging Face и не предоставляется через публичные API-конечные точки.
Пользователи сообщают, что токены Spaces больше не функционируют после недавнего обновления. Файлы, генерируемые пользователем, больше не сохраняются, что нарушает рабочий процесс и выполнение модели.
Али, независимый исследователь 16 лет, разработал PsiLogic — активный оптимизатор с учетом хаоса, основанный на Adam. При оценке против AdamW и Lion с использованием FairBench на NVIDIA H100, PsiLogic достиг лучших показателей валидации на трёх из четырёх задач и статистически равен по четвёртой, хотя и имеет избыточное время шага. Автор просит поддержку для подачи в arXiv под разделом cs.LG, предоставив репозиторий на GitHub и код подтверждения 4ACC37.
После недавнего обновления Hugging Face токены Spaces перестали работать, что привело к ошибкам 404 при попытке сохранить сгенерированные файлы. Процесс успешно завершается до 100%, но на этапе сохранения возникают ошибки токенов, что приводит к расходу кредитов ZeroGPU без создания сохранённых результатов.
Разговор охватывает теоретические темы ИИ, имеющие математические основания и возможность реализации в современных ИИ-системах, таких как большие языковые модели. Темы включают цепочки рассуждений, графы знаний и вероятностное рассуждение, все из которых основаны на формальной математике и демонстрируют потенциал для реальных применений в ИИ.
Пользователь сообщает, что его аккаунт Hugging Face, AntixStudioDesign, был неожиданно заблокирован во время экспериментов с инструментами ИИ. Он обратился в команду безопасности по электронной почте и ищет советы по восстановлению аккаунта, срокам ответа и вариантам сохранения данных.