AbstractPhil выпустила Beatrix V3, языковую модель байтового уровня на 376 миллионов параметров, использующую «сплат-память» в каждом блоке внимания. Модель имеет словарь из 256 элементов и контекстное окно размером 4096 байт, обучена на 64,4 миллиардах байт на двух картах RTX 5090.

  • Архитектура достигает 0,9861 бита на байт на отложенном веб-тексте без скачков потерь.
  • Она включает съемные адаптеры с 13,7 миллионами параметров после каждого блока для обработки конкретных этапов обучения.
  • Модель демонстрирует сильные способности к кодированию текста, сопоставимые с производительностью T5 в ее средних блоках.
  • Сплат-память показывает ограничения в запоминании на больших расстояниях по сравнению с контрольными вариантами softmax, что побуждает к планам гибридного подхода.

Выпуск включает веса модели и техническую документацию, приглашая к обратной связи по архитектурным улучшениям, таким как механизмы гибридного внимания и модули забывания.