Разработчик сообщает об использовании GLM-5.3 Flash внутри компании для задач программной инженерии в крупной производственной среде с миллионами строк кода, заменив передовые модели.
Модель хорошо справляется с большими репозиториями, понимает существующую архитектуру и отслеживает код через несколько модулей для создания надежных реализаций при минимальном руководстве. Она демонстрирует сильные результаты в исследовании репозиториев, реализации функций и рефакторинге, предлагая впечатляющее соотношение скорости к качеству для рабочих нагрузок реальной программной инженерии.
Автор интересуется конкретными деталями конвейера обучения, такими как данные предварительного обучения, использование синтетических данных кодирования, дистилляция от более крупных моделей GLM и методы обучения с подкреплением.