Я создал агентный каркас для малых моделей. Qwen 3.5 4b управляет серверами.

Автор разработал специализированный агентный каркас, предназначенный для устранения специфических сбоев малых локальных моделей, таких как неудачные вызовы инструментов и плохой трекинг состояния. Этот пользовательский фреймворк позволяет меньшим моделям, таким как Qwen 3.5 4b, эффективно управлять удаленными серверами.

• Каркас нацелен на распространенные проблемы, включая неудачные вызовы инструментов, плохую проверку переменных окружения и отсутствие механизмов восстановления.
• Он решает проблему остановки генерации у малых моделей и плохое разделение локальных и удаленных задач.
• Решение специально создано для семейств локальных моделей Qwen и Gemma.
• Демонстрация показывает, как Qwen 3.5 4b управляет удаленными серверами в среде каркаса.

Проект стремится обеспечить более стабильную основу для запуска агентов на меньших локально размещенных моделях за счет адаптации инфраструктуры к их специфическим ограничениям.