Самая большая модель для дистилляции при VRAM до 64 ГБ

Пользователь Reddit ищет рекомендации по самой большой модели с возможностями рассуждений, которая помещается в лимит 64 ГБ VRAM для целей дистилляции знаний.

• У пользователя две видеокарты R9700, обеспечивающие суммарно 64 ГБ VRAM.
• Они готовы принять более низкую скорость инференса, например, 12 токенов в секунду.
• Модель с 72 миллиардами параметров определена как подходящая под их аппаратные ограничения.