DiffusionGemma имеет плохую прозрачность переменных из-за высокой степени прозрачности последовательности, но это может быть уменьшено за счёт интерпретируемого барьера токенов, снижая глубину последовательности до 1,1 раза глубины Gemma 4. Прозрачность алгоритмов в моделях диффузии является более сложной из-за динамических изменений токенов, хотя исследования случаев выявили новые явления, такие как нехронологическое мышление и мышление в промежуточном контексте. DiffusionGemma оказалась подобной по мониторируемости Gemma 4.
На сколько прозрачна DiffusionGemma?
Переведено с English → Русский