新しい研究では、最も人気のあるファインチューニング手法であるLoRAの代替案を探り、他の手法がより少ない計算コストでより良いパフォーマンスを達成できるかどうかを評価しています。その結果、いくつかのアプローチは有望さを示していますが、多様なタスクやデータセットにおいてLoRAを一貫して上回る手法は見つかりませんでした。
ファインチューニングでLoRAに勝てますか?
翻訳元 English → 日本語
新しい研究では、最も人気のあるファインチューニング手法であるLoRAの代替案を探り、他の手法がより少ない計算コストでより良いパフォーマンスを達成できるかどうかを評価しています。その結果、いくつかのアプローチは有望さを示していますが、多様なタスクやデータセットにおいてLoRAを一貫して上回る手法は見つかりませんでした。