Исследователи дообучили модели MedGemma 4B и 27B для задач онкологии с использованием Unsloth, завершив процесс на одном DGX Spark. Полученные модели OncoLLM, а также обучающий набор данных и подробный отчет, доступны публично.

  • Модель 4B была дообучена с использованием LoRA, в то время как модель 27B использовала QLoRA.
  • В техническом примечании отмечается, что версия Unsloth 2026.9.12 масштабирует адаптер 4B примерно на 0.5 вместо номинального отношения alpha/r равного 0.25.
  • Исходные модели и код приписаны Grujowmi (ANTOINE Pierre) на Hugging Face, а полный отчет размещен на Zenodo.