Пользователь делится опытом решения проблем с версионированием набора инструментов CUDA на Ubuntu для включения вычислительных возможностей для новых GPU, таких как архитектура Blackwell и RTX 5060 Ti. В посте отмечается, что репозиторий apt по умолчанию предоставляет устаревшие версии CUDA, что требует ручной установки пакета Debian с сайта NVIDIA.

  • Система была обновлена с CUDA 12.0 до версии 13.3 для поддержки нового оборудования.
  • Пользователям необходимо указать правильный путь при пересборке llama.cpp после установки нового набора инструментов.
  • Для вычислительных задач, а не игр, рекомендуются драйверы с открытым исходным кодом вместо проприетарных.
  • Несколько GPU разных поколений можно использовать вместе, хотя они могут работать на более низких вычислительных возможностях, если не настроены должным образом.

Установка последнего набора инструментов CUDA с официального сайта NVIDIA позволяет пользователям использовать полную вычислительную мощность современных видеокарт с инструментами локального вывода LLM.