Nvidia RTX 5090 работает на macOS с новым пользовательским драйвером от Tiny Corp

Apple и Nvidia прекратили свое сотрудничество много лет назад, оставив пользователей Mac без официальной поддержки GPU. Это событие фактически убило CUDA на платформе и заставило разработчиков и исследователей обратиться к Apple 'собственному фреймворку Metal. Однако новый драйвер с открытым исходным кодом от Tiny Corp наконец-то решил эту проблему, вернув оборудование Nvidia Blackwell в экосистему macOS.

Проект использует пользовательское расширение ядра под названием Tiny GPU. Оно позволяет внешним GPU, таким как RTX 5090, напрямую взаимодействовать с Apple Silicon Macs через Thunderbolt 5 или USB4. Это уже само по себе большой технический скачок, поскольку позволяет полностью избежать необходимости использования виртуальных машин. В демонстрации, проведенной Алексом Зискиндом, компьютер RTX 5090 с 32 Гб VRAM был успешно сопряжен с Mac Mini M4 Pro (цена. $1399 на Amazon за вариант 24 ГБ/512 ГБ, вот наш подробный обзор).

Хотя соединение стабильно, текущий стек программного обеспечения находится на ранней стадии. Драйвер полагается на компилятор Tiny Grad, а не на собственные оптимизации Metal или CUDA. Это создает недостаток производительности при выполнении тяжелых вычислительных задач. При работе с моделью Llama 3.1 8Bпроизводительность установки составила примерно 7,48 жетонов в секунду. Хотя это большой выигрыш в плане совместимости, он все равно медленнее, чем родной Llama CPP на Metal, говорит Алекс, который почти в десять раз быстрее на аналогичном оборудовании.

Несмотря на это, настоящая ценность этого проекта заключается в его потенциале для будущей оптимизации. В настоящее время узким местом является не кабель Thunderbolt 5, который эффективно справляется с передачей веса модели, а эффективность автогенерируемых ядер. При работе с простыми чат-интерфейсами установка Blackwell работает быстро, обеспечивая скорость "время-первый-токен" в три-четыре раза быстрее, чем родные решения Metal.

Процесс установки включает в себя утверждение системного расширения и запуск конвейера компилятора на базе Docker. Понятно, что это не замена (пока) оптимизированным рабочим процессам Metal, но, тем не менее, это первый функциональный вариант за последние годы.