Нейросети на MacBook: что умеют реально запускать без тормозов
 

Пробовал запускать разные локальные нейросетки на MacBook — в основном на M1 и M2. Ожидал, что можно будет спокойно гонять даже модели посложнее, учитывая заявленную мощь Apple Silicon, но реальность чуть другая.

Во-первых, если речь про большие языковые модели, типа GPT-подобных, то без специализированной оптимизации и тяжелых фреймворков ничего путного не выйдет — либо виснут, либо грузят весь процессор. Простые варианты с tiny-версиями моделей на Python (tiny GPT, LLaMA mini) работают, но чтобы добиться адекватного отклика, лучше ставить минимальные веса и не пытаться грузить графику, потому что macOS пока не очень дружит с CUDA, и Metal не всегда помогает.

Во-вторых, для задач типа распознавания изображений или классификации — норм. Есть софт, например, Core ML runtime, который может использовать оптимизации под ARM, и вполне шустро запускает небольшие модели. В плане удобства лучше использовать инструменты от Apple — TensorFlow слегка спецыфичен, но если докрутить под Metal, становится приемлемо.

В-третьих, проверяйте, что у вас актуальная macOS и Xcode, плюс нормальный менеджер пакетов (brew или pip) с последними версиями нужных библиотек. Вроде бы мелочь, но без этого либо модели не запустятся, либо будут тормозить.

Если у вас старый MacBook с Intel, то запускать хоть какие-нибудь нейросети локально становится почти бессмысленно, кроме миниатюрных вариантов. Облачные сервисы в этом случае удобнее, хотя и не локально.

В общем, если нужно просто пробовать и не убиваться, стоит смотреть модели специально подготовленные под macOS (Core ML модели и т.п.), а если хочется что-то как у ребят на Windows с GPU, то Mac придется сильно оптимизировать или мириться с ограничениями.

Кто что юзает и какие модели на Mac у вас шустро идут?