Нейросети на MacBook — что реально тянет ваш железо?
 

Кто пробовал запускать локальные нейросети на Mac? Интересно, что реально работает без тормозов и сколько ресурсов съедает. У меня MacBook Air на M1 — запускал всякие lightweight модели, типа tiny transformers или простые классификаторы на PyTorch через ONNX, ну и локальные версии GPT-2. Результат — не мгновенно, но вполне приемлемо для экспериментов, особенно если использовать запаковку через Core ML.

Попытки с более тяжёлыми моделями вроде GPT-3 или big vision transformer сразу упираются в память и серьёзный нагрев. На Air после пары минут начинает тротлить, а на Pro с M1 Pro/M2 Max будет плавнее, но тоже не без ограничений.

Да, на M1 Air реально можно поиграться с маленькими моделями, Core ML круто помогает. Большие модели — это уже не про этот аппарат, сильно греется и начинает тормозить быстро. Для простых экспериментов Air норм, а для серьёзных задач лучше смотреть в сторону Pro-серии.