Кто пробовал запускать локальные нейросети на Mac? Интересно, что реально работает без тормозов и сколько ресурсов съедает. У меня MacBook Air на M1 — запускал всякие lightweight модели, типа tiny transformers или простые классификаторы на PyTorch через ONNX, ну и локальные версии GPT-2. Результат — не мгновенно, но вполне приемлемо для экспериментов, особенно если использовать запаковку через Core ML.

Попытки с более тяжёлыми моделями вроде GPT-3 или big vision transformer сразу упираются в память и серьёзный нагрев. На Air после пары минут начинает тротлить, а на Pro с M1 Pro/M2 Max будет плавнее, но тоже не без ограничений.