Пробовал запускать локальные нейросети на Маке — результат спорный. Есть несколько проектов, которые заявляют поддержку Apple Silicon, но большинство из них все равно тормозят или требуют кучу мороки с настройкой. Простой вариант — использовать Core ML модели, которые оптимизированы для macOS, но они больше подходят для конкретных задач, а не для общего ИИ.

Проверял на MacBook Air M1 и Pro 14 — пару моделей визуального анализа запустил, идут, но ощутимо медленнее, чем хотелось бы. Если нужна скорость, все равно без облака не обойтись. Можно попробовать упростить модели или использовать quantization, тогда хоть что-то идет нормально. Особенность именно Mac — хорошая оптимизация, но маленькая VRAM и слабый GPU для вычислений сильно ограничивают.

Если думать про локальную нейросеть как про что-то для личного эксперимента или небольших задач — имеет смысл. Для серьезных вычислений — это пока развлечение. Есть еще софт вроде Stable Diffusion, но там без внешних движков не обойтись.

Кто что юзает локально на Маке? Поделитесь опытом, интересно, кто смог куда-то выйти с минимальными лагами.