Нейросети на MacBook — реально ли запускать без интернета?
 

Погонял пару локальных моделей на MacBook, решил поделиться впечатлениями. У меня MacBook на M1, и если коротко — совсем уж «под ключ» не работает ни одна из популярных локальных нейросетей, которые без проблем запускаются на Windows или Linux. Самое удобное пока — пользоваться легкими вариантами типа GPT4All или дебютными версиями Llama.cpp, но они сильно урезаны по функционалу и мощности.

Плюсы запуска на Mac в оффлайне — полная конфиденциальность и независимость от серверов, что круто для параноиков и для тех, кто в поездках без нормального интернета. Но минусы — модели ограничены по размеру, жрут много памяти и процессора, а установка нередко требует танцев с бубном — скомпилировать нужные зависимости, разобраться с оптимизацией под ARM (M1/М2), плюс не все интерфейсы дружат с macOS.

Если нужна простая штука для генерации текста или кода — можно потыкать MacGPT или локальные версии на Python (Ada и т.д.). Для задач типа обработки изображения или более требовательных моделей — лучше пока отдать предпочтение облаку, если есть возможность.