Нейросети на MacBook без интернета — кто что смог запустить?
 

Привет! Заметил, что тема локальных нейросетей на MacBook постоянно всплывает, но реальных отзывов почти нет. Я тут пробовал запускать разные модели, чтобы обойтись без облака, и понял, что не всё так просто: либо жрёт кучу ресурсов, либо совсем непрактично. Например, запустил tiny-версию на M1 — работала, но толку почти нет, а что-то более серьёзное тупо не поднимается или тормозит жестко.

Кто чем пользовался? Какие модели реально запускаются локально и с приемлемой скоростью? Может, кто-то шарит, как правильно проверить, что можно без интернета, и поделится лайфхаками или настройками? Будет интересно обсудить, стоит ли вообще заморачиваться или лучше комбинировать облако с оффлайном.