Что реально пойдёт из нейросетей на старом компе?
 

Кто-нибудь пробовал запускать локальные нейросети на слабом железе? Пока что популярные большие модели типа GPT-4 или даже GPT-3 требуют ресурсов за пределами топового десктопа. Но можно найти варианты попроще, которые реально работают без трейдинговых видях и серверов.

Например, LLaMA 2 с уменьшенными весами — её легче держать на 8-16 ГБ ОЗУ, а с quantization можно попытаться и на 4 ГБ. Есть ещё разные форки вроде Falcon или Mistral, которые мало весят и быстро грузятся. На CPU пойдут только сильно урезанные модели, и ждать отклика нужно будет с минуту, а на более-менее современную графику — уже пару секунд.

Чтобы проверить, можно скачать модели с Hugging Face и запустить через популярные интерфейсы — например, GPT4All или LocalAI. Если комп тормозит, стоит смотреть на размеры моделей, количество слоёв и поддерживаемые оптимизации (int8, int4 и т.п.).

Важный момент — чем меньше модель, тем проще она в работе, но и понимание контекста оставляет желать лучшего. Для экспериментов с локальным AI на слабом ПК подойдёт что-то в районе 6-7 ГБ модели, если сильно оптимизировать и не ставить огромных чатботов. Ну и не забудьте про быструю память и SSD — без них нагрузка на систему вообще неадекватная.

Так что на практике локальный AI на старом ПК — вещь возможная, но с серьёзными ограничениями. Кто что пробовал — делитесь, интересно услышать конкретные рецепты и впечатления.

Пробовал на старом ноуте запустить маленькую модель — шло очень медленно, но в принципе запускалось. Главное, чтобы модель была реально облегчённая, иначе сразу тормоз и нервотрёпка. На глаз: меньше 7 ГБ лучше, иначе комп зависнет нафиг.