Пробовал разные варианты, чтобы запустить что-то с AI на слабом железе — много систем реально жрут память и проц, вообще не жизнь. По моим наблюдениям, модели вроде GPT-2 и облегчённые локальные (например, tiny-версии LLaMA или GPT-4all) отлично подходят для слабых компов — их можно запускать на ноуте с 8 ГБ ОЗУ без сильных тормозов. Главное — смотреть, чтобы модель была оптимизирована под CPU, а не требовала GPU-ускорение.

Если у вас есть хоть немного видеопамяти, стоит попробовать quantized варианты моделей — они весят меньше и идут быстрее. Чекал на практике: LM Studio с облегченными моделями не убивает систему, а ChatGPT в браузере — вообще без вопросов, если интернет нормальный, но это уже не локально.

Стоит смотреть на размер модели (чем меньше — тем лучше для слабого железа), и на то, насколько она умеет работать с низкими ресурсами (некоторые проекты специально оптимизированы под такие машины). Можно проверить текущие процессы через монитор ресурсов — если процессор и память под 100%, значит модель явно слишком тяжёлая.

В общем, если у кого есть свежие варианты лёгких AI, которыми реально удобно пользоваться дома без суперкомпа — делитесь опытом.