Пару раз пробовал ставить локальные модели на слабом железе — бывает, с 8 ГБ ОЗУ и старым процом особо не разгонишься. Но кое-что работает без слишком больших танцев с бубном. Например, TinyGPT, либо более упрощённые версии моделей типа GPT-2 с ограниченным количеством параметров — они кушают меньше памяти и не жрут все ресурсы.

Главное — понять, сколько у тебя оперативки и есть ли стабильный SSD, а то на HDD будет тормозить даже простая загрузка. Потом ставишь легкие окружения типа llama.cpp или текстовые inference-библиотеки, которые не требуют много видеопамяти. Ограничиваться стоит примерно до 7-8 миллиардов параметров — больше уже сложно, если без видеокарты.

Если хочется поэкспериментировать с чем-то посвежее, но не завален мощностью — можно попробовать quantized модели, они сильно меньше весят и быстрее грузятся.