Пытаюсь поднять что-то локальное типа GPT-4All или лёгкую версию LLaMA, но мой железо сильно ограничено: 8 гигов ОЗУ, слабая видеокарта и старенький процессор. Сразу скажу, что полноценно современные большие модели у меня не вставляют. Заметил, что многие сборки или платформы просто виснут или не запускаются — чаще всего из-за нехватки памяти или несовместимости с инференсом на CPU.

Лучше смотреть в сторону маленьких моделей — например, TinyGrad, GPT4All-J, Vicuna 7b (в урезанном варианте, если есть). Для запуска на слабых пк главное — минимизировать память, отключить лишние оптимизации (типа GPU, если он слабый или не поддерживается) и использовать модели с quantization (8bit или даже меньше). Реально при 8 ГБ и процессоре без хорошей поддержки AVX или других инструкций многое глупо пытаться запускать.