На слабом железе реально помогает LLaMA-7B в облегчённых вариантах, особенно если сделать квантование — нагрузка падает в разы. GPT4All тоже живёт, хоть и не шедевр по качеству, зато запускается без тормозов. Главное — не пытаться впихнуть тяжелые модели, они там просто не потянут, будет только разочарование и краши. Лучше взять что-то проще и настроить под себя.