Сам запускал LLaMA 7B на домашнем ПК с RTX 3060 — вполне комфортно работает, если не гнаться за большей моделью сразу. Лучше брать что-то поменьше, чтобы не сжечь нервы на ожидании и подтормаживании. Оптимизация памяти и использование FP16 сильно помогают. Для слабых конфигов проще начинать с облегчённых моделей, иначе просто бессмысленно мучаться.