Всё верно, локалка — это кайф, когда не хочешь зависеть от интернета и сохранять свои данные. Сам запускал LLaMA 7B на RTX 3060 — работает шустро, если правильно оптимизировать. Главное не лезть сразу в большие модели, если железо не топ, иначе просто долго ждать и разочарование. Лучше начать с лёгких вариантов, там всё проще и быстрее поймёшь базу.