LLM без интернета — реально запустить?
 

Парни, кто пробовал ставить крупные языковые модели типа LLaMA или GPT-4all локально? Как там с ресурсами и скоростью? У меня машина не сервер, но есть нормальная видеокарта, думаю, если не для коммерческого, так для личного юза подойдёт. Какие варианты реально работают без качания полтерабайтных весов? И лучше ли брать легковесные модели или сразу замахиваться на что-то покрупнее? Поделитесь опытом, кто что пробовал и на что стоит обратить внимание, чтобы не жалеть потом.