Кто пробовал запускать разные модели на слабом железе? Сам поэкспериментировал с парой локалок и заметил, что многие топовые штучки типа больших GPT просто не осилить без довольно мощной видюхи и много оперативки. Например, легковесные модели вроде GPT4All или кем-то доработанные quantized версии из LM Studio гораздо шустрее идут.

Еще слышал, что Claude или Gemini у себя запускают, но насколько они реально удобны на старте — большой вопрос, часто требуют много ресурсов и заморочек с настройкой. Ну и OpenAI API можно прибегнуть, чтобы не грузить местный комп, но это уже не локально и не бесплатно.

Если хочется именно со своим железом и без супер-компьютера, стоит искать более компактные варианты, которые реально умеют экономить память и хорошо оптимизированы под CPU, а не только под GPU. Есть еще вопрос, как влияет размер модели и количество слоев на скорость — маленькие версии обычно идут побыстрее.

Короче, кто чем юзает на слабом ПК? Какие конкретно модели проверены на практике? Кто что пробовал из LM Studio, Ollama или чего-то подобного? Интересно услышать живое мнение, а не обзор с форума.