Пробовал запускать всякие локальные LLM на слабом ПК (цпушка старенькая, оперативки 8 гб, видеокарты нет). Сразу отпадает классика типа GPT-4 или что-то из крупных моделей — кушают много памяти и требуют GPU с чипом тензорных ядер. Но что реально пробовал и работает:

- GPT4All-J (маленький вайфай-ресурс, весит пару сотен мегов, запуск в консоли без заиканий);
- tinygrad-версии всяких трансформеров, хотя время отклика 10+ секунд при генерации по одному сообщению;
- LLaMA в облегчённых вариантах, но обязательно с оптимизациями типа ggml или alpaca.cpp, иначе падает или же жрёт слишком много памяти.

Главное — проверять сразу требования модели и делать форк с оптимизациями для CPU, иначе загрузка съест все ресурсы и система будет виснуть. Если ставите что-то из PyTorch, лучше сразу искать сборки с поддержкой int8 или 4-bit квантования.

Очень круто, если есть хоть слабая видеокарта с OpenCL или Metal — там ускорение пойдет быстрее, чем чисто на ЦП, хоть и не как на топовом NVIDIA. Ещё пробовал Oobabooga UI с маленькими моделями — вполне юзабельно.

В общем, если ваш ПК — не ферма, не стоит гнаться за свежайшими LLM. Лучше брать старые и облегчённые версии или варианты с квантованием и запуском через c++ движки.

Кто что пользует на слабом железе? Есть интересные лайфхаки для облегчения?