Ребят, кто уже пробовал запускать большие языковые модели локально, расскажите, сколько оперативки реально надо? Я глядел на официальные требования — там иногда по 20-30 ГБ указывают, а у меня всего 16. Единственное, что смог — это модели с 7-8 гигабайтами, но там уже заметно урезанная функциональность.

От чего зависит аппетит LLM по памяти? Похоже, что не только размер модели, но и сам формат веса имеет значение. Float16, int8 — вроде сокращают, но какую стабильность это даёт? На практике я проверял — с int8 можно сэкономить, но иногда падает точность, и модель шумит.

Проверял через htop — во время прогрева памяти жрет довольно много, потом стабилизируется, но если запускать сразу несколько сессий — тут уже 32 ГБ — минимум.

По поводу накопителя — SSD советуют, чтобы подгружать части модели быстро, иначе на HDD тормоза будут.

Короче, кто что реально юзает для локальной LLM на нормальном уровне без облака? Какие ошибки с памятью встречались, и как вы их решали? Примерные требования для моделей размером в 7-13 млрд параметров интересуют особенно. Если кто адаптировал модели, поделитесь лайфхаками по оптимизации.