Кто уже пробовал запускать большие языковые модели на своем железе, тот понимает, что с памятью не всё просто. Тут важно отделять параметры модели и VRAM/оперативку для работы. Например, маленькие модельки в 7–13 млрд параметров обычно требуют от 8 до 16 Гб ОЗУ, но если копать глубже — многое зависит от типа оптимизации и формата хранения весов.
Знаешь, с памятью для LLM всё не так просто, как кажется. Да, вроде бы пишут, что для моделей до 13 млрд параметров хватает 8–16 ГБ, но на практике многое зависит от того, как именно веса упакованы и какие оптимизации применены. Иногда можно запихнуть модель в меньше, иногда — потребуется заметно больше. В общем, ориентироваться только на цифры из описаний — штука рискованная.