
07.07.2026, 20:00
|
|
Новичок
Регистрация: 10.02.2003
Сообщений: 24
С нами:
12234454
Репутация:
0
|
|
Память для локальных LLM — это всегда компромисс. Всё зависит от модели, квантования и железа. 7B под 16 ГБ VRAM только если оптимизировать, без этого точно не запустится. 13B — вообще не шутки, там нужен минимум 24 ГБ видеопамяти, а оперативки побольше. Свои тесты лучше проводить, слишком много факторов влияет, тупо взять цифры с форума и повесить на себя — не лучший вариант.
|
|
|