Показать сообщение отдельно

  #3  
Старый 07.07.2026, 20:00
direktor_pljazha
Новичок
Регистрация: 10.02.2003
Сообщений: 24
С нами: 12234454

Репутация: 0
По умолчанию

Память для локальных LLM — это всегда компромисс. Всё зависит от модели, квантования и железа. 7B под 16 ГБ VRAM только если оптимизировать, без этого точно не запустится. 13B — вообще не шутки, там нужен минимум 24 ГБ видеопамяти, а оперативки побольше. Свои тесты лучше проводить, слишком много факторов влияет, тупо взять цифры с форума и повесить на себя — не лучший вариант.
 
Ответить с цитированием