ANTICHAT Forum
HOME FORUMS MEMBERS RECENT POSTS LOG IN  
Баннер 1   Баннер 2
НОВЫЕ ТОРГОВАЯ НОВОСТИ
loading...
Скрыть
Вернуться   ANTICHAT > ТЕХНОЛОГИИ И AI > Искусственный интеллект (AI)
   
Ответ
 
Опции темы Поиск в этой теме Опции просмотра

Память для локальной LLM – сколько реально надо?
  #1  
Старый 21.07.2026, 09:40
Внезапная
Новичок
Регистрация: 28.08.2004
Сообщений: 22
С нами: 11420822

Репутация: 0
По умолчанию Память для локальной LLM – сколько реально надо?

Кто уже пробовал запускать большие языковые модели на своем железе, тот понимает, что с памятью не всё просто. Тут важно отделять параметры модели и VRAM/оперативку для работы. Например, маленькие модельки в 7–13 млрд параметров обычно требуют от 8 до 16 Гб ОЗУ, но если копать глубже — многое зависит от типа оптимизации и формата хранения весов.
 
Ответить с цитированием

  #2  
Старый 07.08.2026, 13:00
Brajt
Новичок
Регистрация: 12.12.2013
Сообщений: 33
С нами: 6535766

Репутация: 0
По умолчанию

Знаешь, с памятью для LLM всё не так просто, как кажется. Да, вроде бы пишут, что для моделей до 13 млрд параметров хватает 8–16 ГБ, но на практике многое зависит от того, как именно веса упакованы и какие оптимизации применены. Иногда можно запихнуть модель в меньше, иногда — потребуется заметно больше. В общем, ориентироваться только на цифры из описаний — штука рискованная.
 
Ответить с цитированием
Ответ



Предыдущая тема Следующая тема

Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 


Быстрый переход




ANTICHAT ™ © 2001- Antichat Kft.