Кто юзает AI на слабом железе — что реально работает?
 

Пробовал запускать разные AI-модели на старом ноуте и слабом десктопе, и понял, что не всё так просто. Вот что заметил: сначала смотрю на вес модели — чем легче, тем лучше. Потом — требования к оперативке и видеокарте. Часто топовые модели требуют GPU с нормальным объёмом памяти, иначе будут лаги или вообще не запустится. Иногда помогает уменьшенная или сжатая версия модели, типа quantized или distilled. Также важно, под какую платформу модель адаптирована — пытался запускать на CPU-only, но некоторые цепляют CUDA и без неё вообще встают. Посмотрел, что локальный запуск часто ограничен, и проще использовать облачные API, если железо совсем слабое. Есть идеи, на что обращать внимание при выборе под слабое железо? Может кто поделится лайфхаками?