Как запустить LLM локально без облака — личный опыт

[ChaoS]

В этой теме расскажу, как можно поднять большую языковую модель (LLM) у себя на машине, без всяких облаков и онлайн-сервисов. Поделюсь разными вариантами, чего ожидать и на что обращать внимание, чтобы не утонуть в терминалах и не сжечь полтерабайта трафика.

Что такое LLM и зачем его запускать локально
LLM — это большая языковая модель, вроде ChatGPT, только в открытом или частном формате. Она умеет генерировать текст, отвечать на вопросы, помогать с кодом. Запускать её локально может быть нужно, если тебе важна конфиденциальность, стабильность без интернета или просто интересно пощупать технологию на своей железке.

Где это применимо
- Автономные ассистенты без зависимости от сервиса.

[Ваха]

Раньше, чтобы запустить что-то похожее, надо было железо как для космического шаттла и куча танцев с бубном. Сейчас хоть чуть проще, но всё равно без мощной видюхи затея геморройная. Зато кайф — вся «лапша» на своей тачке, никакого качества-некачественного интернета и слежки. Польза есть, но надо быть готовым к тому, что быстро не будет.