В этой теме расскажу, как можно поднять большую языковую модель (LLM) у себя на машине, без всяких облаков и онлайн-сервисов. Поделюсь разными вариантами, чего ожидать и на что обращать внимание, чтобы не утонуть в терминалах и не сжечь полтерабайта трафика.

Что такое LLM и зачем его запускать локально
LLM — это большая языковая модель, вроде ChatGPT, только в открытом или частном формате. Она умеет генерировать текст, отвечать на вопросы, помогать с кодом. Запускать её локально может быть нужно, если тебе важна конфиденциальность, стабильность без интернета или просто интересно пощупать технологию на своей железке.

Где это применимо
- Автономные ассистенты без зависимости от сервиса.