Зачем нейросети реально нужна база знаний — кто как юзает RAG?
 

Появился такой термин RAG — retrieval-augmented generation. По сути это когда нейросеть не просто тупо генерит текст на основе своих весов, а сначала как бы ходит в базу знаний или документы, вытаскивает релевантные данные и уже потом на их основе строит ответ. Слышал, что это помогает давать более точные и актуальные ответы, но пока толком не пробовал.

Кто тут с этим сталкивался — расскажите, как вы организуете саму базу? Какие форматы лучше юзать, чтобы нейросеть быстро искала нужные факты? Допустим, у меня куча PDF с технологическими статьями и куча разного справочного контента, как лучше вытащить из этого полезное для RAG?

Еще интересно, у кого есть опыт сравнивать просто GPT без базы и RAG-модель — насколько улучшается качество и скорость? Малозаметна ли разница, или прям критичная? И как проверять, что выданное нейросетью реально соответствует базе, а не просто сгенерено на пустом месте?

Короче, поделитесь кейсами и советами, кто что юзает и как прокачивает свои локальные или облачные решения с RAG.

Пока тоже только разбираюсь с этим RAG, но кажется, что ключ — в нормальном индексировании базы, чтобы нейросеть быстро находила нужные куски. PDFs часто конвертят в текст, потом делают векторы для поиска, чтобы потом брать релевантные параграфы. Читал, что без базы GPT иногда «плывет» в фактах, а с RAG получается точнее. Правда, скорости иногда падают, если база большая, придется баланс искать.

Пока только начинаю копать RAG, но кажется, что база реально помогает нейросети не фантазировать и выдавать более точные ответы. PDF лучше сначала превратить в текст и затем уже индексировать. Главное, чтобы поиск был быстрым — если база большая, может тормозить. В общем, без базы GPT часто ошибается, с RAG как будто точнее и надежнее.