У меня такая же фигня с чат-ботом на AI: если подряд отправлять похожие запросы, он часто отрабатывает буквально копипастой. Юзерам это реально напрягает, а с логикой понятно - как будто тупо шаблон. Я тоже пытался чуть формулировки менять, но толку мало, чаще всего ответ почти не меняется, повторяется.

Вот думаю, может, смысл сдвигать через системные сообщения или менять контекст диалога - вроде помогает. Про параметры API типа temperature и top_p слышал, но как правильно их подстроить, чтобы ответы не были слишком случайными, а при этом не калькой - тоже мутно пока.

Ещё слышал, что полезно кэшировать ответы и проверять их похожесть, чтобы не отправлять один и тот же текст, а подставлять либо новый, либо расширять старый. Интересно, кто на чём это делает - на Python, Node или прямо в платформах всё решают? Я пока пытаюсь разные методы собрать, но пока сложновато.

Кто что юзал и реально помогло поднять качество ответов при повторных вопросах?