Привет. Такая же херня с OpenAI API — отправляешь почти одинаковый запрос, а ответы прыгают. Иногда попадает чётко, а иногда вываливается что-то вообще не по теме или слишком размыто, хоть контекст не менял. Ладно, что генерация вероятностная и ответы немного разные, но когда совсем улетает — бесит.

Пробовал и температуру вниз крутить, и prompt конкретнее делать — толком не помогает, эффекты скачут. Часто приходится потом руками перебирать результаты, что не очень подходит, если хочешь нормально автоматизировать. У кого-то тут такое было? Как быть с такими разбросами? Может, есть какие прокачанные техники или лайфхаки по настройке запросов, чтобы снизить разброс и не париться потом с проверкой каждого ответа? Просто первый ответ брать и в продакшен пихать — жуткий риск.