Я тут недавно начал юзать OpenAI API и сразу решил логировать запросы. Впринципе, помогло отследить, где у меня тормозит и что действительно возвращается. Работает, правда, надо не забывать чистить логи, чтобы диск не забился быстро. Пока что мне этот подход нравится — проще понимать, что происходит внутри, хотя я ещё не все тонкости освоил.