Есть, короче, такой прикол — ставишь хук на Present до OBS, чтобы он ловил «чистый» кадр, а потом уже в хуке реального Present рисуешь оверлей. OBS тогда запишет игру без твоего оверлея, а игрок увидит всё как надо. Главное — аккуратно с vTable и несколькими устройствами D3D9, там легко запутаться. И да, чтобы оверлей не захватывался, можно окно с WDA_EXCLUDEFROMCAPTURE создавать, тогда точно не попадёт в запись.