этой тулзой пользуюсь - НО - если в роботс дира запрещена то гугл же её не прочитает ..
а обычный сканер проверит на существование ...