Я если честно никогда не встречал "коммерческий сайт" где гуглу выдаеться больше полномочий, чем обычному юзеру. Возможно это моя некомпетентость конечно . Кстати, у гугл бота User-Agent будет таким: