Disallow в robots.txt. Замечено что в таком случае боты всё равно будут лазить по сайту. Если это не нравится, можно в .htaccess сделать фильтр по юзерагенту известных ПС.