На один запрос гугль выдает только 1000 ссылок.
Если запрос поменять то и результаты естественно изменяться.
Т.е. с каждым новым запросом новая 1000 ссылок.
Но гугль не только тысячей ограничивается. При запросах содержащих inurl: вместе с guestbook и подобные им гугль не пустит дальше 300 ссылок. Он выведет предупреждение типа - "Извините в данный момент нас сканирует вирусное ПО" ну и т.д.
Ещё от частоты зависит, если часто посылать запросы на протяжении некоторого времени гугль просит ввести капчу. Вообщем парсилка обламывается и не находит линков.
Вообщем парсинг дело тонкое.
Последний раз редактировалось Underwit; 13.05.2008 в 03:33..
Собираю хрефером базу сайтов "похожих на каталоги", потом добавляю в аллсабмиттер, и проганяю инстрементом "найти формы для добавления", на выходее чищу руками.
Эфективность 40к хрефер, 8К после аллсаба, 2-3К после ручной чистки. Прирост от каталогов после такого парсинга вполне адекватный, некоторые сайты получали 3пр морды + 3пр внутряки, хотя повсякому бывает... Обменяю базу 1600 (возможно больше, дочищается сейчас) англ. каталогов на нормальную русскую базу,писать в ПМ. Сигнатуры для парснга хрефером собрирал вручную, где взять крякнутый хрефер не знаю!!!