ANTICHAT

ANTICHAT (https://forum.antichat.io/index.php)
-   Песочница (https://forum.antichat.io/forumdisplay.php?f=189)
-   -   Как скачать с сайта из определенного каталога (https://forum.antichat.io/showthread.php?t=430077)

Forserer 09.09.2015 15:29

Добрый день, возможно название темы звучит глупо, суть объясню лучше.

Значит есть некий сайт, в нем есть фото каталог, путь до файлов такого вида

http://САЙТ/contents/albums/main/размер фото/1234/1234/123456.jpg

и собственно вопрос как быстро просканировать и скачать все картинки? Где цифры вида 1234 они постоянно разные но обычно идут в порядке возрастания, например 0/312/4326.jpeg

Пробовал через загрузчик сайтов, по маске, просто задавал маску в данной ссылке и он методом перебора уже находил и скачивал, но это нереально долго сами понимаете, возможно есть какой то более быстрый метод?

user6334 09.09.2015 16:44

Если не ошибаюсь, то указанный вами путь - виртуальный, со всеми вытекающими отсюда последствиями. И вообще не понятно, чем вам парсинг не нравиться?

Forserer 09.09.2015 17:34

Цитата:

Сообщение от user6334

Если не ошибаюсь, то указанный вами путь - виртуальный, со всеми вытекающими отсюда последствиями. И вообще не понятно, чем вам парсинг не нравиться?

Не совсем понял про "виртуальный" как применить парсинг в данной ситуации?

user6334 09.09.2015 21:49

Виртуальный значит его веб-сервер так задает. Вы уже применили парасинг, только с помощью тулзы

d3q 09.09.2015 22:14

Можно попытаться выявить закономерность в названии файлов. Если её нет, и просмотр директории не доступен, то только полным перебором, собственно, как Вы уже и пытались.

waik 09.09.2015 22:55

ссылку скинь в ЛС. Скачаю.

grimnir 09.09.2015 23:21

Цитата:

Сообщение от Forserer

Добрый день, возможно название темы звучит глупо, суть объясню лучше.
Значит есть некий сайт, в нем есть фото каталог, путь до файлов такого вида
http://САЙТ/contents/albums/main/размер
фото/1234/1234/123456.jpg
и собственно вопрос как быстро просканировать и скачать все картинки? Где цифры вида 1234 они постоянно разные но обычно идут в порядке возрастания, например 0/312/4326.jpeg
Пробовал через загрузчик сайтов, по маске, просто задавал маску в данной ссылке и он методом перебора уже находил и скачивал, но это нереально долго сами понимаете, возможно есть какой то более быстрый метод?

Залить шелл и скачать все сразу быстро бесплатно и без СМС

user6334 10.09.2015 07:10

Кстати, фото могут быть не в каталоге, а в базе, либо вообще погружаться с другого ресурса

Forserer 10.09.2015 10:26

Цитата:

Сообщение от user6334

Кстати, фото могут быть не в каталоге, а в базе, либо вообще погружаться с другого ресурса

Фото в базе, каталога как такового нет, единственный вариант видимо сливать через какой нибудь загрузчик сайтов, предварительно настроив на скачку только изображений и только определенного размера, но это весьма долгое занятие, всем спасибо за советы, будем дальше колдовать

sbermonstr 10.09.2015 16:20

в рунете дофига полезных загрузчиков, просто нужно открыть гугль

Forserer 10.09.2015 18:01

Цитата:

Сообщение от sbermonstr

в рунете дофига полезных загрузчиков, просто нужно открыть гугль

В Рунете вообще всего дофига, проблема в качестве всего этого софта, очень проблематично найти под свои нужды необходимую программку, приходится перебирать кучу софта пока найдешь что то подходящее, на данный момент нашел не плохой загрузчик сайтов, при должной настройке вроде находит и скачивает нужно, но весьма долго(количество потоков менял самособой)

user6334 10.09.2015 19:47

Ну, я бы ничего искать на вашем месте не стал, а написал бы сам небольшой скриптик, ничего сложного в этом не вижу


Время: 03:55