Получить количество файлов с внешнего веб-сайта

Есть ли какой-либо тип javascript, coldfusion, php и т. Д., Который может рекурсивно получать все общедоступные файлы внешнего веб-сайта для отображения / подсчета?


person justacoder    schedule 06.07.2011    source источник
comment
У вас есть доступ к файловой системе, или вы говорите о том, чтобы сделать это через HTTP-запросы?   -  person Robert    schedule 07.07.2011
comment
Я думаю, вы могли бы использовать wget --spider|wc -l для этого, но не можете проверить это прямо сейчас.   -  person AJ.    schedule 07.07.2011
comment
@AJ - круто. Я не знал, что wget может это сделать, но я чертовски уверен, что сейчас попробую   -  person tomfumb    schedule 07.07.2011
comment
Через http запрос. AJ, это команда для Apache?   -  person justacoder    schedule 07.07.2011
comment
wget часто может возвращать Remote file exists and could contain further links, but recursion is disabled -- not retrieving.   -  person cwallenpoole    schedule 07.07.2011


Ответы (2)


Нет, и если бы это было возможно, это была бы брешь в системе безопасности, которую быстро бы исправили. Конечно, вы бы не хотели, чтобы другие имели такой же доступ к вашему серверу.

Могу я прочитать ваш .htaaccess, пожалуйста? Нет, сэр, вы не можете.

=)

person Nate    schedule 09.07.2011

Только если структура каталогов выставлена, скажем, через Apache «каталог не имеет индексной страницы». В этом случае вы можете использовать синтаксический анализатор XML и получить href всех тегов <a> и выполнить рекурсию таким образом.

Однако в большинстве случаев вы не сможете найти открытый каталог. В таком случае у вас могут возникнуть трудности с определением типа сервера и безнадежным получением файловой структуры.

person cwallenpoole    schedule 06.07.2011