Trovare tutti i link sotto un sito web

5

Come posso trovare tutte le directory e i link sotto un sito web? Si noti che non vi è alcun collegamento dalla home page a tutte le altre pagine. Per esempio se ho un dominio come questo users.company.com e ogni utente avrà un link come users.company.com/john, users.company.com/peter ecc. Ma non so quanti utenti ci sono quali sono tutti i link e voglio forza bruta per controllare tutti i collegamenti. C'è qualche strumento o sito web che fornisce questo servizio? Se voglio scrivere uno script python per fare questo lavoro, dove posso ottenere informazioni per svilupparlo in python?

    
posta sujeesh 30.01.2013 - 06:14
fonte

4 risposte

9

C'è un programma chiamato dir-buster sviluppato dal progetto OWASP che credo faccia esattamente quello che vuoi, per i nomi di file e cartelle a forza bruta

Per citare il sito:

DirBuster is a multi threaded java application designed to brute force directories and files names on web/application servers. Often is the case now of what looks like a web server in a state of default installation is actually not, and has pages and applications hidden within. DirBuster attempts to find these.

E dovresti essere consapevole che:

Tools of this nature are often as only good as the directory and file list they come with. Just make sure that you've updated this list with any data you can to assist it in finding these folders.

Spero che questo aiuti a rispondere alla tua domanda!

    
risposta data 30.01.2013 - 07:48
fonte
8

Raccomando di utilizzare skipfish :

Il frammento di seguito è tratto da ./skipfish/doc/dictionaries.txt (è meglio leggere l'intero documento):

"The basic dictionary-dependent modes you should be aware of (in order of the associated request cost):

1) Orderly crawl with no DirBuster-like brute-force at all. In this mode, the scanner will not discover non-linked resources such as /admin, /index.php.old, etc:

$ ./skipfish -W- -L [...other options...]

This mode is very fast, but NOT recommended for general use because the lack of dictionary bruteforcing will limited the coverage. Use only where absolutely necessary.

2) Orderly scan with minimal extension brute-force. In this mode, the scanner will not discover resources such as /admin, but will discover cases such as /index.php.old (once index.php itself is spotted during an orderly crawl):

$ touch new_dict.wl
$ ./skipfish -S dictionaries/extensions-only.wl -W new_dict.wl -Y [...other options...]

This method is only slightly more request-intensive than #1, and therefore, is a marginally better alternative in cases where time is of essence. It's still not recommended for most uses. The cost is about 100 requests per fuzzed location.

3) Directory OR extension brute-force only. In this mode, the scanner will only try fuzzing the file name, or the extension, at any given time - but will not try every possible ${filename}.${extension} pair from the dictionary.

$ touch new_dict.wl
$ ./skipfish -S dictionaries/complete.wl -W new_dict.wl -Y [...other options...]

This method has a cost of about 2,000 requests per fuzzed location, and is recommended for rapid assessments, especially when working with slow servers or very large services.

4) Normal dictionary fuzzing. In this mode, every ${filename}.${extension} pair will be attempted. This mode is significantly slower, but offers superior coverage, and should be your starting point."

Per ulteriori dizionari, consulta fuzzdb . In particolare, i file in:

fuzzdb-1.09 / Discovery / Nome fileBruteforce
fuzzdb-1.09 / Discovery / PredictableRes

Un altro: Better WordLists per la navigazione forzata

    
risposta data 30.01.2013 - 09:24
fonte
5

Burp Spider , parte della suite di strumenti Burp ha uno strumento di spidering utile per identificare file e directory comuni del web applicazioni. È un'altra opzione utile insieme a quelli che sono già stati suggeriti e dalla mia esperienza è abbastanza semplice da usare.

Potresti anche prendere in considerazione di dare un'occhiata a questa domanda che sembra simile alla tua:

Python Web Crawler ha una buona lista e sembra che ci siano state molte risposte. Un paio di suggerimenti erano Harvest Man e spider.py modulo.

Ci sono anche ricette per tali compiti pubblicati e c'è almeno un framework per aiuta a sviluppare il tuo web crawler o raschietto, chiamato Scrapy .

Spero che questo aiuti.

    
risposta data 31.01.2013 - 14:42
fonte
-1

E riguardo site / inurl: users.company.com?

    
risposta data 31.01.2013 - 14:07
fonte

Leggi altre domande sui tag