Durante una scansione recente del mio sito web, è stato trovato un file robots.txt che contiene
Disallow: /subsite1/
Disallow: /subsite2/
Per non mostrare alcun percorso in robots.txt, poiché temo che gli hacker possano provare a hackerare le directory non consentite, cosa posso fare per proteggere robots.txt e allo stesso tempo consentire ai motori di ricerca di usarlo per scopi legittimi?
Robots.txt non è, in alcun modo, ritenuto sicuro per il tuo sito. L'unico scopo del file robots.txt è di informare i robot dei motori di ricerca educati su quali aree non contengono informazioni interessanti.
Se hai aree sensibili nel tuo file robots.txt, allora hai seriamente bisogno di rivedere l'architettura del tuo sito. Nessuna directory sensibile dovrebbe mai essere accessibile al pubblico in alcun modo. In effetti, tutto ciò che è esposto al pubblico dovrebbe essere protetto, che sia visibile o meno.
Gli utenti malintenzionati potrebbero utilizzare il file robots.txt durante la fase di raccolta delle informazioni di un attacco. Avere voci in esso non è una vulnerabilità di per sé, è solo un modo per qualcuno di trovare parti del sito che potrebbero non essere reperibili in altri modi.
Se semplicemente sapendo che esiste una parte del tuo sito, i risultati in una vulnerabilità di sicurezza allora dovresti avere qualcuno che ha una solida conoscenza della sicurezza web dare un'occhiata.
Leggi altre domande sui tag web-application