Durante la scansione del mio sito web con uniscan ha trovato il mio file robots.txt che non consente l'accesso a /cgi-bin/ e ad altre directory, ma non sono accessibili nel browser. C'è un modo per accedere alle directory o ai file che non sono consentiti?
Il file robots.txt non ti impedisce di accedere alle directory. Indica a Google e Bing di non indicizzare determinate cartelle. Se inserisci cartelle segrete, Google e Bing le ignoreranno, ma altri scanner dannosi faranno probabilmente il contrario. In effetti stai dando via quello che vuoi mantenere segreto. Per disabilitare le cartelle devi impostarlo in Apache vhost o .htaccess. È possibile impostare un login sulla cartella se lo si desidera.
Il file robots.txt non è una misura di sicurezza e non ha incidenza sui permessi di accesso. Questo file dice solo ai robot "bravi" di saltare una parte del tuo sito Web per evitare l'indicizzazione. I robot cattivi non rispettano nemmeno quelle regole e scansionano tutto ciò che riescono a trovare. Quindi la sicurezza non può mai fare affidamento sul file robots.txt (che non è il suo scopo).
Is there a way to access the directories or files which are Disallowed?
Verifica le autorizzazioni del tuo server web.
Sì, vai nella directory.
robots.txt non è altro che qualcosa che un crawler segue per cortesia. I crawler sono liberi di ignorare completamente il file. Non è un metodo reale per mantenere private le directory.
Leggi altre domande sui tag php apache vulnerability