Strategia di sicurezza Robots.txt?

Non sei corretto nel presupposto che il robots.txt sui sottodomini sia ignorato. La maggior parte dei motori di ricerca prenderà e obbedirà al robots.txt per singoli sottodomini.

Se lo desideri, puoi istruire gli spider a non indicizzare gli elementi del tuo sito web senza elencarli in robots.txt, tramite:

1. Aggiunta di <meta name="robots" content="noindex" /> al codice HTML delle pagine web
2. Aggiunta di X-Robots-Tag: noindex alle intestazioni HTTP

Maggiori dettagli disponibili qui

Tuttavia, indipendentemente da ciò, non dovresti affidarti a robots.txt per sicurezza. Quello che ti stai proponendo qui è sicurezza attraverso l'oscurità che è ampiamente considerata una cattiva idea.

Per quanto riguarda la sicurezza, l'utilizzo di robots.txt ha due regole.

1. Non tentare di implementare alcuna sicurezza tramite robots.txt . Il file robots non è altro che un suggerimento gentile, e mentre la maggior parte dei crawler dei motori di ricerca lo rispettano, i crawler maligni fanno una bella risata e continuano la loro attività. Se è collegato, può essere trovato.
2. Non esporre informazioni interessanti tramite robots.txt . Nello specifico, se ti affidi all'URL per controllare l'accesso a determinate risorse (che è un enorme campanello di allarme da solo), aggiungerlo a robots.txt non farà che peggiorare il problema: un utente malintenzionato che esegue la scansione di robots.txt vedrà ora il segreto URL che cercavi di nascondere e concentrare gli sforzi su quella parte del tuo sito (non vuoi indicizzarla, e si chiama 'sekrit-admin-part-do-not-tell-anyone', quindi è probabilmente interessante).

Quindi, con tutti i mezzi, usa robots.txt per dire ai motori di ricerca quali parti del tuo sito vuoi che indicizzino e quando rivederle, ma non usarle mai per sicurezza. Se hai cose da nascondere, usa la protezione effettiva (e se non vuoi che qualcosa compaia nei risultati dei motori di ricerca, è probabile che dovresti proteggerlo comunque).

Non dovresti mai fare affidamento su robots.txt per offrirti qualsiasi tipo di discrezione o sicurezza.

Certo, i grandi motori lo rispetteranno, ma chiunque può scrivere un crawler e trovare "le cose buone", come hai chiamato tu.

Se sul tuo server web c'è una risorsa a cui non vuoi che tutti possano accedere, devi limitare le autorizzazioni usando .htaccess o un meccanismo simile, a seconda del server.

Come tutti hanno menzionato, il tuo file robots.txt non fornisce un meccanismo per la sicurezza e, se vuoi che i crawler NON indicizzino i tuoi sottodomini, puoi utilizzare singoli file robots.txt per ogni sottodominio. Ecco come appare uno di questi file robots.txt:

User-agent: *
Non consentire: /

Per ulteriori informazioni su robots.txt, qui ci sono alcune risorse:

• Blocca o rimuovi pagine utilizzando un file robots.txt
  
• Una guida ai file robots.txt che ha vinto 'Mettiti a dormire