robots.txt è un file che contiene un percorso che non può essere scansionato da bot la maggior parte dei motori di ricerca del tempo come Google Bot, ecc. Segnala al motore di ricerca che questa directory è privata e non può essere sottoposta a scansione da loro.
Questo è il file robots.txt di un sito. link :
User-Agent: *
Disallow:
Allow: /
Che ottengo semplicemente tramite link .
C'è qualche rischio nell'usare lo stesso?
In secondo luogo, se provo a cercare all'interno del sito web utilizzando Google
inserendo la parola chiave site:sppp.rajasthan.gov.in ottengo solo pochi risultati.
Quindi, se robots.txt di questo particolare sito non ha alcuna restrizione, perché tutte le pagine all'interno del sito non sono indicizzate e mostrate nei risultati di Google?