Se visualizzo link , ottengo:
User-Agent: *
Disallow:
Allow: /
Ciò significa che i crawler possono accedere completamente al sito Web e indicizzare tutto. In questo caso, perché site:sppp.rajasthan.gov. in Ricerca Google mostra solo poche pagine mentre contiene molti documenti, inclusi i file PDF?
Scrivendo:
User-agent:*
Disallow:
Allow: /
Stai dicendo ai robot: tutto è permesso e nulla è vietato . Ciò potrebbe confondere i robot.
Ti suggerisco di scrivere quelle regole di Protocollo di esclusione dei robot modificando il contenuto del tuo file robots.txt in :
User-agent: *
Disallow:
o
User-agent: *
Allow: /
In questo modo stai permettendo ai robot di indicizzare tutto.
Leggi altre domande sui tag google