Recentemente ho inserito alcuni collegamenti nascosti in un sito Web per intercettare i web crawler. (Utilizzato lo stile nascosto di visibilità CSS per evitare che gli utenti umani vi accedano)
In ogni caso, ho scoperto che c'erano molte richieste HTTP con un riferimento di browser che hanno accesso ai collegamenti nascosti.
E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"
Quindi ora i miei problemi sono:
(1) Questi web crawler sono? oppure cosa può essere?
(2) Sono dannosi?
(3) C'è un modo per definire il loro comportamento?
Ho cercato sul Web ma non ho trovato alcuna informazione valida. Potete fornirmi alcune risorse o qualsiasi aiuto sarebbe apprezzato.