Che bot sta generando questo user-agent?
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1
Non c'era nessuna versione di Firefox 40.1
Dai log del sito web (a) richiede sempre la home page (b) non richiede mai robots.txt (c) proviene da tutto il mondo, spesso da hostname dell'ISP, in migliaia di pagine visualizzate.
Questa stringa user agent viene utilizzata da una forza bruta che tenta di accedere come amministratore a un sito Wordpress. Per me il bot ha provato circa 3000 volte in circa 18 ore senza successo.
I titoli degli agenti utente possono essere "falsificati", non è possibile garantire che:
Ci sono diversi riferimenti allo stesso agente utente su Internet. Ad esempio questo account github ha un ampio elenco di agenti, e quello che hai è elencato qui:
È anche elencato in un formato simile a JSON su pastebin:
Clever accettano solo richieste da browser legittimi per impedire i bot. Quindi i bot fingono di essere browser ben noti. L'interprete non è più di un'intestazione HTTP e può essere falsificato da qualsiasi libreria HTTP in qualsiasi lingua. Vuoi una richiesta da MS / DOS 2.11 o anche il buon vecchio Sinclair ZX81 usando lynx? Posso inviarlo subito ...