Spider che utilizza Python-urllib

Question

Spider che utilizza Python-urllib

#1 da (1 voti)

-1

Ho notato che un IP (35.188.27.83) ha tentato di accedere a varie pagine sensibili sul mio sito web (phpmyadmin, wp, sqllite ecc.) e ha ricevuto molti errori 404. Dopo aver eseguito alcune ricerca sull'IP :

  ISP   Google Inc.
    Usage Type  Search Engine Spider
    Domain Name google.com

Anche quando si fa un nslookup:

   Name:    83.27.188.35.bc.googleusercontent.com
   Address:  35.188.27.83

C'era anche una voce interessante nel registro:

Python-urllib/2.7 - -

È noto che Google utilizzi urllib-python per accedere a directory e URL sensibili? In caso contrario, come provare che si tratta di un bot con spoofing utilizzato per scopi dannosi?

python google

posta Gabrielius 21.10.2017 - 22:22

fonte

1 risposta

Leggi altre domande sui tag python google

Posso eseguire un test locale per perdite DNS? È sicuro autorizzare richieste API utilizzando un RSA? [chiuso]

score 1 · Accepted Answer

Come punto generico, Google è risaputo che utilizzava molto Python, (IIRC era il loro strumento per lo spostamento prima di spostare un sacco di cose da fare), quindi potrebbe essere uno spider Google legittimo che esegue la scansione del tuo sito.

Detto questo supponendo che tu abbia un set robots.txt per limitare tale scansione puoi contattare Google per chiedere perché è stato ignorato - link è probabilmente un buon punto di partenza.

Se non disponi di un set robots.txt o se è impostato in modo errato, devi correggerlo e attendere per vedere se c'è un'occorrenza ripetuta.

Se si scopre che non era uno spider di Google legittimo, probabilmente hanno molte più risorse della maggior parte di noi per perseguire la questione.

Nota. Io non sono e non sono mai stato assunto da Google o AFAIK nessuna delle loro affiliate, quindi questo è basato esclusivamente su informazioni disponibili pubblicamente.