Rileva un host sulla mia rete che sta eseguendo il Web Scraping su sistemi esterni

Naviga le tue risposte
2

Recentemente mi è stato segnalato (tramite una società esterna) che un host sulla mia LAN interna potrebbe condurre attività di scraping web contro i server Web di quella società esterna. A causa di questa attività, la società esterna ha bloccato la nostra capacità di accedere a qualsiasi server web ospitato.

Qualcuno ha raccomandazioni per strumenti o metodi per rintracciare gli endpoint sulla mia rete interna che stanno eseguendo raschia web contro siti Web esterni? Abbiamo recentemente acquistato una soluzione SIEM, ma non è ancora online, quindi la mia unica altra opzione è quella di rivedere manualmente i netflows per eccesso di http (s) contro gli host di questa azienda. Inutile dire che preferirei trovare un'opzione più rapida.

Ho ~ 1200 endpoint sulla mia LAN interna.

    
posta Zane 29.11.2016 - 19:23
fonte

2 risposte

1

Se non sei sopra le mani sporche con un po 'di script, potresti creare un semplice script Python usando Scapy biblioteca. Questo script guarderebbe il traffico HTTP verso il sito della società esterna e registrerà l'IP.

Dopo la revisione del file di acquisizione, l'indirizzo IP più ricorrente dovrebbe essere il colpevole dello scraping.

Se si accede frequentemente al sito di questa società esterna dagli utenti della LAN, è possibile che si desideri controllare le richieste che generano una risposta di errore 404 dal sito della società esterna, poiché questo sarebbe un segno dello strumento di scraping che tenta di accedere agli URI che non esistono durante il processo di scraping.

    
risposta data 01.12.2016 - 19:53
fonte
1

Controlla il tuo firewall perimetrale per i registri di traffico di uscita. Se non si dispone di un firewall perimetrale, ottenere un firewall perimetrale.

    
risposta data 01.12.2016 - 20:14
fonte

Leggi altre domande sui tag

Utilizzo di JTWs nell'implementazione OAuth Autenticatori di autenticazione per il tunneling attraverso un proxy HTTP?