Identifica gli utenti che accedono al link nascosto in un sito web

1

Recentemente ho inserito alcuni collegamenti nascosti in un sito Web per intercettare i web crawler. (Utilizzato lo stile nascosto di visibilità CSS per evitare che gli utenti umani vi accedano)

In ogni caso, ho scoperto che c'erano molte richieste HTTP con un riferimento di browser che hanno accesso ai collegamenti nascosti.

E.g : "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31"

Quindi ora i miei problemi sono:

(1) Questi web crawler sono? oppure cosa può essere?

(2) Sono dannosi?

(3) C'è un modo per definire il loro comportamento?

Ho cercato sul Web ma non ho trovato alcuna informazione valida. Potete fornirmi alcune risorse o qualsiasi aiuto sarebbe apprezzato.

    
posta TestRunner 30.12.2013 - 11:51
fonte

2 risposte

3
  1. Probabilmente stanno eseguendo la scansione del tuo sito web. Stanno quasi certamente facendo richieste automatizzate e non rendendo il contenuto delle tue pagine come farebbero i soliti browser web. Un client web può segnalare qualsiasi agente utente a loro piace e potrebbe cercare di nascondere il fatto che sono automatizzati quando segnalano l'utente-agente comunemente associato ai browser web (come quello che hai postato che sembra Chrome in esecuzione su Windows 7 a 64 bit).
  2. Probabilmente no. Fare richieste di un server web non è un'attività maligna a meno che tali richieste non contengano qualche tipo di exploit. Fare richieste per raccogliere informazioni sul sito Web non è dannoso, anche se l'intento è quello di utilizzare le informazioni per scopi dannosi.
  3. Raggruppando le voci nei tuoi log web per indirizzo IP e User-Agent, potresti imparare: -

    • se un client esegue la scansione del tuo sito
    • lo schema di scansione (larghezza-prima, profondità-prima o casuale)
    • se un cliente sta tentando di prendere le impronte digitali sul tuo sito web (come ad esempio fare un sacco di cose richieste di risorse che non esistono o che richiedono richieste di risorse noto per esistere in applicazioni web che presentano una vulnerabilità)

    Fai una ricerca per "HoneySpam 2.0" per ulteriori informazioni sull'apprendimento del comportamento dei clienti.

risposta data 30.12.2013 - 17:41
fonte
3

Tutti i siti web dovrebbero ricevere attacchi regolari, se non sei stato attaccato, controlla la tua connessione Internet.

Un link non è in alcun modo forma o forma "nascosto" se un robot può trovarli. Un bot dannoso utilizzerà un file robots.txt per enumerare le risorse sul sistema ignorando la direttiva deny . L'utilizzo di un CAPTCHA impedirà gli attacchi automatici. Prendi in considerazione anche la protezione tramite password dei link "nascosti".

    
risposta data 30.12.2013 - 17:02
fonte

Leggi altre domande sui tag