rilevamento bot tramite fingerprinting del browser

Ho visto servizi simili che funzionano come proxy e codificano tutte le tue pagine web in alcuni Javascript realmente offuscati, in modo che un vero browser non avrebbe problemi a navigare in quel sito mentre sarebbe davvero difficile, se non impossibile (cosa succederebbe se il JS era casuale e diverso per ogni richiesta) per un raschietto convenzionale per fare lo stesso.

Il problema è che è davvero facile sconfiggere tutti questi approcci semplicemente eseguendo un browser reale e senza perdere tempo a creare un raschietto.

Dai un'occhiata a Selenium WebDriver , che ti consente di collegarti a un browser reale e controllarlo a livello di programmazione - nessuno di queste soluzioni la rileverà poiché appare come un'installazione pulita di Firefox (o Chrome, o uno dei browser supportati) verso l'esterno.

Invece di perdere tempo a cercare di bloccare i bot, chiediti perché vuoi bloccarli - se sovraccaricano il tuo server web, implementano limiti di velocità basati su IP, se stanno inviando spam implementano alcuni captcha, altrimenti Lasciali stare, non ti stanno facendo del male.

Questa procedura è probabilmente utile per identificare e bloccare un gran numero di bot, ma le persone che vogliono rubare i tuoi dati, personalizzeranno e randomizzeranno il più possibile per evitare il rilevamento. Allora No. Questo approccio non è il più efficace contro i raschietti più sofisticati.

Ho visto gli scrapers cambiare completamente le loro richieste HTTP diverse volte al giorno. Queste aziende stanno investendo denaro per condurre la propria attività e cercheranno di trovare un modo per evitare queste rilevazioni statiche .

L'unico modo per bloccare questo traffico è aggiungere regole di blocco manualmente o sviluppando un grosso algoritmo che elabora altri comportamenti, quali: differenze di tempo tra richieste, ordini di parametri, ID di sessione condivisa, ecc.

Leggendo la copia di marketing dai link, il tipo di "bot" di cui si parla non è un tipico "browser", ma spesso solo uno script semplice o addirittura il venerabile wget .

Se questo è il caso, allora è banale determinare se uno script sta navigando o se è un browser a tutti gli effetti. Ma, come sospetti, se qualcuno è interessato a sconfiggere questi bot-bloccanti, è anche banale fornire dati falsi al server per apparire come se fosse un browser valido.

Ad esempio, ho creato un web rasatore basato su Python che fornisce al server una UA preconfigurata (nel mio caso si annuncia come script). Per quanto riguarda gli altri dati (font installati), anche se non l'ho fatto da solo, sono fiducioso che se un browser può essere configurato per rispondere con i dati, allora anche un "bot" può.

Come tutti hanno già risposto, non è possibile rilevare i bot tramite il solo fingerprinting del browser.

ShieldSquare, essendo un'azienda di rilevamento dei bot che trascorriamo la maggior parte del tempo con i bot, direi che è possibile rilevare i bot, insieme all'impronta del dispositivo JS saranno prese in considerazione altre cose:

• Comportamento dell'utente [È possibile analizzare ciò che l'utente sta facendo sul sito Web, indipendentemente dal fatto che l'utente stia eseguendo un modello di ampiezza o un modello di profondità. Quanti minuti trascorre l'utente sul sito web, quante pagine ha visitato l'utente]

• Reputazione IP [Osservando la cronologia IP, No di visite dall'IP o ha pattern e anche Network Forensics può essere fatto sulla richiesta ricevuta e identifica se la richiesta proviene da IP di Tor / Proxy.]

• Convalida del browser

In realtà, tutti questi calcoli possono essere fatti con 7ms.