È considerata una cattiva pratica eseguire la scansione attraverso la versione mobile di un sito?

Question

È considerata una cattiva pratica eseguire la scansione attraverso la versione mobile di un sito?

#1 da (6 voti)

4

Sto costruendo un web spider per eseguire la scansione attraverso diversi siti, ma uno di essi usa i pulsanti javascript anziché i collegamenti per diverse funzioni. E mentre potrei imparare a seguirli, aggiunge un ulteriore livello di complessità che preferirei evitare se possibile. D'altro canto, il sito per dispositivi mobili, facilmente accessibile con m.example.com , utilizza tutti i link HTML puri.

Quindi ecco la mia domanda, assumendo che seguo tutte le altre regole ragionevoli per la scansione, esiste una ragione per cui è specificamente considerato maleducato / malintenzionato da sottoporre a scansione esclusiva del sito mobile?

web-crawler

posta Devon Muraoka 17.07.2016 - 08:24

fonte

1 risposta

Leggi altre domande sui tag web-crawler

Come dovrei aggiungere test per tutti i miei progetti? È buona forma usare un ID univoco alfanumerico?

score 6 · Accepted Answer

La risposta a cui ti sei collegato è abbastanza ampia su ciò che non dovresti fare. L'unica cosa che, a mio parere, manca sono le richieste POST: il crawler non deve inviare moduli o fare richieste POST AJAX.

I siti per dispositivi mobili non sono diversi da quelli per desktop. Non dovresti considerarlo maleducato o dannoso per eseguirne la scansione.

Tuttavia:

A volte un sito per dispositivi mobili non sostituisce completamente la sua variante desktop. Spesso, i siti mobili non solo sono privati di molte funzionalità del desktop (e degli annunci, è una buona cosa), ma potrebbero anche mancare di contenuti che ti piacerebbe indicizzare.
Se il tuo motore di ricerca reindirizza qualcuno che utilizza un PC a una versione mobile di un sito web, la persona potrebbe andare persa (soprattutto se sa come il sito viene solitamente visualizzato su un PC). Se il sito non ha reindirizzamento automatico degli utenti PC dal sito mobile alla pagina del sito desktop corrispondente (diversamente dalla home page), è necessario implementare la mappatura manualmente nel motore di ricerca.