Considera il seguente server web teorico:
On any request, produce an html response that consists of 2 links, which are each randomly chosen strings followed by ".html".
Quando il bot di Google tenta di eseguire la scansione di questo sito, verrà presentato con altri 2 link. Nell'interesse della mappatura del sito, tenterà di navigare verso di loro, ognuno restituendo altri 2 link. Questo ovviamente accadrà all'infinito (sicuramente può venire con una soluzione che non dà mai lo stesso nome di pagina due volte).
La mia domanda è, i robot hanno un meccanismo per rilevarlo? Se è così, che cosa è? In caso contrario, quale tipo di metodi di rilevamento sarebbe possibile per questa situazione?
Non del tutto sicuro se questo fosse il sito SE giusto per pubblicare questo.