Perché i motori di ricerca non possono raggiungere il dark web?

Supponendo che tu stia parlando dei servizi nascosti Tor, allora la risposta è possono , ma solo indirettamente. Esistono vari siti "portale", come link , che forniscono un gateway per i servizi nascosti. Questi gateway sono normali siti Web con domini regolari, ma sono in esecuzione software tor2web , che utilizza il client Tor per ritrasmettere il traffico tra utenti non Tor e Tor (ma si noti che non forniscono anonimato). Questi possono essere indicizzati a volontà. Ci sono diversi motivi per cui non è indicizzato di frequente:

• Come qualcuno ha sottolineato prima, è molto sconnesso. Pochissimi siti si collegano l'un l'altro, limitando la capacità dei crawler di trovare nuovi siti e nuove pagine.
• Utilizza il proprio protocollo, quindi senza siti portale / gateway, non sarebbero in grado di connettersi. Prova a connetterti a un dominio .onion in un normale browser. Vedrai che non si risolverà nemmeno.
• Non ci sono molti servizi nascosti là fuori. Il mito che è "vasto" è infondato, basato su un fraintendimento della terminologia. In realtà, è davvero piuttosto piccolo.
• Alcuni siti sono bloccati dai siti portale / gateway per motivi legali, quindi è possibile accedervi solo tramite il protocollo Tor. Poiché i crawler dei motori di ricerca non lo utilizzano, non possono accedere ai siti.

Non esiste un singolo "database" di servizi nascosti così come esiste per i domini regolari (root nameserver). Un servizio nascosto si basa su un hash codificato e troncato della chiave pubblica del server. Attraverso un protocollo complesso, il cliente è diretto verso un punto di incontro , dove si incontrano il circuito a tre hop del servizio nascosto e il circuito a tre hop del client Tor. Questo punto è deciso a vicenda in modo tale da non richiedere un singolo database di domini, poiché il nome di dominio stesso ha tutte le informazioni necessarie per utilizzare la rete Tor per connettersi al sito. Non esiste alcun indirizzo IP a cui il dominio si risolva. Affinché un crawler dei motori di ricerca possa connettersi a questi siti, dovrebbe utilizzare questo protocollo. Non è molto pratico per loro.