Ho iniziato a costruire un web crawler e ho letto da qualche parte che è molto difficile trovare una buona pagina iniziale per il crawler. Qualcuno può spiegarmi se esiste una procedura / linee guida predefinite per trovare una buona pagina iniziale? o come dici che una pagina particolare è una buona pagina iniziale?
Una buona pagina iniziale deve avere
Questo è tutto, davvero. Le prime cose che vengono in mente sarebbero Wikipedia e il Open Directory Project .
Poiché ritengo che la ricerca web generalizzata debba essere ora considerata un problema risolto con un singolo fornitore che ha un vantaggio e un impulso, che non è pratico, scomodo e un po 'zoppo anche solo prendere in considerazione la possibilità di superarlo, credo che potresti preferire concentrare i tuoi sforzi di ricerca in un dominio specializzato .
e.g.: U.S. law, E.U. law, local laws of certain foreign countries, documents in a certain language, fishing, hunting, the military, ambientalism, indian car manifacturers, south american team games, russian motorsports...
La specializzazione dei tuoi domini consiste nel trovare i semi appropriati per il dominio specificato. (Inoltre, IMHO, un forum di forum specializzati, unknowing , dovrebbe essere considerato come un punto di partenza) Quindi, una volta che hai il dominio, se lo fai bene, (o almeno quello che stai lavorando con / per fa) i semi dovrebbero venire naturali.
In alternativa, cerca dmoz.org come Google ha fatto circa 15 anni fa. (E non dimenticare di pesare yahoo.com per buona misura) Offri al tuo crawler altri 15 anni e dovresti avere una buona base di link per cercare su.
Ok, ok, if you really really must take this hard and pointeless route also consider: reddit.com, twitter.com, and (why not) the stackexchange.com constellation.
Leggi altre domande sui tag web-crawler web internet