Modi per raccogliere informazioni sugli eventi da Internet [chiuso]

3

Quali sono i modi migliori per raccogliere informazioni sugli eventi (di qualsiasi tipo) da Internet?

Tenendo presente che diversi siti Web presenteranno le informazioni in diversi modi.

Stavo pensando ai web crawler "intelligenti", ma questo può rivelarsi estremamente impegnativo, semplicemente a causa dei modi estremamente diversi in cui i diversi siti presentano le loro informazioni.

Poi stavo pensando di setacciare i feed di Twitter ufficiali di organizzazioni, persone con conoscenza degli eventi, ecc. e cercare il tag dell'hash dell'evento, prendere il tweet e analizzarlo per prendere le informazioni rilevanti sull'evento.

Le informazioni che mi interessano sono: Data e Tempo di Evento, Indirizzo dove viene tenuto l'evento e qualsiasi Celebrità (o personaggi famosi) che frequentano l'evento (se presente)

La ragione per chiedere qui è la mia speranza che la gente esperta mi apra gli occhi sulle cose che ho perso, che sono sicuro di avere.

    
posta J86 01.11.2012 - 14:40
fonte

1 risposta

2

Mi avvicinerei a questo come ad un programma che schermerebbe alcuni siti. Quindi, se stai cercando celebrità, vorresti trovare un sito da usare come fonte e poi iniziare con la loro home page e scaricare l'HTML. Quindi dovresti insegnare al tuo programma ad analizzare l'HTML per tirare giù solo le informazioni che desideri.

Dovrai anche cercare gli URL poiché molti siti avranno sia link interni che esterni. Questa sarà probabilmente la parte più difficile da filtrare in quanto non saprai cosa c'è all'altra estremità di quell'URL fino a quando il tuo programma non arriva.

Il concetto di base di questo è un web crawler e credetemi avrete bisogno di avere un modo per rallentare l'applicazione o avere un server molto robusto per gestire il flusso di informazioni. Sono passati diversi anni da quando ho scritto un crawler e in realtà stavo seguendo informazioni molto specifiche su un sito molto specifico.

    
risposta data 01.11.2012 - 16:39
fonte