Domande con tag 'web-scraping'

domande con tag
7
risposte

Come essere un buon cittadino durante la scansione di siti Web?

Svilupperò alcune funzionalità in grado di eseguire la scansione di vari siti Web pubblici e di elaborare / aggregare i dati su di essi. Nulla di strano è cercare indirizzi e-mail - in effetti è qualcosa che potrebbe effettivamente portare traff...
posta 11.07.2011 - 03:25
3
risposte

Che cosa succederà se non seguo robots.txt durante la scansione? [duplicare]

Sono nuovo sul web crawling e sto testando i miei crawler. Sono stati test su vari siti per i test. Ho dimenticato il file robots.txt durante i miei test. Voglio solo sapere cosa succederà se non seguo il file robots.txt e qual è il modo si...
posta 20.12.2012 - 08:48
4
risposte

Modelli e pratiche per il Web Scraping in .Net (C #) [chiuso]

Metterò insieme un'applicazione per automatizzare un sito web / un'applicazione esterna. In alcuni casi dovrò navigare nel sito come farebbe un utente (alcuni link che devo seguire non possono essere previsti e devono essere analizzati da una ri...
posta 11.07.2011 - 18:45
2
risposte

Come far funzionare un webdriver in modo affidabile in selenio?

Ho avuto abbastanza tempo per farlo funzionare in modo affidabile per centinaia di migliaia di termini e potenzialmente milioni di pagine per fonte e ETL i dati risultanti in un database in modo automatico. Ho bisogno di eseguire le attività in...
posta 19.10.2016 - 21:29
2
risposte

Qual è la strada da percorrere per estrarre i dati dai siti web? [chiuso]

Ho pensato a un progetto parallelo che coinvolge lo scraping dei dati web. Ok, ho letto Ottenere dati da una pagina web in modo stabile ed efficiente e la discussione mi ha dato alcuni spunti. Nella discussione Joachim Sauer ha dichiarat...
posta 23.05.2013 - 14:21
1
risposta

Quanta elaborazione da fare nel crawler? - buone pratiche di scansione

Attualmente sto lavorando a un progetto per animali domestici in Python con scrapy che raschia diversi siti di tipo ebay per le offerte immobiliari nella mia zona. Il fatto è che alcuni siti sembrano fornire dati più strutturati nelle loro pagin...
posta 17.06.2016 - 18:58
4
risposte

Qual è la lingua più flessibile per lo scraping di siti Web? [chiuso]

Sono nuovo nella programmazione. Conosco un piccolo pitone e un piccolo obiettivo c, e ho seguito tutorial per ognuno. Poi mi è venuto in mente, ho bisogno di sapere quale linguaggio è più flessibile (python, obj c, qualcos'altro) per lo screen...
posta 09.05.2011 - 21:59
1
risposta

Scraping dei dati dal sito Web e passaggio in Office - molte restrizioni [chiuso]

Recentemente, mi è stato chiesto di aiutare con qualche progetto di ottimizzazione laterale nella nostra azienda, ho fatto delle buone ricerche. Non sono ancora sicuro al 100% se questo è il modo più efficiente per farlo. Problema: Scrapi...
posta 08.07.2015 - 21:18
1
risposta

App Android con Ruby Backend Server

Sto lavorando a un progetto personale per aiutarmi a espandermi e imparare alcune nuove / diverse tecnologie. Sono un programmatore .NET ma voglio imparare Ruby e come sviluppare app Android. Ho già sviluppato dei pezzi ma ora ho bisogno che l'i...
posta 11.09.2015 - 22:16
3
risposte

Approccio preferito per deridere un sito per testare un raschietto

Ogg. Atm Sto usando Selenium e Python, ma lo stesso vale per qualsiasi altra soluzione di scraping. Mi chiedo: quali delle opzioni descritte di seguito sono ottimali / consigliate / best practice se esistono soluzioni / librerie helper...
posta 05.02.2018 - 11:35