Ho un gruppo di studio su Facebook che ha molte informazioni. La dimensione è di circa 10k post e 30k commenti / risposte ecc ... rendono molto difficile la ricerca su Facebook stesso.
Quindi provo a scaricare i dati in un file csv o in un database sqlite. Ecco il design, che credo abbia bisogno di molti commenti (sono un codificatore dilettante)
Le entità:
Ilflussodascaricare:
Comeaggiornare:
In che modo si progetta mentre elabori i dati di grandi dimensioni?
Vorrei cambiare le classi di dominio.
Le classi:
O tutto può essere considerato come post o messaggi se si hanno gli stessi campi.
Puoi cambiare la classe statica di Utils in un'istanza di servizio in modo che possa essere sostituibile e testata.
Hai post 10K e commenti 30K e stai principalmente scartando questi dati per una migliore capacità di ricerca.
Prima di tutto: SQL non è adatto alla ricerca di query naturali, ad esempio se qualcuno cerca "Quale college è buono", prova a cercare la stringa esatta da te SQL e potrebbe non corrispondere a nessuno dei record.
Ti suggerisco di utilizzare SOLR o la ricerca elastica per le tue esigenze. SOLR ed Elastic Search offrono molte funzionalità per pulire i dati e fornire query naturali per la ricerca del contenuto (è più simile all'hosting di ricerca di google sul computer locale). In SOLR puoi creare un documento e mettere il contenuto al suo interno, qui il documento è il tuo post e il contenuto sono i commenti all'interno del post. Questo è molto più scalabile e fornisce risultati più pertinenti rispetto all'utilizzo di query SQL native per la ricerca del contenuto.