Domande con tag 'big-data'

domande con tag
2
risposte

Il tagging manuale del contenuto è un inizio ideale per l'eventuale apprendimento automatico?

Sto assemblando un'app mobile che consente agli utenti di cercare, valutare e caricare foto di piatti nei ristoranti. Non ho esperienza di apprendimento automatico (solo FE / BE / Mobile) quindi per il momento stavo pianificando di completare au...
posta 02.05.2018 - 15:33
1
risposta

Come creare un'applicazione di database di base, precedentemente sviluppata per 500 record, pronta per 1 milione di record?

Ho scritto un'app web di base in PHP, usando MongoDB come motore di database. L'app inserisce fondamentalmente i record nel database non appena diventano disponibili e interroga il database e visualizza i dati come in una pagina Web quando l'ute...
posta 14.01.2018 - 06:20
1
risposta

Come aggiornare gli aggiornamenti frequenti in No-sql db (Cassandra) - architettura

Sto memorizzando alcuni dati in Cassandra, poi dopo averli analizzati mette in una tabella diversa, ho la sua aggregazione come giornaliera, settimanale, mensile, annuale. Ma dopo un po 'di tempo se un utente legge il contenuto, lo sto cambiando...
posta 04.01.2016 - 10:49
2
risposte

Algoritmi per strutture dati nel sistema distribuito

La struttura dei dati della tabella hash può essere facilmente diffusa su più macchine con un semplice algoritmo per distribuire le chiavi: machine_to_query = item_key % machine_count Quando si desidera leggere e scrivere coppie di valori c...
posta 25.01.2013 - 16:54
1
risposta

Algoritmo ML foresta casuale adatto per l'HPC basato su cluster?

Ho bisogno di aiuto per identificare un algoritmo migliore. Ho sviluppato uno script usando il pacchetto pythons scipy per analizzare un modello piuttosto grande che desidero risolvere. Il modello contiene oltre 12 GB di dati, inclusi oltre 5...
posta 18.06.2014 - 06:40
1
risposta

Sperimentare con "big data" e ridurre la mappa

Stavo pensando di sperimentare un po 'con l'uso di mapreduce e così su un set di dati che dobbiamo vedere se possiamo trarne beneficio in qualsiasi modo. Quale percorso dovrei andare se voglio essere in grado di istantaneamente, senza alcuna...
posta 04.06.2013 - 12:37
1
risposta

Come fare il rimando incrociato di molte codifiche di caratteri con ASCII o UTFx?

Sto lavorando con una struttura binaria, il cui scopo è quello di indicizzare il significato di bit specifici per qualsiasi codifica di caratteri in modo che possiamo attivare eventi mentre facciamo controlli specifici sul profilo. Ogni schem...
posta 02.10.2013 - 04:27
2
risposte

Come elaborare enormi quantità di dati con risorse di elaborazione limitate? [chiuso]

Ricevo quotidianamente da una fonte esterna una grande quantità di dati (circa 250 GB con 260 milioni di righe di testo a larghezza fissa) distribuiti su 5 file di testo. Sto scrivendo un'applicazione Java che dovrebbe combinare un primo gruppo...
posta 07.09.2018 - 12:58
1
risposta

Java BufferedReader vs Filetto consumatore produttore separato

Ho un file molto grande delimitato da una sequenza di caratteri '* L * I * N * E'. Il file sarà dell'ordine di 250G. E ogni riga arriva intorno a 600 byte a 1000 byte. Eseguirò le seguenti operazioni sul file, Leggi il file riga per riga e pe...
posta 18.07.2012 - 10:26
1
risposta

Spostamento dall'architettura Batch a Streaming mediante una struttura dati Graph

Il caso d'uso che sto cercando di risolvere è quello di assegnare milioni di utenti ai loro gruppi / segmenti. Ho migliaia di criteri diversi da cui vengono creati i bucket degli utenti. Per esempio. criteri del bucket: All married males in...
posta 21.05.2017 - 02:29