Domande con tag 'big-data'

domande con tag
1
risposta

Sviluppo di un sistema di analisi che elabora grandi quantità di dati, da dove iniziare

Immagina di scrivere una sorta di sistema di Web Analytics - stai registrando hit di pagine grezze insieme ad alcune cose extra come taggare cookie ecc. e quindi produrre statistiche come Quali pagine hanno ottenuto la maggior parte del traf...
posta 10.07.2012 - 21:00
2
risposte

L'approccio migliore per l'elaborazione di grandi dati su php

Sto cercando il miglior approccio per elaborare una grande quantità di dati usando PHP. Voglio creare un file xml da un database, quando eseguo il mio codice il sistema si fermerà con un errore di "timeout PHP", ho appena regolato il valore d...
posta 02.05.2018 - 10:48
1
risposta

QFS (Quantcast file system): scalabile per problemi di "big data" di media o solo per estremamente grandi

Sto facendo alcuni studi e ricerche sulla programmazione di "big data", e sono particolarmente interessato a QuantCast (QFS) perché è scritto nel mio linguaggio di programmazione preferito, C ++. Considerando come questo possa avere un ruolo...
posta 06.08.2013 - 14:30
2
risposte

Ricerca di modelli nei registri

Sto cercando di mettere insieme un modo per capire se gli incidenti si sono verificati in base al contenuto del registro. In genere, su log (o tabella DB) conterrebbe un elenco di transazioni composto come segue: {Timestamp} {TransactionID} {Mes...
posta 06.12.2013 - 22:32
1
risposta

Formato di archiviazione veloce per enormi nuvole di punti (lettura / scrittura veloce)

Sto lavorando con enormi nuvole di punti (1 miliardo di punti). Ho bisogno di elaborarli e visualizzarli, ma a causa della dimensione dei dati, non posso avere tutto in memoria allo stesso tempo. Prima di tutto, non sto chiedendo un tecnico c...
posta 13.03.2018 - 11:09
1
risposta

Near analytics in tempo reale da Cassandra con frequenti aggiornamenti

Abbiamo una pagina delle metriche di attività in cui gli utenti possono selezionare un periodo di date e vedere l'attività aggregata di altri utenti (per azione) e opzionalmente filtrare tutto con 4 o 5 campi. Le azioni avvengono in sequenza, ma...
posta 27.10.2016 - 21:55
1
risposta

Migliore soluzione di Azure per indice di ricerca complesso

Devo eseguire ricerche rapide su una combinazione di tag pur includendo intervalli di date: Esempio: Utenti che hanno richiesto le notifiche che non ha risposto a una notifica inviata almeno 3 giorni fa e a chi non sono state invia...
posta 06.05.2016 - 03:18
1
risposta

Ha senso archiviare istantanee giornaliere di dati e analisi?

Ho appena iniziato a lavorare su alcuni dati analizzati per un sito di e-commerce che sta movimentando circa 250.000 pacchi all'anno. È molto stagionale e deve cercare di ottenere informazioni sia a livello macro che micro. Sto solo cercando...
posta 21.03.2016 - 18:28
1
risposta

Come tenere traccia del cambiamento dei dati JSON nel tempo per un numero elevato di entità?

Ho un sistema che controlla lo stato di un gran numero di entità in orario ogni minuto. Per ogni entità, ci sarebbe un file JSON che ha campi che indicano gli stati per diversi attributi. Il sistema scarica questi file JSON su una condivisione d...
posta 30.11.2018 - 21:47
0
risposte

Hbase Spout o leggere tutti i dati da Hbase in Apache Storm

Ho una tabella Hbase con circa 200 milioni di righe con chiavi come hash sha, quindi distribuita da 00 ... 00 a ff ... ff. Voglio scrivere uno spout che mi dà tutte le righe (preferibile in batch di n) o in qualche altro modo in modo che io poss...
posta 31.07.2018 - 21:40