Ha senso archiviare istantanee giornaliere di dati e analisi?

Question

Ha senso archiviare istantanee giornaliere di dati e analisi?

#1 da (1 voti)

0

Ho appena iniziato a lavorare su alcuni dati analizzati per un sito di e-commerce che sta movimentando circa 250.000 pacchi all'anno. È molto stagionale e deve cercare di ottenere informazioni sia a livello macro che micro.

Sto solo cercando alcune best practice su come iniziare. Devo eseguire uno script giornaliero che guardi diversi punti chiave e quindi archiviarli come un'istantanea per quel giorno in qualcosa come ElasticSearch? Devo eseguire l'analisi su richiesta?

Il mio pensiero attuale è che l'archiviazione dei dati è molto più economica dell'elaborazione dei dati e dovrei analizzare una piccola quantità di dati ogni giorno e archiviare i risultati in un apposito archivio dati in grado di presentare visivamente.

e-commerce big-data

posta Jeremy H. 21.03.2016 - 18:28

fonte

1 risposta

Leggi altre domande sui tag e-commerce big-data

chiamate api multiple vs apis più complessi Creazione condizionale di oggetti in fase di esecuzione utilizzando Spring.NET

score 1 · Answer 1

Sì, questo ha senso.

È prassi comune, quando si dispone di sistemi transazionali con enormi database, di eseguire report analitici su un sistema di business intelligence separato.

A seconda dell'oggetto dati e dei vincoli tecnici, le strategie comuni sono:

per replicare i dati in modo asincrono (specialmente con i dati master che non si evolvono tutti troppo spesso)
per scattare istantanee dei nuovi dati (soprattutto per tabelle enormi)
o per scattare istantanee dall'intero oggetto dati (di solito solo quando qualcosa si è rovinato, o se c'è una modifica nella struttura dati che lo richiede)

L'aggregazione (ad esempio dati di vendita giornalieri / settimanali / mensili) viene eseguita di conseguenza. Si noti tuttavia che le istantanee di solito non rappresentano una soluzione temporanea per i timestamp sui dati, poiché la correzione può avvenire in uno snapshot, per correggere i dati riepilogati nelle istantanee precedenti.