Quali database di serie temporali possono supportare un'elevata cardinalità?

L'esecuzione di query complesse in tempo reale su dati di grandi serie temporali non è scalabile. Mette un carico irragionevole sul tuo negozio e non funzionerà bene indipendentemente dal database utilizzato. L'unica volta che dovresti interrogare il tuo database delle serie temporali direttamente è quando vuoi esaminare singoli eventi (ad esempio una tabella di eventi o guardare una singola voce di registro).

Dovresti indicizzare i tuoi dati in modo che sia scalabile per eseguire una query. Ad esempio, puoi aggregare le visualizzazioni per un periodo di tempo (minuti, ore, giorni, settimane) o raggruppate in base ad un'altra metrica ( referrer , event type o domain ), quindi quando devi eseguire una query per le visualizzazioni di una data entità per un mese, stai interrogando centinaia di righe, non milioni.

L'indice può essere memorizzato dove vuoi (ad es. abbiamo memorizzato il nostro in un database relazionale) perché il carico e la dimensione dei dati dovrebbero essere molto più piccoli. È possibile creare l'indice mediante una pipeline di analisi del flusso o periodicamente mediante un processo batch. L'utilizzo dell'analitica di streaming significa che i dati saranno (quasi) immediatamente disponibili per l'interrogazione, ma sarà probabilmente più complesso farlo correttamente. L'elaborazione batch avrà una certa latenza prima che i dati siano interrogabili, ma è più facile da implementare (di solito solo un processo cron eseguito periodicamente e indicizza i dati più recenti). Per un framework di analisi del flusso, controlla Apache Streaming di streaming . Per l'elaborazione in batch, Apache Spark è una scelta popolare.

Potresti provare Druid, è abbastanza veloce per le query ad hoc link