I database delle serie temporali sono utili per dati non numerici?

Question

I database delle serie temporali sono utili per dati non numerici?

#1 da (2 voti)

2

Ho un'enorme serie temporale (circa 30 milioni) di percorsi di rete con il seguente formato:

timestamp, path, latency

Il percorso è una sequenza di indirizzi IP, quindi può essere rappresentato come una stringa o una matrice di numeri interi. Attualmente i dati sono memorizzati in file di testo, il che rende molto lenta l'analisi e l'interrogazione dei percorsi. Mi è stato suggerito di utilizzare un database di timeseries (TSDB), come InfluxDB o OpenTSDB, per memorizzarli in modo efficiente, ma alcune letture di background che ho fatto suggeriscono che i TSDB sono appropriati per valori numerici. Ad esempio, OpenTSDB menziona:

OpenTSDB is a time series database. A time series is a series of numeric data points of some particular metric over time.

C'è qualche ottimizzazione che otterrò dall'usare un TSDB invece di un DB relazionale nel mio caso, e in generale per gli timeseries che includono valori non numerici?

Le domande principali che ho intenzione di fare sono fondamentalmente ottenere tutti i percorsi tra due timestamp, controllare se ci sono cambiamenti di percorso e come questi cambiamenti influenzano la struttura. Inoltre, potrebbe essere necessario cercare il percorso con hop specifici (ad esempio selezionare tutti i record in cui il percorso include l'IP hop 1.2.3.4 ) o tutti i percorsi con latenza su una determinata soglia.

database performance relational-database analytics

posta Vasilis 25.03.2017 - 21:42

fonte

1 risposta

Leggi altre domande sui tag database performance relational-database analytics

Mapping di oggetti di business ai loro relatori Struttura del progetto per multipiattaforma?

score 2 · Accepted Answer

Sì . Supporto per database di serie storiche che raggruppa elementi categoriali (non numerici).

Ad esempio, diciamo che esisteva un database di serie temporali che memorizzava la lettura della temperatura da più sensori IoT: il nome del sensore sarebbe una stringa (quindi non numerica). Un filtro o un'operazione di gruppo può essere eseguita sul database per questo particolare sensore a causa della sua memorizzazione.

Tuttavia, nel tuo esempio specifico, usi un indirizzo IP.
L'indirizzo IP è numerico .
L'indirizzo IPv4 si estende su 32 bit, quindi è possibile memorizzarli come numeri interi a 32 bit se lo si desidera. E poiché le ricerche e il subnetting possono essere astratti in aritmetica intero, qualsiasi operazione eseguita su un indirizzo IP può essere eseguita su un intero.

Se si desidera cercare un percorso con hop specifici, è sufficiente cercare un elenco di numeri interi. Puoi persino estenderlo per cercare un elenco di numeri interi all'interno di un intervallo (hop all'interno di una sottorete specifica).