Acquisizione, archiviazione e gestione dei dati

Question

Acquisizione, archiviazione e gestione dei dati

#1 da (1 voti)
#2 da (0 voti)

1

Ho un dispositivo in grado di misurare diversi valori nel tempo, un campione al secondo. Dopo una misurazione, posso esportare i dati sotto forma di un file CSV. Una riga al secondo con timestamp e circa 20 colonne (valori).

La domanda ora è come archiviare queste masse di dati per rendere i dati accessibili. Voglio lavorarci con Matlab. Ho ad esempio 50 file di dati, ognuno dei quali rappresenta una corsa di misura. Ciascuno contenente circa 120 tsd. campioni di 20 valori di tipo float, ad esempio una temperatura.

Sarebbe bello se potessi richiedere tutti i campioni alla stessa temperatura, per esempio.

Quindi in realtà sto cercando un software in grado di gestire e organizzare tali dati o un suggerimento su come (e che tipo di) database creare.

Grazie per il tuo aiuto!

database data matlab

posta Simon 17.10.2011 - 08:30

fonte

2 risposte

Leggi altre domande sui tag database data matlab

Capire come funziona la chat audio / video nell'SDK di iPhone NoSQL Modifica le prestazioni delle operazioni

score 1 · Answer 1

Se conosci le domande esatte che vuoi chiedere dai dati e il tempo di risposta non è un grosso problema, puoi utilizzare un programma (scritto in qualsiasi lingua di tua scelta) per passare attraverso i dati preparare i riepiloghi ogni intervallo dato in modo che il volume dei dati diventa gestibile, quindi carica i sommari in un database gratuito come MySQL dove puoi usare SQL per ottenere i risultati oppure puoi caricare i sommari in Excel se il volume è piccolo.

In breve, se è necessario archiviare ogni record di dati senza aggregazione o riepiloghi, è necessario disporre di un processo per caricare i dati (eventualmente in lotti in base al tempo) in un database (SQL Server, Oracle, MySql, FoxPro, ecc.). Il processo potrebbe essere creato tramite un'utilità di database o uno strumento ETL.

La scelta dipende da quanti soldi vuoi spendere e dal livello di esperienza che hai con lo strumento scelto.

Esistono applicazioni in grado di elaborare dati molto grandi in memoria e produrre buone informazioni statistiche. Gli strumenti OLAP possono eseguire alcuni o tutti i precedenti oltre alla presentazione dei dati. (vedi per esempio: (Link-1) o ( R-link ).

I processi coinvolti nel soddisfare i tuoi requisiti sono coperti nelle aree di ETL, OLAP, Data Mart e Data Warehousing e Dashboards.

score 0 · Answer 2

MRTG può offrire qualcosa per te se sei preoccupato del comportamento generico e non del comportamento specifico quando il tempo scorre indietro. Sebbene sia un modo per consolidare i dati e non per memorizzarli con precisione.

Se hai solo domande specifiche che conosci in anticipo, puoi anticipare i tuoi dati. In caso contrario, è necessario disporre di un database o caricare tutti i dati in memoria e gestirli in questo modo.