Sistema di tipo generico [chiuso]

Question

Sistema di tipo generico [chiuso]

#1 da (2 voti)
#2 da (2 voti)

-2

Sto cercando un sistema simile a IoT che deve gestire una vasta gamma di complessità dei dati. Ad esempio, mi piacerebbe modellare una "cosa" e so che tutte le cose hanno una posizione. Tuttavia, quando i dati effettivi arrivano da queste cose (da diversi fornitori), è possibile scrivere qualcosa come la latitudine, potrebbe avere diversi standard di denominazione (vendor1 = lat, vendor2 = latitude). Voglio creare un modello astratto a livello di applicazione che sappia gestire queste lacune. Preferibilmente usando una rappresentazione di dati XML (cioè, potrei usare uno std come OAGIS / MIMOSA).

Un paio di domande:

1) Qualcuno ha fatto qualcosa di simile?

2) Sembra che potrebbe essere fatto a livello di ingestione dei dati (cioè, armonizzare tutti i dati in 1 def di lat) o potrebbe essere fatto al momento della query (quando qualcuno esegue un'API, trova la colonna giusta e la restituisce ). Qualcuno ha fatto un confronto tra questi due modelli?

architecture data-structures type-systems

posta user1116536 27.01.2017 - 19:06

fonte

2 risposte

Leggi altre domande sui tag architecture data-structures type-systems

Qual è l'equivalente di parola a 16 bit in decimale? Come progettare un sistema di distribuzione delle richieste (Un po 'simile a Uber)

score 2 · Answer 1

Se i dati provenienti da fonti diverse sono in XML, potresti avere un set di trasformazioni XSL (probabilmente uno per ogni sorgente di input distinta) che formatta tutti i dati in un unico formato comune conforme a uno schema XML che tu definisci. Ho fatto qualcosa di simile, ha funzionato per me.

Se alcuni dei tuoi dati in arrivo sono in un formato diverso dall'XML, dovrai o trasformarlo in XML in qualche modo o trovarlo in un altro modo.

score 2 · Answer 2

Avendo fatto un paio di cose simili, non IOT, direi che il modello di ingestione dei dati è preferito. Quando arrivano i dati, sai da dove proviene e da cosa , in modo che sia lo stadio naturale per mappare i dati in un formato uniforme. Altrimenti dovrai tenere traccia di quale sia esattamente il sensore / input / fonte da cui provengono i dati, (cosa non troppo brutta in ogni caso), avere un tipo di memoria non-eterogeneo, ri-analisi e amp; Trasforma ogni elemento di dati in anche di cose come richiedere un risultato ordinato, ecc.

Pensando al tuo esempio ci sono numerosi formati per il trasferimento di latitudine e amp; longitudine tra i dispositivi e se hai bisogno di raggruppare tutti i campioni all'interno di una specifica area geografica le tue esigenze di elaborazione crescono enormemente se devi convertire ogni coppia di letture e confrontare i limiti.

Dal punto di vista cinico, o esperto , raccomanderei, se lo spazio lo consente, di memorizzare anche i dati grezzi e i tipi di origine. Diverse volte ho avuto mesi di dati che potrebbero essere duplicati solo a un costo elevato, ad es. diversi mesi di dati di test "bake and shake" che sono stati scoperti, in modo retrospettivo, erano stati catturati con funzioni di trasferimento errate. Avere i dati grezzi ci ha permesso di ri-trasformare le letture interessate e rivalutare i risultati.