Best practice per la gestione di 1200 dati delle contee per 56 stati

0

Ho un problema complesso da risolvere, ho diversi file excel contenenti dati provenienti da oltre 1200 contee di 56 stati. Il problema è che la maggior parte delle contee ha alcune colonne che sono diverse dal resto delle contee. E una contea potrebbe trovarsi in più di uno stato e avere colonne diverse. Devo caricare questi file Excel nel database dall'applicazione Web.

Soluzione provata Finora Probabilmente la peggiore: Dispongo di tabelle piatte per ogni contea, l'utente di caricamento seleziona la contea e lo stato ei dati vengono inseriti nella rispettiva tabella flat della contea, quindi viene eseguita una procedura per quella contea che preleva i dati da questa tabella piana e li inserisce in un'unica tabella per tutti questi contee. Ho una tabella piatta separata e una procedura per ogni contea.

In fondo so che questo è il peggior tipo di soluzione che ho trovato. Qualsiasi aiuto o guida sarà molto apprezzato.

Trasmissione cast di dati campione

    
posta Aftab Ahmed 09.09.2016 - 08:49
fonte

1 risposta

1

Puoi utilizzare qualcosa oltre al nome della contea per identificare quella contea: nome e stato, codice postale o ID del database. Questo risolverebbe il problema di due contee con lo stesso nome.

Definisci una serie di concetti che soddisfano (la maggior parte dei) i dati che ricevi e le informazioni che desideri estrarre dai dati. Puoi definire i tuoi concetti, utilizzare concetti comuni trovati nei dati o utilizzare un modello di dati da un'agenzia centrale come US Census Bureau .

Quando il modello di dati di una contea definisce proprietà aggiuntive che desideri conservare, hai alcune opzioni:

  • Puoi usare tabelle specifiche che si collegano alle tabelle principali

    Una tabella per set coerente di proprietà specifiche della contea. Se alcune contee condividono un insieme di proprietà aggiuntive coerenti, tutte le contee condividono un'unica tabella per tali dati; non ci sono due tabelle con le stesse colonne per più contee.

  • puoi esaminare l'Entity-Component-pattern-pattern [2] utilizzato spesso all'interno della community di sviluppo del gioco:

    • Insieme coerente di colonne di dati per componenti;
    • i dati di una singola contea in un singolo momento saranno un'entità;
    • I sistemi
    • sono meno rilevanti nella tua situazione, non hai sicuramente bisogno di un 'circuito di gioco' principale che anima tutti i sistemi, forse il calcolo delle informazioni che si basa su determinati insieme coerenti di proprietà può essere visto come un sistema (I Non sono sicuro che visualizzare questi calcoli come sistemi ti aiuterà).

Fai attenzione ai dati che sembrano uguali (ovvero lo stesso nome di colonna nei file excel) ma che ha un significato diverso. Ciò può verificarsi sia tra le contee che tra i dati di periodi diversi dallo stesso conteggio (in questo dominio delle applicazioni le definizioni dei concetti cambiano nel tempo).

Avendo un modello di dati comune, puoi iniziare l'ardua attività di convertire dati specifici della contea (e del tempo) dai file excel caricati nel tuo modello comune. Si spera che la maggior parte delle definizioni dei dati siano condivise tra molte contee. Non è necessario convertire tutti i dati contemporaneamente. La versione 0.1 del software può utilizzare i dati più importanti che hanno una definizione condivisa da molte contee. Le versioni successive possono perfezionare la conversione aggiungendo le conversioni per dati meno comuni e magari reinterpretando i dati esistenti in modo diverso. Ogni volta che rilasci una nuova versione, ricontrolla tutti i file excel esistenti per ricevere i dati migliorati.

    
risposta data 09.09.2016 - 15:52
fonte

Leggi altre domande sui tag