Come memorizzare grandi serie di dati di test. Idiota? [duplicare]

0

Abbiamo un'applicazione per la fotocamera che esegue misurazioni su immagini. Abbiamo una funzione per il salvataggio di una "demo" contenente le immagini / dati utilizzati e per riprodurla a scopo di test. Usiamo tali set di dati per diversi test. Al momento disponiamo di questi set di dati memorizzati su un server, accedendoli direttamente nel file system.

Attualmente sto lavorando a una suite di test in cui eseguiamo grandi quantità di demo (dati da ~ 500 GB) per garantire la stabilità dei risultati delle misurazioni. Ogni caso di test è un insieme di demo, insieme a informazioni di configurazione per il framework di test e il software.

Ottenere i dati attualmente è fatto copiando i contenuti sul server sul computer di prova una volta ogni tanto. Questo richiede molto tempo e non è perfetto (non cancella i file sul computer se vengono cancellati sul server ..)

Inoltre desidero molto le informazioni di installazione nel controllo della versione. Abbiamo già riscontrato problemi in cui la modifica dei dati di installazione è stata un problema.

È possibile usare git per questo? Sembra risolvere entrambi i problemi, basta chiamare git pull. Non sembra giusto aggiungere grandi quantità di dati binari a git, tho.

    
posta Petter TB 05.04.2018 - 14:08
fonte

1 risposta

0

Dipende da dove si trova l'ambiente del tuo database. Se si trovava in AWS, allora una possibile risposta è di avere un bucket S3 con il quale le sottocartelle immediate sono nominate per il numero di versione git rappresentato dai loro dati. Ciò che va sotto il controllo del codice sorgente è il nome della sottocartella all'interno del bucket e le istruzioni di caricamento di massa per caricare il database. Ci sono alcune discipline necessarie per fare questo lavoro. * Le vecchie versioni devono essere considerate immutabili. * Un carico di dati fallito = una build fallita. Come stai facendo, assicurati che ci siano test per garantire che i dati caricati siano come previsto anche se non vengono lanciati errori espliciti.

    
risposta data 05.04.2018 - 17:03
fonte

Leggi altre domande sui tag