Se uno strumento ETL viene utilizzato per spostare i dati da un database OLTP in un database di "reporting di business intelligence", esiste un metodo standard per testare automaticamente che i dati nel database di report siano accurati e corretti?
NOTA: non sono interessato a testare la funzionalità dello strumento ETL stesso solo che il DB risultante corrisponde a quanto previsto.
"only that the resulting DB matches what is expected"
Quindi è necessario prendere alcuni set fissi di dati di test, eseguire il processo ETL e confrontare il contenuto del DB risultante con una serie di dati di riferimento. Questo è tutto. I set di dati di test dovrebbero essere abbastanza piccoli da consentire di verificare il risultato in un ragionevole lasso di tempo e abbastanza complessi da coprire tutti i passaggi importanti del processo ETL.
Il modo in cui fai il confronto tecnicamente dipende da te, dipende dallo specifico sistema di database, dalla disponibilità e dalle dimensioni dei dati di riferimento, dalle dimensioni complessive e dalla complessità del tuo sistema, dagli strumenti che hai a portata di mano per dare un significato confronto, i tuoi limiti di tempo, il livello richiesto di dettaglio del confronto, il tuo livello di abilità personale e così via. Non esiste una soluzione "taglia unica" per questo, è necessario trovare ciò che si adatta meglio alle tue esigenze e personalizzare il tuo ambiente per questo.
Se si sta considerando la migrazione dei dati (senza trasformazioni) è possibile implementare un checksum (valore hash) di alcuni dati selezionati sia dall'origine che dalla destinazione, se corrispondono corrispondono a quasi una migrazione completa e onesta
Tuttavia, i valori di hash potrebbero scontrarsi in alcuni rari casi, quindi potresti prendere in considerazione due o più controlli per garantire l'integrità.