Sto sviluppando sistemi di elaborazione ad alto volume. Come i modelli matematici che calcolano vari parametri basati su milioni di record, calcolano campi derivati su milioni di record, elaborano file enormi con transazioni ecc ...
Sono ben consapevole delle metodologie di test delle unità e se il mio codice è in C # non ho alcun problema nel test delle unità. Il problema è che spesso ho codice in T-SQL, codice C # che è un assembly memorizzato SQL e flusso di lavoro SSIS con una buona quantità di logica (e risultati, ecc.) O qualche processo SAS.
Qual è l'approccio che utilizzerai nello sviluppo di tali sistemi. Di solito sviluppo diversi test come procedure memorizzate in uno schema progettato (TEST), quindi li eseguo automaticamente durante la notte e controllano i risultati. Ma questo è solo per T-SQL. E l'integrazione continua è difficile. Ma il problema è con la verifica dei pacchetti SSIS. Come lo test? Qual è il tuo approccio preferito per lo stub dei dati nelle tabelle (specialmente se hai bisogno di un'inizializzazione di molti dati). Ho qualche approccio derivato nel corso degli anni ma forse non sto leggendo abbastanza articoli.
Quindi gli sviluppatori di Banking, Telecom, Risk sono là fuori. Come puoi testare le tue applicazioni mission-critical che elaborano milioni di record al giorno di fine, alla fine del mese ecc.? Che quadri usi? Come convalidate che il vostro pacchetto ssis è corretto (come lo sviluppate) / Come ottenete un'integrazione continua in tale ambiente (Personalmente non ci sono mai arrivato)? Spero che questa non sia una domanda a risposta aperta. Come si fa a testare i lavori di ridimensionamento della mappa, ad esempio (non uso hadoop ma questo è abbastanza simile). luke
Spero che questo non sia troppo aperto