Test automatizzati su contenuti dinamici

Sembra che tu stia sulla strada giusta per test automatici e dal vivo, ma hai alcuni fattori che complicano significativamente:

1. Il contenuto dinamico aumenta la difficoltà di specificare un test. Devi spesso dichiararlo in termini almeno leggermente più generici.

2. Ma molto peggio: altri test, eventualmente concorrenti, che si verificano in parallelo. Questo davvero aumenta la posta. Se altri test potrebbero aggiungere "Alice" o anche "Bob" mentre aggiungi "Bob", non puoi supporre che gli elementi si trovino in posizioni fisse nel set di dati, o che ci sarà un numero fisso di essi. Le tue condizioni di navigazione e di test devono essere definite in modo molto più flessibile e generico. E dovrai essere flessibile sui fallimenti. In un ambiente parallelo, alcuni test invariabilmente falliscono, anche se correttamente specificati. È inevitabile. Se qualcun altro esegue il test "elimina una riga casuale" o "elimina tutti i record che iniziano con le lettere A-F" mentre stai testando "aggiungi una riga Bob", la tua riga è a rischio. Nel corso del tempo, con test sufficienti, a volte il test in competizione vincerà occasionalmente. Lo farà anche essere un fallimento transitorio. Riesegui il test ed è improbabile che il i test si scontreranno ancora nello stesso modo. (I problemi transitori possono fare le cose vanno meglio, perché sono più rare, ma anche peggiori. Sono molto, molto più difficile da rintracciare, capire e correggere, perché dipendono dal tempo.)

Alcuni consigli:

1. Non rinunciare all'automazione. Quanto più complessi e dinamici sono i dati e il comportamento dell'applicazione, più importante è che i test siano automatizzati. Nei sistemi complessi. non avrai l'energia e la concentrazione per testare ripetutamente ogni comportamento. Nemmeno se hai una grande squadra che fa il lavoro. L'automazione è l'unica soluzione affidabile. Sii paziente mentre impari a specificare quei test in modi più flessibili e inclusivi.

2. Aumenta l'isolamento dei test. In questi giorni le istanze cloud, le macchine virtuali e gli ambienti virtuali sono incredibilmente economici. Forse puoi generare l'istanza della tua app da testare. Ciò eliminerebbe completamente il parallelismo bugaboos, semplificando il tuo lavoro. Ti consentirebbe inoltre di iniziare con set di dati pristine e predefiniti che carichi per ogni prova di test, o ogni volta che è opportuno per le tue esigenze di test. Tuttavia, so che potrebbe essere difficile. Sono stato in situazioni in cui la direzione ha insistito sul fatto che non potevamo permetterci istanze di test separate. Ho persino lavorato su prodotti commerciali dal vivo in cui era necessario testare alcune cose sui sistemi di produzione, con dati di produzione ( brivido ).

3. Aumenta l'isolamento dei dati. Anche se non puoi ritagliare il tuo test istanza (s), è ancora possibile aumentare l'isolamento dei test. Spesso uso dati ovviamente unici per fare ciò. Ad esempio, non aggiungere "Alice" e "Bob"; aggiungi "Alice_21387" e "Bob_21387", dove il suffisso è un indice generato casualmente per prova. Non è possibile aggiungere numeri a questi campi? Aggiungi lettere casuali. Ci sono poche possibilità che "Alicezcfh" e "Bobzcfh" vengano utilizzati da qualsiasi test in competizione.

4. Consenti ai test di fallire. La maggior parte dei framework di testing ha la capacità di aspettare e riprova i test. Usalo. Lascia che i tuoi test falliscano fino a N volte, con una seconda D ritardo tra le corse. Per molte webapp, N = 3, D = 15 farà il trucco. Se è no un'opzione integrata per il tuo runner di test, è abbastanza facile scrivere questo tipo di logica del test di ripetizione.

5. Rendi gli script di test più solidi in ciò che si aspettano come risultati. Ad esempio, se dopo un inserimento il record di "Bob" deve essere da qualche parte in una tabella, non scrivere un test che si aspetta che appaia esattamente sul numero di riga 42. Scrivere il test invece di aspettarsi "Bob" da qualche parte nel tavolo. (Suggerimento per @Doc Brown )

In sintesi, non rinunciare all'approccio automatico. Ci sono modi per farlo funzionare. È imperfetto, specialmente se stai testando un sistema che viene modificato durante il test. A volte dovrai rejigger, harden e migliorare i test man mano che procedi. Ma può essere pratico ed efficace. È anche la tua unica vera speranza. L'alternativa logica, test manuale ripetuto, non funzionerà mai con qualcosa di simile a facilità, velocità e affidabilità.