Lavoravo con un team su un software basato sul web. Abbiamo scritto ~ 70-80 test al selenio per il prodotto. Principalmente test di percorso felice con alcuni di regressione per bug segnalati dagli utenti.
Era la prima volta che la nostra azienda eseguiva test dell'interfaccia utente automatica end-to-end e sembra abbastanza utile. Abbiamo anche alcune storie di successo, come ottenere una regressione seria in una libreria che abbiamo usato (è stata sviluppata da un'altra squadra della compagnia).
Ad ogni modo, scrivere questi test richiede molto tempo, in parte perché non avevamo molta esperienza né con il Selenium né con il test automatico dell'interfaccia utente.
Dopo alcuni mesi di sviluppo, il mio team e il proprietario del prodotto hanno avuto l'idea che dovremmo fare statistiche su quanto tempo è stato necessario scrivere e mantenere questi test. (Solitamente abbiamo creato sottotask JIRA separati per i test del selenio in modo da ottenere un numero approssimativo.)
Ho paura che questo numero da solo possa fare una brutta impressione sul test. Come possiamo produrre un numero da abbinare a questo momento per mostrare i vantaggi dei test, così potremmo decidere se ne vale la pena (o meno)?
Possiamo scavare JIRA per i bug che sono stati catturati da questi test ma riassumere i loro tempi di lavoro registrati non sembra abbastanza buono. Correggere un bug catturato dai test automatici richiede meno tempo rispetto alla correzione di uno rilasciato dagli utenti e ci sono altri vantaggi, ad esempio, meno interruzioni per gli sviluppatori. Inoltre, catturare un bug durante uno sprint dà un feedback più veloce agli sviluppatori e di solito non abbiamo creato una sottoattività JIRA separata per questi.
È una buona idea riassumere questi valori temporali?