Come accertare dagli utenti se l'ottimizzazione delle prestazioni ha avuto l'effetto desiderato [chiuso]

Quali domande dovresti chiedere agli utenti?

Here is the next version of our program. Please report any unexpected behavior.

A meno che i tuoi utenti non utilizzino i cronometri o il tuo programma abbia dei processi molto lunghi, è improbabile che gli utenti possano fornire altro che feedback soggettivo. E per l'ottimizzazione sarei più preoccupato per il comportamento non catturato dai test automatici rispetto a un aumento di velocità irregolare.

Dovresti preoccuparti dei dati piuttosto che della soggettività. Quindi dovresti monitorare / misurare / profilare per determinare i miglioramenti. Quel monitoraggio deve essere sia negli ambienti di produzione che di test (e dev).

Idealmente, non dovresti ottimizzare nulla finché dopo non vedi i risultati delle prestazioni. Altrimenti si rischia una "ottimizzazione prematura" che non migliora nulla di significativo e forse è stato uno spreco di tempo e denaro. È molto facile vedere un pezzo di codice e pensare: "Questo è terribile, non funzionerà mai bene". solo per scoprire in seguito che viene eseguito solo l'1% delle volte e il vero collo di bottiglia è da qualche altra parte.

Aggiungi un interruttore di configurazione per scegliere tra codifica vecchia e nuova e inserirla nel sistema di produzione. Eseguila una settimana con ogni impostazione, misura e confronta.

Non puoi misurare le prestazioni in un ambiente di sviluppo, prima e dopo le correzioni? Se è più veloce del 20%, di solito è sicuro assumere che sarà anche il 20% più veloce nella produzione.

Di solito dovresti riuscire a scoprire facilmente i principali colli di bottiglia nella tua infrastruttura dalle esperienze passate (o dall'esperienza di altri sviluppatori) e tenerne conto al momento della profilazione.

Il tuo problema qui è che stai coinvolgendo utenti come tester, non farlo.

La tua domanda è abbastanza valida - come funziona un'app quando arriva al "mondo reale", con CPU del mondo reale, carico utente, volumi di dati ... ma una volta che fai questa domanda, devi ottenere qualche obiettivo i dati sulle prestazioni e gli utenti non saranno mai molto utili per questi.

Quindi è necessario emulare il carico dell'utente, in un QA o in un ambiente di test delle prestazioni. Ottieni una rappresentazione dell'ambiente dell'utente finale, ottieni alcuni strumenti di test automatici che possono martellare il tuo sistema come se 10 o 10.000 utenti lo stessero utilizzando, popolando i set di dati con masse di dati fittizi. Quindi puoi eseguire i test e ottenere dati significativi. Quindi puoi anche rieseguire i tuoi test con una nuova versione del tuo sistema e vedere quali differenze ci sono.