Per stimare la funzione più veloce in vari casi in un contesto non completamente deterministico, eseguo un esperimento chiamando l'uno o l'altro a caso e registrando la durata dell'operazione sul server di produzione.
Ho questo tipo di tabella:
(i numeri diventano più grandi più io aspetto)
Un problema nell'interpretazione di questi risultati è che la deviazione standard è grande (cioè varie condizioni casuali hanno portato a durate molto disperse).
Quindi sto cercando un modo per stimare quando la differenza tra gli insiemi di campioni è significativa o meno, una sorta di divergenza statistica o, detto diversamente, una stima della probabilità che la differenza osservata non sia solo casuale ( Forse la teoria di Shannon? La legge di Poisson?). Se è una best practice o norma accettata, sarebbe un bonus.
Tieni presente che non riesco a tenere in memoria tutti i campioni (in questo momento memorizzo solo il numero di operazioni, la somma delle durate e la somma dei loro quadrati in modo da poter calcolare la deviazione standard).