Quali sono le migliori pratiche per testare programmi con comportamento stocastico?

È utile aggiungere ganci, come suggerito, per ricreare stati esatti. Inoltre, strumenta il sistema in modo che possa scaricare i suoi "semi" (nel tuo caso, inclusi il seme PRNG e il buffer dell'anello del kernel, e qualsiasi altra fonte di input non deterministico.)

Quindi esegui i test sia con input casuale vero, sia con stile regressivo con eventuali casi interessanti scoperti in precedenza.

Nel caso particolare del tuo accesso al kernel, mi raccomando di fare un finto in ogni caso. Usa la simulazione per forzare le classi di equivalenza che hanno meno probabilità di apparire in pratica, nello spirito di "vuoto" e "pieno" per i contenitori, o "0, 1, 2 ^ n, 2 ^ n + 1, molti" per cose numerabili. Quindi puoi testare con la simulazione e con la realtà, sapendo di aver gestito e testato i casi che hai pensato fino ad ora.

Fondamentalmente, quello che sto suggerendo equivale a un mix di input deterministici e non deterministici, con quelli deterministici che sono un mix di quelli a cui riesci a pensare e quelli di cui eri sorpreso.

Una cosa ragionevole da fare è seminare il generatore di numeri casuali con un valore costante per i test, in modo da ottenere un comportamento deterministico.

Penso che i test statistici siano l'unico modo. Proprio come i numeri casuali sono "testati" per casualità da test statistici, quindi devono essere algoritmi che usano comportamenti casuali.

Basta eseguire l'algoritmo più volte con input uguali o diversi e confrontarli tra loro. Il problema con questo approccio è l'enorme aumento del tempo di calcolo richiesto per completare il test.

Non sono uno specialista in questo settore, ma esiste una letteratura scientifica relativa al test del programma stocastico.

Se non è possibile creare facilmente classi di test, è possibile utilizzare un test statistico, come affermato da #Euphoric. Borning et al. mettono a confronto un approccio tradizionale e uno statistico. Una generalizzazione dei test statistici suggeriti da @Euphoric potrebbe essere quella discussa da Whittaker. Ha suggerito di creare un modello stocastico del comportamento desiderato (stocastico, nel tuo caso) e quindi generare casi di test specifici da questo modello (vedi il suo articolo dedicato ).