Quali sono le caratteristiche di un buon software di generazione di report per la reportistica e il tracciamento dei risultati di benchmarking del software?

4

Questa è una domanda derivata da questo risposta a una precedente domanda , dove link è evidenziato come esempio con una buona presentazione.

(Tuttavia, mi sembra che il progetto non separi le componenti di esecuzione / tracking / generazione di report / web-service, il che rende più difficile l'adozione da parte di altre persone.)

Sono interessato ai requisiti funzionali e di interfaccia utente di tale software. Spero di poter scegliere uno esistente in base ai criteri in modo da poterlo utilizzare nel mio progetto.

In questo momento, l'unica cosa che posso pensare è che l'interfaccia utente di esecuzione dovrebbe essere simile a un'unità di test del cablaggio, ma l'interfaccia utente di reporting dovrebbe essere totalmente diversa dalla famiglia di software xUnit. Le pagine Web sembrano essere un modo migliore per navigare tra i risultati.

E, insieme ad alcune idee minori:

  • Ci dovrebbe essere un componente di tracciamento per tenere traccia delle variazioni delle prestazioni a tutti i livelli
  • Tuttavia, il livello di presentazione dovrebbe evidenziare solo cambiamenti di prestazioni "pertinenti", ovvero, le prestazioni diminuiscono in aree importanti che sono abbastanza gravi da richiedere l'attenzione degli sviluppatori.

Sono anche interessato a sapere se è possibile applicare qui alcuni dei consigli di Edward Tufte .

    
posta rwong 09.05.2011 - 03:14
fonte

1 risposta

1

Potresti trovare questa domanda così interessante sugli strumenti di benchmarking (macro) per java (anche se usi una lingua diversa):

  1. per le misure di runtime, ci sono molti aspetti tecnici da considerare, principalmente ottimizzazioni;
  2. per le misure di runtime, le statistiche sono molto importanti, ma pochissimi strumenti li implementano;
  3. ci sono molti strumenti di monitoraggio che offrono un'unità di test o di registrazione come il cablaggio e un'interfaccia di reporting standardizzata (JMX), proprio come pensavi;
  4. I punti 2 e 3 sono in qualche modo contraddittori: l'esecuzione deve conoscere il reporting per fare le statistiche giuste, cioè essere in grado di decidere quanto spesso alcuni codici dovrebbero essere eseguiti e misurati per ottenere una sufficiente sicurezza statistica;
  5. un buon strumento che è abbastanza indipendente dalla lingua è Auto-pilot.
risposta data 14.09.2011 - 00:36
fonte