Strumenti automatici e recensioni manuali

Alcune buone risposte qui, ma penso che mancassero alcuni punti:

• Gli strumenti automatici finiscono molto più velocemente dei test manuali, per ordini di grandezza.
• Gli strumenti automatici coprono l'ampiezza, ma è necessario un test manuale per la profondità. (Larghezza sia nella gamma di attacchi / test, sia nel sondaggio di tutte le interfacce / linee di codice).
• Gli autotools sono ottimi per i comuni frutti a basso impatto, ma se hai bisogno di aumentare il livello di sicurezza dovrai approfondire manualmente.
• Il test manuale non può coprire ogni bit del sistema (che si tratti di linee di codice, assembly decompilati, pagine web e parametri, servizi Web, ecc.), mentre gli autotools sono ottimi per questo.
• Come ha detto @Andreas, a volte c'è un vettore complesso, che gli autotools non possono immaginare, ma sarà ovvio per un esperto.
• Gli Autotools non possono testare i difetti della logica di business, ma cacciano solo i difetti tecnici - e quelli più comuni, a tale scopo.
• Il test manuale non è coerente.
• Il test manuale dipende dall'abilità del singolo tester (oh, l'horror !!), ma è davvero necessario sapere cosa stai cercando.
• Allo stesso modo, con i test manuali non è possibile ottenere il test di regressione.
• Gli autotools vengono aggiornati automaticamente con i nuovi exploit, ma un essere umano di solito non ricorda tutti i vettori che ha letto circa due anni fa ...
• D'altra parte, gli autotools verranno aggiornati solo una volta ogni volta, ma un essere umano può apprendere una nuova tecnica sculacciata e implementarla il giorno successivo.
• Gli autotools di solito includono un'alta percentuale di falsi positivi (dal 30% a oltre il 90%, a seconda della metodologia e della scelta del prodotto).
• Gli autotools di solito hanno una suite di reporting decente.

Linea di fondo? Entrambi hanno un posto e dovrebbero essere entrambi utilizzati nel contesto corretto. Per le app di bassa qualità, per prima cosa aggiorna tutto ciò che l'autotool può trovare e non preoccuparti di investire ancora in una corretta revisione manuale. Quando aumenti il livello di sicurezza e ti sbarazzi del frutto basso in sospensione, vai alla distanza ed esegui una revisione manuale approfondita. E, quando esegui test manuali: il primo passo, è l'esecuzione del blocco automatico, filtrare i risultati, POI iniziare il vero test.

Professionisti automatici:

• Veloce: controlla per volta;
• Non richiede attenzione (soprattutto);
• Può essere programmato e segnalato;

Svantaggi automatici:

• Non copre i vettori di attacco intelligente;
• Non garantisce sempre il controllo completo del processo;

L'approccio manuale converte fondamentalmente pro / contro automatici ai loro contro / pro. Ma l'approccio manuale richiede una conoscenza più approfondita del soggetto.

La semi-automazione è la risposta. Gli strumenti automatizzati di pilotaggio dell'intelligenza umana sono la soluzione migliore per massimizzare la copertura e la profondità del test, né l'uno né l'altro.

Cosa funziona: persone intelligenti alla guida degli strumenti.

Che cosa fallisce: Tutto il resto.

Gli strumenti automatici perdono le cose e segnalano le cose in modo falso, richiedendo quindi un lavoro manuale.

Pertanto, tutto il lavoro automatizzato crea più lavoro manuale.

Potresti anche voler vedere la mia risposta a questa domanda su White-box vs Black-box dove spiego le migliori pratiche dettate dalla letteratura.

Gli strumenti automatici possono fare alcune cose meglio di un umano e viceversa.

Gli strumenti automatici, ad esempio, possono provare centinaia di modi diversi per trovare una vulnerabilità XSS, più di quanto un umano possa ricordare. Ogni volta che qualcuno trova un nuovo modo di fare XSS, viene aggiunto allo strumento e verrà testato per questo.

D'altra parte questi strumenti non sono intelligenti, non traggono conclusioni. Un umano potrebbe concludere che quando fai X a pagina 1 e Y a pagina 2, il risultato sulla pagina Z sarà diverso da quello eccetto.

In un post recente , I leggi che Radware ha scoperto che gli attacchi che durano solo un'ora o meno sono in aumento - e più della metà dei tre attacchi più importanti è caduta in quella categoria. Le implicazioni di questi risultati sono chiare. È probabile che molto presto, anche le campagne di attacco lunghe saranno basate su brevi esplosioni di traffico - esplosioni che sono difficili, se non impossibili, per gli uomini a mitigare efficacemente. Mi sembra quindi che la sicurezza automatizzata sia il futuro, tuttavia, ci deve essere ancora un elemento umano per configurarlo correttamente.