Reti neurali e rilevamento anomalie

22

Le reti neurali, con la loro capacità di apprendere modelli comportamentali da dati arbitrari, sembrano un modo naturale per affrontare il rilevamento delle intrusioni. Ci sono molti articoli accademici sull'argomento che riportano buone prestazioni e un potenziale ancora migliore.

La domanda è: ci sono implementazioni nella vita reale? C'è un singolo firewall intelligente, o un modulo firewall, o qualche altro tipo di un rilevatore di intrusioni intelligente che utilizza effettivamente NN?

    
posta anna-earwen 30.08.2012 - 15:25
fonte

5 risposte

12

C'è stata un'enorme quantità di ricerche sull'uso delle tecniche di machine learning per rilevamento di anomalie , ovvero, per analizzare il traffico di rete e rilevare le intrusioni. Tuttavia, questa ricerca ha avuto un impatto pratico molto limitato. Queste tecniche hanno visto poca diffusione e sono raramente utilizzate nella pratica.

Perché no? Ci sono una serie di motivi.

In primo luogo, questi sistemi tendono ad avere un alto tasso di falsi allarmi. Spesso sollevano più allarmi spuri al giorno (a volte anche dozzine al giorno), che richiede tempo per gli amministratori di sistema. Questa è una sfida fondamentale per i sistemi di rilevamento delle anomalie, perché soffrono del problema dell'ago in un pagliaio: miliardi di pacchetti attraversano la rete ogni giorno e quasi tutti sono benigni. Se l'algoritmo ha un tasso di falsi allarmi inferiore allo 0,1%, ciò significa che migliaia di pacchetti vengono falsamente segnalati. Per essere pratico, l'algoritmo di rilevamento delle anomalie deve avere un tasso di falsi allarmi eccezionalmente basso, che è molto difficile da fare bene - per la stessa ragione per cui è molto difficile individuare i terroristi nello screening aeroportuale, senza introdurre molti falsi allarmi questo fa sì che la gente comune debba essere perquisito.

In secondo luogo, i sistemi di rilevamento delle anomalie tendono a non essere molto robusti. Si concentrano sul rilevamento di modelli insoliti o nuovi nel traffico di rete: qualsiasi cosa fuori dall'ordinario. La conseguenza è che, ogni volta che qualcosa cambia sulla tua rete, non importa quanto benigna, tendono ad aumentare gli allarmi. Il tuo sito web è appena diventato slashdotted? Blam, gli allarmi spuri impazziscono. Qualche utente ha installato una nuova applicazione che riproduce nuovi giochi NAT traversal? Blam, ecco che arrivano gli allarmi spuri. Qualcuno ha appena installato IPv6 per la prima volta? Blam. Qualcuno connette un nuovo telefono cellulare con uno stack TCP / IP fastidioso, che invia pacchetti spezzati? Blam. Hai un'idea.

Se vuoi saperne di più sulle sfide dell'innovazione in questo settore, ti consiglierei i seguenti documenti di ricerca:

risposta data 01.09.2012 - 05:37
fonte
6

Il problema con ML è con la formazione. L'allenamento eccessivo porta ad abbinare il set di allenamento esatto, rendendo l'apprendimento non generico.

Dato che il mio attuale datore di lavoro sviluppa librerie di calcolo scientifiche per Python, posso puntare a mappare-ridurre su Disco per trovare cluster comuni nei file di registro: link

Questo non è un NN, ma è un modo per analizzare i dati.

With the help of SLCT, one can quickly build a model of logfile(s), and also identify rare lines that do not fit the model (and are possibly anomalous).

    
risposta data 30.08.2012 - 18:49
fonte
4

Dubito che tu possa trovare qualsiasi prodotto commerciale poiché questo dominio è altamente commercializzato e la loro non è quasi nessuna implementazione open source disponibile e la maggior parte del lavoro è fatto in un ecosistema chiuso. C'è stata una discussione su questo argomento che puoi trovare all'indirizzo link L'unico strumento open source che ho trovato era OSSEC è un Intrusion Detection basato su host e c'è una recente ricerca sull'integrazione con le tecniche di IA e c'è anche un libro su di esso che puoi trovare interessante.

    
risposta data 30.08.2012 - 20:18
fonte
2

Dato che l'intelligenza artificiale è il mio lavoro principale, posso dirvi subito che l'NN da solo è una soluzione inutile per l'architettura dinamica.

Quello che stai cercando è l'automazione tra NN < = > Operatore.

Funziona in questo modo, ad esempio:

  • NN è addestrato a riconoscere il malware esistente
  • Il nuovo malware viene ispezionato dal team di risposta.

Non ci sono applicazioni esistenti come dici tu perché non è fatto in questo modo, non ha futuro ed è intrinsecamente mal progettato per usare NN per creare architetture dinamiche.

Ciò che viene utilizzato è in realtà la classificazione bayesiana e altri metodi euristici. L'implementazione di esempio è Cloud Exchange di Microsoft. Sta anche utilizzando l'architettura a più livelli.

Se vuoi veramente provare a fondo e seguire la via scientifica, devi analizzare ogni livello di sicurezza in tempo reale e rendere il flusso di lavoro con l'operatore.

Questo forum non è un buon posto per fare domande del genere, dato che non ci sono esperti di intelligenza artificiale, o addirittura non ingegneri, puoi provare MSDN che è il posto migliore.

    
risposta data 30.08.2012 - 21:03
fonte
1

Abbiamo trovato un altro articolo sull'argomento: "Rilevamento delle intrusioni di rete basato su anomalie: tecniche, sistemi e sfide" , di García-Teodoro et al, 2008.

    
risposta data 03.10.2012 - 09:14
fonte

Leggi altre domande sui tag