Recentemente ho letto un articolo su Sicurezza dell'apprendimento automatico . Esistono casi di attacchi contro i sistemi di machine learning oltre ai filtri spam?
Recentemente ho letto un articolo su Sicurezza dell'apprendimento automatico . Esistono casi di attacchi contro i sistemi di machine learning oltre ai filtri spam?
Sì, ci sono recenti esempi di aggressori che hanno come obiettivo i sistemi ML per poi eludere il rilevamento. Il termine usato per lo studio di questo effetto è "Adversarial Machine Learning". Esistono numerosi documenti:
Una delle tecniche discusse è la tecnica della "rana bollente". Prende il nome dall'effetto che si può far bollire una rana viva senza che salti in salvo se il calore si alza lentamente. Gli attacchi che utilizzano questo metodo tentano di mistrere il sistema ML introducendo stimoli anomali a un fattore di anomalia molto basso, ma con alta frequenza. Nel tempo, il fattore di anomalia aumenta fino a quando il sistema ML impara a ignorare gli stimoli veramente anomali, a quel punto inizia l'attacco effettivo ai sistemi di destinazione. Poiché i sistemi ML sono stati addestrati a ignorarlo, l'attacco non viene rilevato. (La stessa tecnica è stata usata per anni contro le persone e le guardie di sicurezza).
Questo può essere fatto con filtri antispam, IDS, sistemi UBA e analizzatori Netflow.
Ad esempio: se hai acquisito le credenziali di un utente importante e desideri essere in grado di accedere come tale utente durante un periodo in cui normalmente l'utente non accede, puoi iniziare ad accedere utilizzando tali credenziali a tempi solo leggermente diversi dal normale schema dell'utente mentre non eseguono attività insolite. Dopo aver seminato i log con accessi sufficienti nel momento in cui si desidera eseguire la propria attività dannosa, è possibile tentare e sapere che non si attivano gli allarmi per il tempo di accesso anomalo. Sommando i registri con attività non dannose, l'analisi secondaria e terziaria dell'attività supporterà la decisione che l'attività non sia anomala.
Are there any real instances of attacks against machine learning systems?
Probabilmente i sistemi più noti basati su ML nella sicurezza delle informazioni sono i filtri antispam. Poiché l'invio di spam è un'attività lucrativa, questi filtri vengono attaccati molto facendo apparire più come non spam per una macchina. Molti degli attacchi mirano all'estrazione delle funzionalità, ad esempio includendo il testo invisibile non spam nell'HTML in modo che il filtro spam consideri che la maggior parte del testo non è spam e classifica il messaggio in quanto tale. Altri modi per eludere il filtro basato su ML è usare le ortografie alternative per le frasi apprese dal filtro come spam, cioè l'uso di errori ortografici, caratteri omografici, caratteri speciali unicode come spazi a lunghezza zero ecc.
Ci sono altri usi dell'apprendimento automatico e dell'euristica nella sicurezza delle informazioni. Non sono ben noti come filtri antispam ma si possono trovare almeno documenti che si occupano di rilevare attacchi drive-by-download basati su pattern URL, derivare la reputazione degli host in base alla cronologia DNS e ai record whois, rilevare le comunicazioni C & C basate sul malware sull'URL di destinazione, ecc. Gli aggressori ignorano tali metodi rendendo l'URL simile agli URL tipici di innocenti, agli host di compromesso con un'alta reputazione per diffondere il malware o utilizzare obiettivi innocenti come Twitter, blogspot ecc per C&C communication .
Leggi altre domande sui tag machine-learning research attacks threats