Come SFX sono file di programma eseguibili possono essere infettati almeno da un malware / virus / trojan, come qualsiasi altro programma. Tali malware possono essere utilizzati per installare software dannoso, direttamente o indirettamente (scaricando qualcosa, ad esempio).
Non so se ci sono specifici exploit legati a SFX però. Quanto sopra è generale ai file eseguibili. L'unica vulnerabilità SFX che ho trovato finora è questa , che non dimostra che non ci sia più dannoso.
La lettura di questo link da RARLab.com può essere interessante per ulteriori dettagli: link
Inoltre, quando si desidera decomprimere un SFX, nulla impedisce di aprirlo con WinRAR invece di eseguirlo come programma. In questo modo la parte eseguibile di decompressione dell'archivio non verrà eseguita. Questo è solo un primo livello di protezione anche se ancora una volta non sono sicuro che esistano exploit specifici di SFX.
Per quanto riguarda il rilevamento di tali malware, è tutto a carico del tuo antivirus. Fondamentalmente, non saranno rilevabili all'inizio ("il primo giorno") ma saranno probabilmente dopo il prossimo aggiornamento dei "malware definition files" del tuo antivirus. (Maggiori informazioni in merito a questa altra risposta: link )