IPSec ha molte modalità ma ci sono due forme principali di autenticazione per un tunnel IPSec tramite Internet Key Exchange (IKE) - IKEv1 e IKEv2 (più recenti) che supportano certificati 509.X o anche chiavi già condivise (come le password); la modalità IKE selezionata utilizzerà quindi diffie-hellman (se è selezionato nella configurazione, ad esempio) per scambiare una chiave simmetrica (come hai detto) per la sessione tunnel (se questa è la modalità che stai utilizzando). A questo punto hai una Security Association (SA) maturata. Ora che hai una chiave che utilizzerai per la sessione, IPSec ha due protocolli che incapsuleranno il tuo tunnel, AH ed ESP. AH, Authentication Header, fornisce l'autenticazione ma non la crittografia del tunnel. ESP, Encapsulating Security Payload, utilizza l'algoritmo di crittografia (3DES-CBC, AES-256-CBC, ecc.) Selezionato nella configurazione IPSec per incapsulare il traffico (tcp, udp, icmp, ecc.) Come si fa strada verso l'altro dispositivo con cui hai l'SA. Per vostra informazione, alcuni distributori supportano un mix di protocolli ESP / AH.
Se vuoi saperne di più su IKE e IPSec, controlla le RFC, sono molto dettagliate e informative.