Sembra che tu abbia alcune idee sbagliate su IPsec. L'utilizzo della protezione dell'integrità per ESP non ha nulla a che fare con AH. Quindi non è una chiave AH che stai specificando con auth sha1 "" , ma una chiave di protezione / autenticazione e algoritmo di autenticazione per ESP (con "" ottieni solo una chiave zero).
L'uso della crittografia ESP senza protezione dell'integrità non è generalmente raccomandato (ad esempio, direttamente nell'introduzione di RFC 4303 che specifica ESP) e il kernel impedisce di farlo in modalità FIPS. Se controlli crypto / testmgr.c nei sorgenti del kernel (4.14.15 collegato qui) vedrai che non esiste una definizione per authenc(digest_null,cbc(des3_ede)) , che è ciò che la tua SA usa, con fips_allowed = 1 (in realtà , non esiste alcuna definizione authenc con digest_null a tutti).
La combinazione di ESP con AH è possibile e richiede la definizione di ESP e AH SA separati e quindi politiche IPsec che li combinano. Quindi su Linux in modalità FIPS apparentemente supportato solo se ESP è ancora utilizzato con protezione dell'integrità. Impostando il troncamento ICV per ESP a 0, si potrebbe probabilmente evitare l'overhead aggiuntivo sulla rete, ma il sovraccarico computazionale di avere due servizi di protezione dell'integrità rimarrebbe (l'uso di un algoritmo in modalità combinata come AES-GCM per ESP potrebbe migliorare un po ' ).
In ogni caso, la combinazione di ESP e AH non è quella comune e sconsigliata, invece usare ESP con un algoritmo in modalità combinata come AES-GCM o ChaCha20 / Poly1305 (non ancora certificato FIPS) è la raccomandazione generale per la loro efficienza, vedi < a href="https://tools.ietf.org/html/rfc8221#section-4"> RFC 8221 .