Se una chiave SSH è protetta da una passphrase, viene crittografata con quella passphrase. Non c'è un componente di autenticazione aggiuntivo. Cioè, è possibile decodificare la chiave lato client (e memorizzare la chiave decrittografata), e il server non lo saprà mai. Infatti, molti utenti utilizzano "agenti chiave" che consentono di immettere la passphrase di decrittografia solo una volta e il materiale chiave viene memorizzato durante la sessione di accesso della workstation.
È tuttavia possibile richiedere sul server SSH sia una passphrase che una chiave SSH, in cui la passphrase è la normale password dell'utente del server. Se la chiave SSH è crittografata (e non si sta utilizzando un agente chiave), in realtà si tratta di due password necessarie all'accesso; uno per la tua chiave e uno per il tuo server. Questo è probabilmente più vicino allo spirito dell'autenticazione a due fattori.
Ci sono molti che direbbero, però, che il materiale chiave del tuo computer è ancora "qualcosa che conosci", dal momento che è infinitamente riproducibile. Invece, "qualcosa che hai" sarebbe un token hardware che non può essere duplicato. È possibile implementare chiavi SSH utilizzando i token hardware, assumendo che il token supporti le chiavi RSA. Tuttavia, questo potrebbe richiedere un po 'di configurazione.