Sembra che ci siano tre domande qui:
1) Si dovrebbe mantenere la chiave privata GPG segreta nonostante la passphrase. La tua passphrase è molto più semplice da decifrare rispetto alla chiave GPG privata, quindi anche la chiave privata crittografata con passphrase lo rende potenzialmente più facile per un avversario.
Ciò che fa la passphrase è applicare un livello di crittografia simmetrica al file di chiavi, quindi il computer locale ha bisogno di quella passphrase per aprirlo.
2) Se un avversario ha rubato il tuo keyfile crittografato con passphrase, possono provare a forzare la passphrase (che è molto più semplice di forzare brute una chiave RSA 2048 o 4096-bit, anche con una password super-complessa); o tentare un attacco di riutilizzo della password (controllare i dump noti per le password precedenti). Una passphrase strong e unica potrebbe rendere questi attacchi non fattibili.
3) Se non avessi una passphrase e il file della chiave privata fosse stato copiato da te, quella chiave sarebbe stata completamente compromessa e qualcuno avrebbe potuto decifrare le tue precedenti comunicazioni crittografate con GPG (a condizione che avessero accesso alla copia crittografata), eccetera a seconda di quale chiave è stata usata. Con una passphrase strong e unica, hai una seconda linea di difesa che potrebbe potenzialmente fermare un tale compromesso nelle sue tracce.
In conclusione, è sempre una buona pratica proteggere le tue chiavi private con una passphrase strong e unica. Qualunque passphrase rende molto più difficile compromettere la chiave privata, e quella che è strong e unica potrebbe non essere plausibile per un avversario che si rompa mai.