Confronta mettendo la chiave privata crittografata in uno spazio di archiviazione non sicuro inserendo quello non crittografato in un contenitore crittografato come TrueCrypt o LUKS. Tecnicamente, il risultato è praticamente lo stesso, a parte i metadati OpenPGP visibili per la chiave privata crittografata.
La tua chiave è sicura quanto l'algoritmo di crittografia simmetrica applicato per crittografarlo usando la passphrase. Generalmente, gli algoritmi applicati sono considerati sicuri; dato un passphrase ragionevolmente lungo che impedisce gli attacchi di forza bruta è usato mettendo una chiave privata su una memoria non fidata non deve essere un assoluto no-go.
Ma sappi che stai perdendo una seconda rete di sicurezza: dato che la passphrase è incrinata / trapelata (in qualsiasi momento in futuro!) o si riscontrano problemi con l'algoritmo di crittografia simmetrica in uso, hai perso il livello di sicurezza aggiuntivo di non rendere disponibile la chiave privata crittografata.
Considera anche l'utilizzo di smart card OpenPGP per "condividere" una chiave tra computer e soprattutto sottochiavi mentre conservare offline la chiave primaria privata (forse anche su una pen drive solitamente non collegata al computer). Indipendentemente dal fatto che tu abbia caricato la chiave o meno, sicuramente hai già creato un certificato di revoca ?