La password impostata per la directory crittografata è l'ultimo bastione ai tuoi dati. Il file xml che hai menzionato sta solo descrivendo la tua configurazione di crittografia ma non le informazioni che perdono: l'algoritmo che usi e come lo stai usando, non fa parte del segreto.
Se si perde l'USB e si ha una passphrase strong (che significa una lunga password) come chiave principale, i dati saranno protetti da un dizionario che tenta di montarlo. Scegli la tua password in base al rischio. Valutare cosa succede nello scenario rubato (peggio della perdita). Un usb che potremmo dire è uno dei più esposti, ma è come un telefono o una directory cloud.