(iniziato come commento - ma diventando un po 'prolisso ....)
Se il suo solo sul tuo PC non è ben protetto - se perdi il tuo PC, perdi l'accesso al tuo server. La protezione non consiste solo nell'impedire ad altri di ottenere l'accesso, ma nel garantire che le persone autorizzate continuino ad avere accesso.
Se si autorizzano entrambi gli accessi di password e keypair, il server è molto più vulnerabile - "root" è un nome utente noto con privilegi e quindi frequentemente utilizzato negli attacchi di forza bruta. Le attenuazioni richiedono l'appartenenza a un gruppo specifico (non protegge "root" ma è utile per "bin", "dev", "apache", ecc.) Porta knocking e fail2ban.
Forse appare anche nei tuoi backup. Forse hai un RAID per proteggere dalla perdita di dati in guasti hardware. Forse hai un processo efficace per lo smaltimento della memoria ritirata / interrotta. Forse hai UPS per proteggere contro la corruzione in interruzioni di corrente. Forse hai IDS in esecuzione sul dispositivo in cui è memorizzata la chiave. Forse hai IPS in esecuzione davanti al dispositivo. Forse questo dispositivo è un dispositivo bloccato utilizzato solo come terminale per il tuo server. Forse hai i processi e la tecnologia in atto per controllare tutti gli accessi sul tuo server. Forse il tuo server utilizza forti hash delle password e i backup del server sono gestiti in modo sicuro .....
Non possiamo dire se sarai "sicuro" perché si tratta di un termine relativo e non sappiamo quale sia la tua definizione di sicurezza né il valore delle risorse protette.
Se fosse il mio server e il valore lordo fosse inferiore a un mese di reddito, mi sentirei a mio agio nell'usare gli accessi alla coppia di chiavi insieme a fail2ban, ma non permetterei mai gli accessi ssh come root da remoto. Gli unici scenari in cui non potevo accedere utilizzando un uid e su diverso sarebbe il punto in cui il sistema è così rotto che è improbabile che sshd sia in esecuzione.