La risposta dipende da La tua VM è connessa in una rete solo host? o una sottorete virtuale che è non connessa a Internet? o il vm ha anche la possibilità di accedere a Internet (cioè a ponte o nat)?
Avere accesso root a una macchina sulla rete senza password è un enorme rischio per la sicurezza. Se venisse sfruttato in qualche modo, darebbe carta bianca all'attaccante per scaricare tutti i tipi di strumenti di test di penetrazione e software di valutazione della rete (pensate apt-get install nmap, mysql-client, ecc ...) e fondamentalmente girovagate attorno alla vostra rete come se erano seduti proprio accanto a te collegati al wifi.
Se il vm è connesso solo nell'host o si trova in una sottorete isolata, in pratica è abbastanza sicuro come il tuo host, dato che non hai fatto alcuna riduttiva errata configurazione da qualche parte. Dal momento che l'host dovrebbe essere sfruttato per primo. Ma personalmente, non mi sentirei al sicuro nemmeno in questa situazione. Ma poi di nuovo, sono il tipo paranoico.
L'impostazione delle chiavi ssh non è un gran problema. Potrebbe richiedere 5-10 minuti. Ci sono molte guide su come farlo facilmente, come questo di Digital Ocean e, sebbene io altamente raccomandi contro di esso, puoi persino creare keypair che non richiedono password se devi assolutamente. Almeno in questo modo, qualcuno potrebbe richiedere la connessione della chiave ssh rendendolo più difficile del semplice accesso.
Ma per rispondere alla domanda del titolo senza mezzi termini, se il tuo sviluppo vm è connesso a Internet con accesso root, nessuna password ed è disponibile una buona percentuale di tempo, le implicazioni sulla sicurezza sono potenzialmente complete e compromettono la tua rete interna. Lo raccomanderei davvero contro.