In generale, sì questa è una configurazione sicura.
La rete dell'host VirtualBox appare come una scheda di rete sul sistema operativo host. Devi assicurarti che le regole del firewall siano applicate a quella rete. Ad esempio, su Windows puoi farlo da "Windows firewall con sicurezza avanzata". Lo screenshot seguente mostra che VirtualBox Host-Only Network e conferma che è protetto da firewall.
Ci sono ancora alcuni rischi. Potrebbero esserci delle vulnerabilità in VirtualBox che consentono a un ospite malintenzionato di compromettere l'host. Se hai attivato la condivisione di unità o appunti, anche questi comportano qualche rischio. Ma in generale questa configurazione va bene.