La tua chiave privata SSH utente non viene mai inviata al server, quindi non c'è rischio che venga compromessa da Spectre o Meltdown sul server. Solo la chiave pubblica è presente sul server. D'altra parte, il server ha una chiave privata che viene utilizzata per identificarsi al client. (Questo è ciò che ti porta messaggi sull'identità del server quando ti connetti per la prima volta.) Tutto ciò che segue è il furto di questa chiave host .
Sia Spectre che Meltdown richiedono che un utente malintenzionato esegua l'esecuzione del codice sul tuo host. Dato che hai specificato un VPS, qui ci sono 2 livelli di minaccia: attaccanti sul tuo stesso host fisico e attaccanti all'interno del tuo VPS.
Sul tuo host fisico, se il tuo provider VPS ha patchato il loro hypervisor, allora non ci dovrebbe essere un rischio dalle tecniche specifiche documentate in Spectre e Meltdown. Se non formattato, il proprietario di un altro VPS potrebbe utilizzare Meltdown per leggere la memoria completa dell'host e quindi estrarre la chiave privata SSH server (chiave host).
All'interno del tuo VPS, sia Spectre che Meltdown richiedono che l'attaccante esegua l'esecuzione del codice nel tuo VPS. Se un malintenzionato ha accesso al codice di esecuzione sul tuo VPS, Spectre e Meltdown non dovrebbero essere la cosa di cui sei preoccupato. C'è così tanto altro in corso, e sono già sul tuo host. (Il che non vuol dire che non dovresti correggere, dovresti, ma non è la principale preoccupazione che avrei a quel punto.)