Direi che se ti connetti qui, non dovrebbe accadere nulla. Tranne che gli dai il tuo IP in modo che possa teoricamente concentrarti. Se hai configurato correttamente il tuo client.
Dipende molto dalla sicurezza della configurazione del tuo client e di altri server che usi. Se autorizzi / sudo te stesso usando la chiave, la probabilità che sarà in grado di sfruttare un altro server è bassa.
Ma molte volte ho visto anche il tunelling su SSH nel modo in cui i server erano in grado di accedere l'un l'altro sul canale SSH aperto dall'utente. E le chiavi sono state archiviate su "server compromesso".
Come ho detto all'inizio. Dipende molto da molte altre cose, direi, è quasi impossibile ma non probabile se verranno seguite altre raccomandazioni sulla sicurezza.