C'è sempre un rischio durante la connessione a un server con qualsiasi software client. Supponiamo che il client (cioè OpenSSH o PuTTY) detenga i dati dal server in un buffer con controllo dei limiti scadenti ... potrebbe quindi essere possibile che il server esegua da remoto il codice sul computer client.
Tutti i software hanno errori, quindi non è impossibile pensare che esista una vulnerabilità sfruttabile nel tuo client. Per questo motivo è saggio stare molto attenti a collegarsi a macchine di cui diffidate attivamente.
Il software Sever tende ad essere maggiormente a rischio in quanto chiunque può provare ad attaccarlo in qualsiasi momento. Tuttavia, il software client è ancora software, e la connessione verso l'esterno offre l'opportunità al server di attaccare il client.
Mitigazioni come l'utilizzo dell'ASLR e del DEP sul tuo client SSH e il mantenimento sempre aggiornato della macchina client sulle patch del software sono probabilmente sufficienti per prevenire attacchi casuali. La disabilitazione delle funzioni di erosione della privacy come l'inoltro di agenti è piuttosto intelligente. X11 è disgustosamente gonfio e insicuro ... quindi non utilizzare l'inoltro X in nessuna circostanza.
PS. Per quanto riguarda l'uso di un computer usa e getta per connettersi al VPS: magari provare a utilizzare un diverso client SSH su ciascuno, come PuTTY per connettere l'app Heroku, quindi OpenSSH al VPS. Quali sono le probabilità che entrambi i client abbiano un bug sfruttabile di cui l'hacker sa?
PSS. Una delle risposte a questa domanda menziona un vero attacco al cleint di OpenSSH: Connessione a un server compromesso