Sì, ci si deve fidare del server remoto se si consente l'inoltro dell'agente per questo server (specialmente se si utilizza la stessa chiave per più servizi). L'amministratore root o malvagio che esegue l'accesso root può impersonare l'utente per l'autenticazione su altri server durante il periodo di connessione a tale server.
Lo stato è ancora meglio dell'accesso permanente alla chiave o del furto da parte tua, cosa potrebbe accadere quando copi la tua chiave privata sul server, ma questo è ancora un problema, dal momento che non c'è conferma dalla tua parte, che vuoi veramente fare crypto con la tua chiave nell'agente.
L'utilizzo di una chiave separata per github è probabilmente una buona idea. E avere clone intermedio del tuo importante repository su un server di cui non ti fidi è probabilmente anche qualcosa che non vuoi.