Come posso usare una chiave ssh con una passphrase ma non è necessario digitare la passphrase ogni volta che si lavora in una shell remota?

Ecco la mia situazione:

I ssh in un server che esegue OS X e da quella shell remota voglio eseguire push e pull (tramite ssh) per un repository git la cui copia locale esiste su questo server e la cui origine è su un altro server in Internet . (In questo caso specifico si tratta di un repository bitbucket.) Ho generato una coppia di chiavi pubbliche / private ssh con una passphrase sul server e caricato la chiave pubblica su bitbucket.

Normalmente quando eseguivo i push e il pull sul mio sistema OS X locale, lo farei attraverso una finestra in Terminal.app, e uso il portachiavi di OS X per gestire la mia passphrase ssh in modo che io debba solo digitarlo una volta per sessione di accesso. Ma non funziona qui perché sto lavorando in una sessione remota.

C'è un modo per non dover digitare la mia passphrase ogni volta, a parte l'uso di una coppia di chiavi pubblica / privata senza passphrase?