In aggiunta alle altre risposte:
Mentre un DVCS si adatta molto bene a questo problema, potresti anche usare Subversion tecnicamente, se ti senti più a tuo agio con esso. Subversion può usare una directory locale invece di un server centrale. Potresti metterlo su una pen drive e usarlo.
Lo svantaggio, rispetto a un DVCS, sarebbe che si può lavorare solo con Subversion (ad esempio commit, visualizzare i log ecc.) mentre la pen drive è collegata. Inoltre, deve sempre essere la stessa pen drive (o almeno una copia aggiornata), perché con Subversion non dovresti usare più di un repository (questa è la parte non distribuita). Quindi, se dimentichi la tua pen drive, non puoi usarla, a differenza di Git o Mercurial.
Nota:
Come spiegato sopra, e nei commenti, un DVCS è davvero una soluzione migliore per il tuo problema. Ho solo menzionato Subversion per completezza, e nel caso tu abbia qualche motivo speciale per usare Subversion.