Ho diversi progetti su Python. Sto attualmente facendo il versioning con Git. Ho anche i dati input-output che stanno gradualmente cambiando nel corso del progetto. Devo essere in grado di rieseguire la mia pipeline in un secondo momento esattamente come è stata eseguita in un dato momento.
Quale sarebbe il modo migliore di farlo senza inserire i dati di origine nel repository git?
Manterò i dati in versione separatamente.
Non so quale sia il flusso di lavoro graduale dei dati. Potresti usare il controllo di versione o solo le directory con nome, con una sorta di deduplicazione o semplicemente. I VCS di solito sono una scelta sbagliata per grandi dati binari.
In questo modo puoi sempre verificare i dati indipendentemente dal codice e controllare il codice indipendentemente dai dati.
Leggi altre domande sui tag version-control python