Ho visto più esempi di sistemi organizzati essenzialmente come una pipeline. Ogni fase produce alcuni file intermedi che vengono poi consumati dalla fase successiva. Inoltre, richiedono molto tempo e contengono codice personalizzato, script di shell e tutto il resto immaginabile (al contrario di ogni cosa scritta in modo pulito nel linguaggio di programmazione X).
Domanda: come si sviluppa / organizza una cosa del genere?
Sembra che potremmo usare un sistema di build, ma nel nostro caso è il codice delle fasi che sta cambiando, non l'input effettivo. Quindi sarebbe bello se potessi scegliere cosa rieseguire. Per esempio. se il progetto riguarda il mirroring di un sito Web e l'estrazione dei suoi contenuti, non voglio wget tutto solo perché ho modificato il codice di elaborazione successivo un po '... ma il nuovo download dell'intero articolo è ancora qualcosa che potremmo considerare in seguito. Generalmente i sistemi di generazione non danno un tale livello di controllo manuale. (Inoltre, sono raramente in grado di tenere traccia di quali output dipendono specificamente da quali unità di codice.)
L'altra estremità ha uno script di shell con un singolo parametro che specifica lo stage da eseguire. È completamente manuale, affidabile, ma non particolarmente conveniente.
Mi chiedevo se questa è una classe di problemi che esiste altrove, e in caso affermativo, come la risolvono le persone?