Job Scheduling, stored procedure

Un concetto / termine di ricerca chiave potrebbe essere ETL (Estrai, trasforma, carica) . Questa è una formalizzazione del processo che descrivi: raccogli i dati da tutto il luogo, puliscili e consegnali. Sei fortunato, ci sono sia un numero di strumenti esistenti che potresti essere in grado di utilizzare, sia molti scritti sull'argomento.

Sono più familiare con Pentaho (Kettle, in realtà). Non prendere questo come una raccomandazione, ma più come un esempio di ciò che può essere fatto ...

Con Kettle, estraggo molti dati da molte fonti: file, database e persino servizi web. Se la tua origine dati non è supportata immediatamente, è probabile che tu trovi un plug-in che funziona. Quindi, trasformo i dati in una forma appropriata, li pulisco e li rilascia da qualche altra parte. Di nuovo, se la tua destinazione non è supportata immediatamente, è probabile che tu possa trovare un plugin per aiutarti. (In realtà, scrivere il proprio plugin non è insormontabile.) Meglio di tutto, posso programmare tutti questi processi in qualsiasi modo idiosincratico che ritengo appropriato.

Assicurati di valutare una serie di strumenti per decidere cosa funziona meglio per il tuo team.

Per quanto riguarda le migliori pratiche, c'è molto scritto, ma la maggior parte è specifica per la tecnologia. I database dei grandi fornitori hanno il loro approccio. Gli strumenti open source hanno il loro approccio. Non menzioni la tecnologia che stai utilizzando, ma probabilmente troverai maggiori dettagli cercando l'ETL come correlato a quella tecnologia. Generalmente, i consigli sulle migliori pratiche tendono ad essere una sorta di ovvio: conosci le tue esigenze, la registrazione, quel genere di cose. Forse domande post secondarie mentre scopri i dettagli.

Per rispondere alla mia stessa domanda su quello che ho finito con, e al mio giudizio l'approccio migliore: Streams! Sebbene si tratti di un caso d'uso molto meno discusso (di solito si sente solo di consumare dati veloci), i framework steam sono un ottimo modo per ragionare e un modo semplice per costruire pipeline ETL. Costruisco nell'ecosistema Scala / Java. Akka Streams (per un take di basso livello) e Apache Flink sono ottimi strumenti per questo.