Sto costruendo un'architettura di elaborazione del flusso e mi chiedevo cosa fare con i metadati relativi allo stream. Ad esempio, ogni messaggio di dati proveniente da una fonte ha la stessa attribuzione, dal momento che passa dalla fonte all'elaborazione, arricchendo e infine a un sink che i dati di attribuzione non cambiano ma sono rilevanti per ogni messaggio.
Sto pensando di usare Apache Kafka per la coda dei messaggi, solo per riferimento.
Che cosa faccio con questi metadati? Memorizzo l'attribuzione completa in un database e trasferisco semplicemente l'id di quella voce del database in ogni messaggio? O è meglio mettere effettivamente l'attribuzione in ogni singolo messaggio mentre viene passato lungo la coda dei messaggi? O c'è un'opzione migliore o più standard?