Sto lavorando a uno strumento che scarica i tweet da Twitter per elaborarli in seguito. Per questo scopo sto usando Celery con RabbitMQ, inviando attività con le parole chiave che devono essere monitorate dai lavoratori.
Il mio problema ora è che devo pre-elaborare i tweet scaricati da un lavoratore in una seconda attività, quindi dovrei unire entrambe le attività per avere accesso a loro o mantenere tutti i tweet in una memoria comune e recuperarli nella nuova attività. Per quanto riguarda l'opzione scelta ho bisogno di mantenere tutti i tweet per l'elaborazione finale.
Quindi ecco la domanda. Qual è il modo migliore per unire e persistere tutti i tweet scaricati dai lavoratori per avere accesso all'intero dataset?