Dati persistenti scaricati dagli operatori di Celery

1

Sto lavorando a uno strumento che scarica i tweet da Twitter per elaborarli in seguito. Per questo scopo sto usando Celery con RabbitMQ, inviando attività con le parole chiave che devono essere monitorate dai lavoratori.

Il mio problema ora è che devo pre-elaborare i tweet scaricati da un lavoratore in una seconda attività, quindi dovrei unire entrambe le attività per avere accesso a loro o mantenere tutti i tweet in una memoria comune e recuperarli nella nuova attività. Per quanto riguarda l'opzione scelta ho bisogno di mantenere tutti i tweet per l'elaborazione finale.

Quindi ecco la domanda. Qual è il modo migliore per unire e persistere tutti i tweet scaricati dai lavoratori per avere accesso all'intero dataset?

    
posta David Moreno García 20.01.2015 - 18:48
fonte

1 risposta

1

Usiamo qualcosa di molto simile a questo. Non è possibile aggiungere un'attività che salva i dati una volta completata l'elaborazione? Usiamo Kombu per scaricare (Consumer) e Publish (Producer) per tornare a RMQ e il solo ha un compito molto specifico che è il tuo caso.

  • La coda RMQ A viene consumata dal consumatore
  • Il messaggio ottenuto da Consumer viene inviato a Celery per l'elaborazione
  • Il messaggio restituito da Celery viene passato a Publisher con i risultati ottenuti e pubblicati nella coda di RMQ B

Spero che ti aiuti.

    
risposta data 20.05.2015 - 08:19
fonte

Leggi altre domande sui tag