Sto facendo un'app Rails che in teoria dovrebbe fregare nuovi post dagli account facebook e twitter degli utenti e metterli in una timeline per un analista da analizzare e determinare se sono post buoni o cattivi, se l'utente ha postato " contenuto errato "l'analista lo contrassegna come tale e avvisa l'utente.
Ho effettuato l'autenticazione con omniauth e ho creato entrambe le app di Facebook e Twitter, gli utenti possono già accedere e in cambio ottengo una chiave oauth e un segreto, con questi posso fare le rispettive chiamate API.
Ora, per la vera domanda, come dovrei controllare i nuovi aggiornamenti? Ho pensato di usare resque o sidekiq per mettere in coda periodicamente gli account di Facebook e Twitter di ciascun utente, ma non sarebbe troppo se avessi molti utenti, creando un nuovo client API (sto pensando alle gemme di Koala e Twitter) con ogni utente chiave e segreto ogni volta?
Qual è il modo migliore per farlo?
E una volta che ho ricevuto i post degli utenti dovrei archiviarli nel DB o semplicemente metterli in un'altra coda resque o sidekiq perché possano essere analizzati e scartati una volta che sono?