Sto lavorando a una nuova versione di un vecchio progetto che ho usato per scaricare ed elaborare gli stati degli utenti da Twitter. Il problema principale di quel progetto era la sua infrastruttura. Ho usato più istanze di un'applicazione java (tracker) per scaricare da Twitter dato un compito specifico (fondamentalmente termini da cercare), connesso con un nodo centrale (un'applicazione web) che doveva elaborare tutti i tweet una volta al giorno e generare un nuovo compito per ogni tracker una volta ogni 15 minuti. Il nodo centrale doveva anche monitorare tutti i tracker e abilitarli / disabilitarli sotto petizione utente.
Questo,comehodetto,eratroppolentoperchéavevocollidibottigliamultipli,quindiinquestanuovaversionevogliomigliorarel'infrastrutturaeisolaretuttelefunzionalitàinnodispecifici.Hoanchebisognodiunbuonsistemadinotificaperriceverenotificheperqualsiasinodo.Quindi,neldiagrammaseguentemostroicomponentidicuihobisognoinquestanuovaversione:
Come puoi vedere, ci sono più nodi. Ecco alcune note su di loro:
- Dashboard: controlla gli stati dei tracker e invia una singola attività a ciascuno di essi (sotto richiesta dell'utente). I tracker useranno questa attività fino a quando non saranno sostituiti con uno nuovo (se fatto, non ogni 15 minuti come prima).
- Motore di ricerca: ho bisogno di memorizzare tutti i tweet. Vengono dapprima archiviati in un database locale per ciascun tracker, ma dopo di ciò sto pensando di utilizzare qualcosa come Elasticsearch per poter eseguire ricerche veloci.
- Processore Tweet: Componente semplice e isolato con un proprio database (forse qualcosa come il motore di ricerca per accedere rapidamente alle informazioni generate dal modulo). In futuro potrebbe essere aggiunto altro.
- Interfaccia utente dell'applicazione: Un'applicazione Web con un database condiviso con il Dashboard (principalmente per memorizzare le informazioni e le preferenze degli utenti). In effetti, entrambi potrebbero essere uniti in un'unica rete. La principale differenza con la versione precedente del progetto è che ora saranno isolati e mostreranno solo le informazioni e invieranno richieste. Non eseguirò alcun compito pesante (come i tweet di processo come facevo prima)
Quindi, avendo questi componenti, il mio mal di testa principale è come strutturare tutti per non dover riscrivere un sacco di codice ogni volta che ho bisogno di accedere a qualsiasi nuovo dato. Un altro mal di testa è come posso interconnettere i nodi . Potrei usare le prese ma è un rompicoglioni. Forse uno strato REST? Infine, se tutti i nodi sono isolati, come potrei generare notifiche per ciascun utente quali informazioni sono solo nel database utilizzato dall'IU dell'applicazione?
Sto programmando questo usando Java e Spring (almeno li ho usati nell'ultima versione) ma non ho problemi con la modifica della lingua se posso sfruttare uno strumento / libreria / motore per semplificarmi la vita e avere una piattaforma migliore Qualsiasi commento sarà apprezzato.