Ho alcuni operatori di streaming. Stanno ascoltando lo streaming di Twitter e salvati in mongodb. Devo aggregare i tweet salvati per il risultato di analisi intermedio. Ho lavoratori dell'analizzatore. Sono periodicamente aggregati con alcune query (15 query). A questo punto i carichi mongodb aumentano e utilizzano l'intera CPU e RAM. Questo è ragionevole, okey, ma ho bisogno di ridurre i carichi.
Ho pensato di fare aggregazione in stream worker (in memoria) e di salvare periodicamente i risultati nel database.
Tuttavia non potevo essere sicuro di quella soluzione.
Che cosa dovrei fare per ridurre i carichi e migliorare le prestazioni?
* Soprattutto non voglio modificare o modificare la soluzione del database perché le modifiche saranno così costose.
Vorrei poter spiegare il mio problema.
Grazie.