Attualmente sto costruendo un dashboard per visualizzare alcune analisi dei dati generati dal prodotto della mia azienda. Usiamo MySQL come nostro database. Le query SQL per generare le analisi dai dati live grezzi possono essere un po 'complicate e richiedono molto tempo per essere elaborate. Così metto in atto alcuni lotti che vengono eseguiti ogni giorno o ogni ora, interrogano questi dati in tempo reale e generano l'analisi e li memorizzano in alcune tabelle speciali che vengono interrogate solo dal dashboard. Funziona bene ma l'inconveniente è che l'analisi non è in tempo reale.
Quindi vorrei sapere qual è la migliore pratica per le mie esigenze. Non ho bisogno di tempo reale in tempo reale ma quasi in tempo reale di uno o pochi minuti.
Vorrei sapere se replicare i dati in tempo reale da MySQL a qualcosa come hadoop o Elasticsearch sarebbe una buona soluzione.