Attualmente possiedo un sito web in cui i giocatori possono consultare le statistiche di un gioco. Quando qualcuno che non è nel mio database richiede ancora le loro statistiche, sto chiamando l'API con una richiesta PHP cURL e memorizzandole nel mio database.
Poi ho un cronjob che funziona ogni minuto, prende 1/5 dei giocatori nel database e aggiorna ogni utente nel database con l'API esterna (20 utenti per ogni richiesta).
Funzionava bene quando il mio database mysql era piccolo (1000/2000 utenti), ma la quantità di utenti aumenta molto velocemente e diventerà molto più presto, quindi ho bisogno di cambiare il modo in cui sto aggiornando gli utenti.
Il mio cronjob chiama attualmente uno script php che invia richieste CURL e aggiorna il database con la risposta.
Sarebbe meglio aggiornare i giocatori ogni ora e cambiare il cronjob php in un cronjob python? Potrei chiamare l'API quando l'utente richiede le sue statistiche ma a volte l'API esterna è molto lenta o non risponde e questo non mi consente di creare grafici.
In attesa di alcuni pensieri su questo.