Ho qualche problema a pensare a una soluzione per controllare la quantità di richieste al minuto verso un sistema esterno in un ambiente di micro servizi su Kubernetes.

Lo scenario

Questo sistema esterno è un'applicazione di e-mail marketing (denominata Responsys) che consente solo una certa quantità di richieste al minuto per ogni accesso. Alcuni tipi di e-mail usano 2 richieste e alcuni tipi di e-mail usano solo una richiesta *.

In realtà, ogni sistema che deve inviare una e-mail invia un messaggio a una coda RabbitMQ e uno dei nostri micro-servizi è responsabile di consumare questo messaggio, leggere le informazioni e comunicare con Responsys che obbedisce a 40 richieste per limitazione dei minuti .

La soluzione attuale

L'attuale versione funzionante di questa integrazione ottiene 20 messaggi alla volta dalla coda utilizzando un semplice processo pianificato. Perché 20? Nel peggiore dei casi, queste 20 e-mail consumeranno 2 richieste. Ogni e-mail viene elaborata in modo asincrono, quindi queste 20 e-mail comunicheranno con Responsys allo stesso tempo. Le e-mail che non possono essere elaborate (Responsys può generare un errore), salviamo su una tabella di database per essere analizzate in seguito.

Funziona davvero bene, anche se non è ottimizzato perché alcuni tipi di e-mail usano solo una richiesta. Ma c'è un problema su quella soluzione che può danneggiare il nostro limite di richieste.

Il problema

Kubernetes può capire a un certo punto, usando i suoi algoritmi delle prestazioni, che è necessaria un'altra istanza di micro servizio (che si integra con Responsys). Se ciò accade, ciò interromperà la nostra limitazione delle richieste, poiché ci saranno due (o più) istanze che leggono i messaggi dalla coda e provano l'invio di e-mail tramite Responsys, superando le 40 richieste al minuto.

Mi è venuta l'idea di configurare il servizio micro su Kubernetes per non creare alcuna replica di questo servizio micro, garantendo solo un'istanza, perché questo micro servizio è piuttosto semplice e specializzato. Non so come farlo esattamente, ma sembra molto semplice leggere la documentazione di Kubernetes, ma ai miei college non piace l'idea, perché potrebbe esistere qualche strano scenario di errore in cui potrebbero esistere due istanze.

Quindi, stiamo cercando di pensare a una soluzione oltre all'istanza del servizio micro, utilizzando una sorta di "sistema ticket" letto da una cache (Redis) condivisa da un numero qualsiasi di istanze di micro-servizi. Questa sembra una soluzione pesante per un problema semplice, quindi mi piacerebbe avere qualche aiuto per trovare un'altra alternativa per questo.

^{* Ho semplificato il problema, perché la limitazione delle richieste per minuto è diversa da due diversi endpoint. Uno di questi consente 200 richieste al minuto e altre 40 al minuto. Limiterò il numero di richieste al minuto utilizzando il limite dall'endpoint più restrittivo.}