Nel mio progetto stiamo cercando di costruire un KIND-of-a- lambda storm architettura basata. Il componente sarebbe responsabile dell'indicizzazione degli eventi di utilizzo del sito, quindi ci aspettiamo un carico casuale piuttosto massiccio. La soluzione per l'elaborazione dei messaggi in tempo reale sembra soddisfacente, ma parallelamente al "livello di velocità" vogliamo eseguire il backup dei messaggi in forma non elaborata (proprio come stanno scendendo dalla coda) in Amazon S3. Dal momento che scrivere un file per messaggio è ovviamente fuori questione, dobbiamo in qualche modo bufferizzare / aggregare i messaggi prima di postare su S3 - ed è qui che iniziano i problemi. Abbiamo due approcci concomitanti e nessuno sembra perfetto:
- Abbiamo usato Redis come buffer. In pratica i messaggi provenienti da una coda (RabbitMQ) vengono memorizzati in buffer in Redis e una volta raggiunta la dimensione di un batch preconfigurato (ad esempio 1000) il buffer viene svuotato e memorizzato in S3. L'intero ciclo di elaborazione dei messaggi non è transazionale. Una volta che il messaggio è stato memorizzato su Redis, viene riconosciuto in coda. Ciò significa che se Redis muore l'intero lotto si perde e questo non è accettabile. Possiamo pensare al cluster Redis per rendere la cosa più a prova di proiettile, ma ... non sembra come andare in un direzione sbagliata?
- Il secondo approccio sarebbe utilizzare la Trident Topologia. Cambiare la coda di input in Kafka rende le cose più semplici. Il ciclo di elaborazione dei messaggi può essere transazionale. TUTTAVIA, c'è una parola chiave fastidiosa che continua a essere ripetuta nella documentazione Trident - piccoli lotti - che Trident assume piccoli lotti. Ad esempio TransactionalTridentKafkaSpout raggruppa i messaggi in blocchi di 2 secondi. Questo è troppo poco per noi. Non sono sicuro del motivo per cui i batch dovrebbero essere piccoli, ma se è davvero necessario forse il primo approccio è migliore?
Quale di questi è meglio? Forse a somoeone sarebbe venuta in mente una "terza" idea?