Mangiando eventi a Elasticsearch, ho davvero bisogno di Logstash?

Question

Mangiando eventi a Elasticsearch, ho davvero bisogno di Logstash?

#1 da (1 voti)

1

Sto progettando un sistema di analisi che alimenta tutti gli eventi a Elasticsearch. Il ciclo di vita dell'evento è il seguente:

Il visitatore fa qualcosa.
Il server di analisi personalizzato raccoglie dati, ne crea un evento e lo inserisce in Elasticsearch.
Uno o due giorni circa, il processore batch personalizzato aggrega una vasta serie di eventi da Elasticsearch, li trasforma in blocchi di dati più piccoli e li rimanda a Elasticsearch.

So che Logstash è fatto per raccogliere ed elaborare eventi. Perché dovrei considerarlo sulla mia soluzione personalizzata?

Non ho file di registro nel processo. Gli eventi viaggiano da un componente all'altro tramite HTTP. Non mi interessa nemmeno trasformare i dati in eventi da soli.

Sono particolarmente preoccupato di non avere la flessibilità di gestire gli eventi e Elasticsearch direttamente dalla mia scelta del linguaggio di programmazione.

big-data elasticsearch analytics

posta Moshe Revah 04.01.2016 - 16:52

fonte

1 risposta

Leggi altre domande sui tag big-data elasticsearch analytics

Architettura dei domini delle pagine personali Come posso creare un client per un servizio senza nascondere i parametri necessari per ciascun endpoint?

score 1 · Accepted Answer

Ovviamente puoi utilizzare direttamente l'API di ElasticSearch Index: link

La principale responsabilità di Logstash nello stack ELK è l'efficiente raccolta e conversione di un flusso di log in singoli documenti indicizzabili. Se disponi già di singoli documenti indicizzabili, Logstash potrebbe essere una complicazione inutile.

Quando si dispone di un flusso di dati esistente che si desidera indicizzare, Logstash fornisce un singolo endpoint per l'aggregazione, l'analisi e l'arricchimento di tali dati. Quando si desidera modificare il modo in cui si elabora o si presenta un registro, si effettua tale modifica in Logstash, non nella propria applicazione. Questo disaccoppiamento può consentire a un team di analisi di gestire in modo efficiente un'applicazione che è lenta da aggiornare o che non controlla da sé. Logstash funge anche da buffer, proteggendo gli endpoint ES dagli attacchi alle mandrie, anche se puoi ridimensionare ES per ridurre questo problema.

Si noti che l'arricchimento è una funzionalità molto utile: può consentire di aggiungere ulteriore contesto ai registri dei documenti senza ricostruire i servizi che li producono, o di rimappare i campi per accoppiare un formato di registrazione canonico.