Architettura del sistema di registrazione e archiviazione dei dati

0

Mi sono avvicinato un po 'di più al design e all'architettura per un nuovo sistema a causa di alcune partenze e alla ricerca di alcuni approfondimenti.

Il sistema ha una serie di diversi servizi ad alta velocità su una rete che raccoglieranno una varietà di dati a intervalli regolari (da 50 a 1000 ms, dipende dal particolare servizio e probabilmente da 10 a 50 punti dati per servizio).

Lo stato in cui è stato lasciato il piano prima di affidarmelo era che ci sarebbero stati due singoli server di polling dei dati che avrebbero eseguito ognuno un servizio per interrogare i dati e mantenere la propria archiviazione a lungo termine di tali dati. Il problema è che non ci possono essere lacune nei dati (o almeno devono essere molto minimi) per futuri scopi di reporting. Quindi questi server avrebbero bisogno di sincronizzare i loro dati per riempire gli spazi vuoti se fossero andati giù.

Non mi sembra un problema molto particolare, quindi suppongo che ci siano alcuni buoni progetti per questo. Sto pensando che avrebbe più senso avere un terzo server (o forse puoi farlo con un NAS o qualcosa di più semplice?) Per archiviare i dati a lungo termine e fare un raid lì. Quindi i due servizi di polling dei dati scriveranno su di esso a seconda di quale sia determinato al momento essere il master che è in su.

    
posta Will E. 25.07.2018 - 19:55
fonte

2 risposte

0

2 server di polling centrali non scaleranno bene.

Invece di avere 2 server di polling centrali, se possibile possiedi un server di polling per servizio sulla stessa casella, disponi questi dati di post su un server centrale con bilanciamento del carico.

Affrontando questi servizi di polling in modo anomalo, esegui un secondo processo di monitoraggio sulla stessa casella che controlla il servizio di polling e ne avvia un secondo in caso di arresto anomalo.

Chiedi a un servizio centrale di monitorare i servizi di monitoraggio e di sollevare un avviso se qualcuno di essi va giù.

    
risposta data 25.07.2018 - 21:07
fonte
0

C'è una ragione per cui ogni server deve mantenere i propri dati? Sembra sconfiggere lo scopo dei database.

Per quanto riguarda le lacune, un db di tipo NoSQL (sul tuo terzo server) sarebbe la strada da percorrere.

    
risposta data 24.10.2018 - 00:14
fonte

Leggi altre domande sui tag