Quando applicare le correzioni sui dati raccolti da un server

Question

Quando applicare le correzioni sui dati raccolti da un server

#1 da (2 voti)

1

Ho un programma che raccoglie dati da altri server. Non ho accesso a questi server, quindi non posso cambiare nulla. I server possono dare dati errati, posso risolvere il problema ma sono un po 'bloccato su "quando fare la correzione".

Scarico i dati dal server, i dati vengono elaborati e memorizzati sul disco rigido. Quando gli stessi dati sono necessari e non ci sono cambiamenti, allora uso i vecchi dati. Quindi questo è fondamentalmente il caching.

Ci sono 2 posti in cui è possibile applicare la correzione.

Quando ricevo i dati dagli altri server;
Dopo aver memorizzato i dati nella cache. Quindi appena prima di usarlo.

Quando applico direttamente la correzione sui dati scaricati, il server non ha bisogno di fare molti calcoli. È corretto solo una volta.

Quando applico la correzione dopo averla presa dalla cache o quando non viene memorizzata nella cache dopo aver memorizzato i dati nella cache. Quindi ho bisogno di più potenza della CPU. Ma questo mi dà il vantaggio di accedere ai dati originali in ogni momento. Potrei tornare indietro quando ho fatto un errore e applicare una correzione corretta.

Quindi la domanda è: quando dovrei applicare la correzione? E perché dovrei farlo in quel modo.

caching server

posta Laurence 18.02.2013 - 17:04

fonte

1 risposta

Leggi altre domande sui tag caching server

Affero GPL con applicazione PHP e chiavi DB in localSettings.php Editor WYSIWYG - Commenti incorporati

score 2 · Accepted Answer

Questa sarà una questione di prestazioni e dipende dall'utilizzo previsto delle applicazioni. Se la tua applicazione scaricherà i dati di rado ma la distribuirai frequentemente agli utenti, eseguirò i miei calcoli quando scrivo i dati su disco. Se si sta per scaricare un sacco di set di dati dai server a cui un utente non può mai accedere, spostare l'elaborazione su quando si ricevono i dati dal disco / da una cache.

Nota rapida qui:

When I apply the correction after I took it from the cache or when isn’t cached after I cache the data. Then I need more CPU power. But this gives me the advantage to access the original data at all time. I could fall back when I made a mistake and apply a correct correction.

Non c'è nulla che dice che non è possibile conservare sia una copia non elaborata dei dati sia una modificata durante l'applicazione della correzione al momento del download dei dati.