Ho sviluppato un sistema di acquisizione dati per un esperimento scientifico. Un FPGA bufferizza i dati scientifici in un FIFO e in un programma C # vuota questo FIFO ad una velocità di ~ 45MB / s.
Poiché la durata dell'esperimento è cambiata improvvisamente da secondi a giorni, ora i dati devono essere archiviati come dati binari.
Non essendo un programmatore o un informatico, mi sembra che esista un enorme potenziale di corruzione dei dati. In precedenza ogni pacchetto veniva scritto su una nuova riga. Se, per qualche ragione, mancasse un bit, si corromperebbe un pacchetto.
Tuttavia, per un bit mancante nei dati binari potremmo perdere TBs di dati insostituibili.
C'è un modo per assicurare che i dati non si trasformino in spazzatura? Il mio primo pensiero è di scrivere un file ASCII separato di dati del codice hamming, ma non so se sia fattibile.