Ho diversi file (quasi 1 GB ciascuno) con dati. I dati sono una stringa.
Ho bisogno di elaborare ognuno di questi file con diverse centinaia di consumatori. Ognuno di questi consumatori fa un processo che si differenzia dagli altri. I consumatori non scrivono ovunque contemporaneamente. Hanno solo bisogno di una stringa di input. Dopo l'elaborazione, aggiornano i loro buffer locali. I consumatori possono essere facilmente eseguiti in parallelo.
Importante: con un file specifico ogni consumatore deve elaborare tutte le linee (senza saltare) nell'ordine corretto (come appaiono nel file). L'ordine di elaborazione di file diversi non ha importanza.
L'elaborazione di una singola linea da parte di un solo consumatore è comparabilmente veloce. Mi aspetto meno di 50 microsecondi su Corei5.
Quindi ora sto cercando il buon approccio a questo problema. Questo sarà parte di un progetto .NET, quindi per favore restiamo con .NET solo (è preferibile C #).
So di TPL e DataFlow. Immagino che il più rilevante sarebbe BroadcastBlock . Ma penso che il problema qui sia che con ogni linea dovrò aspettare che tutti i consumatori finiscano per postare quello nuovo. Immagino che non sarebbe molto efficiente.
Penso che la situazione ideale sarebbe una cosa del genere:
- Un thread legge dal file e scrive nel buffer.
- Ogni utente, quando è pronto, legge simultaneamente la riga dal buffer e la elabora.
- La voce dal buffer non dovrebbe essere cancellata man mano che un utente la legge. Può essere cancellato solo quando tutti i consumatori lo hanno elaborato.
- TPL pianifica le discussioni dei consumatori stesse.
- Se un consumatore supera gli altri, non dovrebbe aspettare e può leggere le voci più recenti dal buffer.
Ho ragione con questo tipo di approccio? Se sì o no, come posso implementare la buona soluzione?
Mi è stato suggerito di spostare qui la domanda come luogo più appropriato da StackOverflow.
Aggiornamento: Secondo il commento di david.pfx, ecco alcuni dettagli. Le prestazioni sono al primo posto, la facilità di manutenzione è al secondo.