Ho un problema unico che spero che qualcuno possa aiutare.
Ho un unico file di testo, il nostro file Produzione . I dati nel file sono delimitati nel seguente formato
Reference|Cost Centre|Analytics Base Value|....
UMBY_2288|023437|2883484|...
NOT_REAL|1343534|283434|...
La dimensione media di questo file è di circa 30 MB. con circa 120000 righe.
e quindi ho circa 20 file regionali . questi file sono simili al grande file attuale nella struttura. tranne che sono più piccoli. dimensione media di 50000 righe.
Ora devo scorrere ogni riga del file Prod grande. Per ogni codice Riferimento , devo cercare tra tutti i file "Regionali" per vedere quali contengono questo specifico codice di riferimento. e quindi copiare alcuni dati da quella linea in un report. Non c'è modo di predeterminare quali file esaminare. E ogni riferimento può trovarsi in più file Regionali .
Come puoi immaginare, il looping di ogni riga in ogni file, più volte è un processo che richiede molto tempo. A causa dei limiti di memoria, non riesco a caricare i file in memoria.
Qualcuno ha qualche idea intelligente su come posso farlo? Non ho bisogno di campioni di codice. solo indicazioni su come risolvere questo problema.
Sto sviluppando lo strumento in C #.