Ho un'applicazione che processa portafogli. Devo aggregare 8 anni di rendimenti di titoli 8K aproximatelly. (circa il doppio del 2016 (8 anni di dati) per 2 date (per confronto) 4032 per titoli 8K.)
Questo consuma circa 2 GB di memoria. Mi chiedo se ci sia un modo migliore per elaborare questo diverso da tenere questo in memoria.
Uso i dizionari per conservare questi dati.
Sembra che quello che stai facendo sia fatto meglio da un buon database che direttamente in C #. Utilizzando MS SQL Server puoi memorizzare tutti i dati e utilizzare le query / stored procedure per trasformare i dati come preferisci.
I motori di database sono progettati esattamente per questo scopo. Hanno ottimizzazioni in atto per ridurre l'utilizzo della memoria e migliorare la velocità. In teoria potresti scrivere un codice che ha sovraperformato un motore di database per i tuoi dati specifici , ma sarebbe difficile e dispendioso in termini di tempo e in genere non vale la pena farlo.