Esecuzione di un algoritmo su un set di dati di grandi dimensioni

1

Abbiamo un'applicazione python che esegue una ricerca DFS sui dati in un database. In questo momento, i dati sono piccoli, quindi posso tenere tutto in un contenitore Python ma i dati cresceranno e potrebbe arrivare un momento in cui è impossibile tenere tutto nella RAM. D'altra parte, interrogare i dati dal database durante ogni iterazione non è una soluzione intelligente, vero?

Ma la domanda è più generale. La soluzione è molto probabilmente in qualche caching intelligente, ma non ho alcuna esperienza in questo.

Quali sono le tecniche di gestione dei dati di grandi dimensioni quando è necessario accedere frequentemente (ad esempio si sta eseguendo un algoritmo)?

    
posta khajvah 06.03.2015 - 13:18
fonte

1 risposta

0

C'è un intero campo chiamato Algotihms memoria esterna, ci sono molti libri di testo a riguardo.

Un esempio di un algoritmo di memoria esterna è Ordinamento esterno .

Il sistema di gestione del database relazionale non è sempre la soluzione migliore in questi casi. Alcuni sistemi di gestione del database NoSQL (Not Only Structured Query Language) sono stati progettati per offrire prestazioni migliori in alcuni casi.

Informazioni sulla profondità della memoria Prima ricerca ci sono diversi algoritmi e implementazioni .

    
risposta data 06.03.2015 - 15:55
fonte

Leggi altre domande sui tag