Architettura per la moltiplicazione della matrice su larga scala: architettura distribuita o un unico server potente

3

Ho fatto una domanda su Scaling Matrix Moltiplicazione per CPU Core su StackOverflow e sembra che l'aggiunta di più core CPU a questo problema non ridurrà drasticamente il tempo necessario per eseguire Multiplicazioni Matrix.

Ora mi chiedo se le architetture scalabili sono la risposta per moltiplicazioni di matrice su larga scala O un server strong con molti core e memoria?

La latenza di architetture scalabili come Hadoop è un aspetto negativo, ma mi chiedo anche se lanciare CPU più potenti (come Intel Core i9 7980XE) al problema sarebbe in grado di aumentare considerevolmente le prestazioni.

Quello a cui tengo di mira è un'architettura ad alta velocità e bassa latenza e, per motivi di discussione, facciamo finta che Price non sia un vincolo (ma per favore non consigliare le architetture di SuperComputer! Il prezzo di quelle cose sono in realtà un vincolo!)

    
posta Cypher 05.07.2018 - 11:28
fonte

1 risposta

1

Dalla mia esperienza (un po 'più grande), la risposta è: prendi entrambi insieme.

La moltiplicazione di matrici è un classico problema di HPCN risolto in libagie come BLAS (vedi link ). Queste librerie sono ottimizzate e possono essere utilizzate anche su supercomputer o sistemi scalabili simili. Potresti anche trarre vantaggio da altri algoritmi adatti che suddividono e distribuiscono le tue matrici (se sono veramente grandi) su una rete di nodi. Vedi ad esempio link

Alla fine, si tratta di una questione sulle prestazioni di comunicazione (di blocchi di matrici parziali) rispetto alle prestazioni di calcolo e sull'algoritmo selezionato (con la sua complessità algoritmica).

La selezione del tuo algoritmo dipende anche dalla struttura delle tue matrici (ako il problema). E 'una matrice densa?

Quindi: sì, è una questione di architettura del software per il mio punto di vista. E ti consiglio vivamente di ispezionare alcune delle opere di Jack Dongarra. (potrebbe non essere il più recente - comunque ottimi punti di partenza).

    
risposta data 16.08.2018 - 17:23
fonte