Come viene modellata la memoria in progetti come Apache Spark o Druid?

1

Negli ultimi due mesi ho lavorato sia con Apache Spark che con Druido per alcuni progetti. Durante il processo di apprendimento dell'uso di questi strumenti, ho passato un po 'di tempo a leggere la loro documentazione e ad arrivare al loro funzionamento interno (il codice sotto il cofano piuttosto che il codice di livello API).

In entrambi i progetti, menzionano sia la memoria on-heap che - per utilizzare un termine generico del progetto - "memoria-lavoratore" (la quantità di memoria che un particolare lavoratore ha quando esegue un lavoro / attività). Sono interessato a saperne di più su quest'ultimo.

In questi progetti, gli sviluppatori hanno creato delle classi per modellare la memoria contigua stessa (magari usando gli array)? In caso contrario, non riesco a capire come sarebbero andati a consentire in primo luogo di definire l'impostazione "memoria dei lavoratori".

Se qualcuno ha qualche idea dei dettagli che ruotano attorno a questo, sarei interessato a conoscerlo.

    
posta dmux 22.10.2016 - 01:18
fonte

0 risposte

Leggi altre domande sui tag