Perché più core CPU sulla macchina virtuale rallentano i tempi di compilazione?

Risposta: Non rallenta, si scala con # di core CPU. Il progetto utilizzato nella domanda originale era "troppo piccolo" (in realtà è un ton di sviluppo ma piccolo / ottimizzato per un compilatore) per sfruttare i vantaggi di più core. Sembra invece di pianificare come distribuire il lavoro, generare più processi del compilatore, ecc., Su questa piccola scala è meglio martellare seriamente il lavoro immediatamente.

Questo è basato sul nuovo esperimento che ho fatto basandomi sui commenti alla domanda (e sulla mia curiosità personale). Ho usato un progetto VS più grande - il codice sorgente di Umbraco CMS poiché è grande, open source e si può caricare direttamente il file di soluzione e ricostruzione (suggerimento: caricare umbraco_675b272bb0a3\src\umbraco.sln in VS2010 / VS2012).

ADESSO, quello che vedo è quello che mi aspetto, cioè compila la scala !! Beh, ad un certo punto da quando ho trovato:

asporto:

• UnnuovonucleoVMgeneraunnuovothreadOSXall'internodelprocessoVirtualBox
• Itempidicompilazioneaumentanocomeprevisto(lecompilazionisonosufficienti)
• A8coreVM,l'emulazionedibasepotrebbeessereavviataall'internodiVirtualBoxpoichélapenalitàèmassiccia(50%dihit)
• QuantosopraèprobabileperchéOSXnonèingradodipresentare4coreiper-threaded(thread8h/w)come8coreinVirtualBox

L'ultimopuntomihaindottoamonitorarelacronologiadellaCPUsututtiicoretramite"Activity Monitor" (cronologia della CPU) e ciò che ho trovato è stato

asporto:

• In una VM core, l'attività sembra saltellare tra i 4 core HW. Ha senso, distribuire uniformemente il calore ai livelli centrali.

• Anche a 4 core virtuali (e 27 thread VirtualBox OS X o ~ 800 thread OS X complessivi), solo i thread HW (0,2,4,6) sono quasi saturi mentre i thread HW dispari (1, 3,5,7) sono quasi allo 0%. Più probabilmente lo schedulatore funziona in termini di core HW e thread NON HW, quindi suppongo che il kernel / schedulatore OSX a 64 bit non sia ottimizzato per la CPU con hyper thread? O guardando l'installazione del core 8VM, forse inizia a usarli con un elevato utilizzo della CPU%? Qualcosa di divertente ne sta andando uno ... beh, questa è una domanda separata per alcuni sviluppatori di Darwin ...

[modifica]: mi piacerebbe provare lo stesso in VMWare Fusion. È probabile che non sarà così male. Mi chiedo se mostrino questo come un prodotto commerciale ...

Piè di pagina:

Nel caso in cui le immagini scompaiano, la tabella di compilazione è (testo, brutto!)

Cores in    Avg compile      Host/OSX    Host/OSX CPU
   VM         times (sec)   Threads      consumption
    1           11.83            24        105-115%
    2           10.04            25        140-190%
    4            9.59            27        180-270%
    8           14.18            31        240-430%

C'è solo una possibile ragione per questo che sta accadendo, che è che il tuo overhead sta superando i tuoi guadagni.

È possibile emulare i nuclei multipli, anziché assegnare core effettivi o persino processi o persino thread dalla macchina host. Mi sembra piuttosto probabile, e ovviamente ti darà un aumento di velocità negativo.

L'altra possibilità è che il processo stesso non è in parallelo, e anche il tentativo di parallelizzarlo ti sta costando più del sovraccarico di comunicazione di quello che stai guadagnando.

Non sei solo ...

La stessa cosa mi è successa prima con Java usando Maven 3.x per compilare su un i3. Lasciarlo in modo predefinito su "4" i thread era molto più lento, vicino al 50% più lento, piuttosto che dirlo esplicitamente per usare solo 2 core.

Penso che abbia qualcosa a che fare con il cambio di contesto hyper-threading e l'I / O che si sovrappone.

Ha senso quando inizi a pensarci. Puoi provare che cosa causa la degenerazione dei risultati con un buon strumento di profilazione del sistema.