Server web pesante in Cpu

Ciò che stai chiedendo è tipico di un'architettura a più livelli.

Vuoi un livello web progettato per l'IO, è il suo compito principale. Quando è necessario eseguire alcune elaborazioni pesanti, è necessario eseguire il farming su un altro livello progettato per il crunch della CPU.

Molti siti Web fanno questo (almeno i più grandi), hanno una fattoria di server web che diffondono il carico di I / O, ma questi sono lì solo per il lavoro di presentazione - la restituzione di file statici e l'assunzione di richieste. Quando arriva una richiesta di lavoro, il server web passa la richiesta a un livello di applicazione, dove i server di app scricchiolano i dati e restituiscono i risultati al server web per tornare all'utente.

I vantaggi sono nella scalabilità: puoi aggiungere un nuovo server di app quando vuoi, se hai più cpu crunching da fare, allo stesso modo, se la quantità di richieste di I / O diventa eccessiva, puoi aggiungere un nuovo server web.

Quello che non devi fare è pensare a un web server come a un server delle applicazioni. Anche se può svolgere quel ruolo in una piccola applicazione, è lì solo per comodità.

Quindi node.js può eseguire l'attività desiderata, è sufficiente inviare qualsiasi lavoro pesante sulla CPU da qualche parte. È facile inviare richieste (con un metodo asincrono!) A un altro servizio o processo. Dato che il nodo gira su un singolo thread, significa che ne sono disponibili molti altri sulla stessa scatola, supponendo che non li abbia riempiti con DB work ( che è un task pesante per la CPU stesso ).

Avrai bisogno di una tecnologia che ti permetta di aggiungere tutta la CPU di cui hai bisogno.

Poiché molto probabilmente diventerai troppo grande per un singolo server, per Java hai bisogno di un application server che sia costruito su più server. Un esempio è Glassfish 3.1 che può essere raggruppato per fare esattamente questo.

Vedi link per ulteriori informazioni.

Potresti voler controllare Erlang Ha un modello di concorrenza molto semplice e supporta facilmente carichi molto pesanti . Inoltre è progettato in modo da poter costruire sistemi molto affidabili con relativa facilità.

Altri vantaggi di Erlang includono la possibilità di aggiornare il codice in esecuzione senza portare un sistema offline. Pertanto, se si dispone di un server che trasmette dati agli utenti, non è necessario disconnettere gli utenti per aggiornare il server.

Qualsiasi server Web asincrono (Node.js è uno di questi) può essere facilmente adattato per il sollevamento della CPU. La domanda è che l'attività intensiva della CPU dovrebbe essere generata indipendentemente dal server principale (thread separato, processo separato, pool di thread o processi o servizio migliore ancora completamente disaccoppiato). I server asincroni possono facilmente eseguire il polling di numerose attività in esecuzione, senza creare un sovraccarico.

D'altra parte, quale sarebbe una pessima idea, è eseguire compiti pesanti della CPU all'interno del server web stesso. Una pratica non sconosciuta nelle configurazioni di Apache + PHP, ma è ben lungi dall'essere una buona pratica. Non è né efficiente né scalabile.

Non dimenticare gli enormi miglioramenti (due ordini di grandezza) che puoi ottenere dall'accelerazione GPU per alcuni dei compiti che hai menzionato. Se ciò non è possibile, i miglioramenti nell'ordine di grandezza sono ancora possibili con il parallelismo e la vettorizzazione.