Archiviazione persistente per Apache Mesos

5

Recentemente ho scoperto un Apache Mesos .

Sembra tutto incredibilmente in tutte le demo e gli esempi. Potrei facilmente immaginare come si farebbe per i lavori apolidi - che si adatta naturalmente a tutta l'idea.

Gestisci come gestire i lavori di lunga durata con stato?

Dire, ho un cluster che consiste di N macchine (e che è programmato tramite Marathon ). E voglio eseguire un server postgresql lì.

Questo è tutto - inizialmente non voglio nemmeno che sia altamente disponibile, ma semplicemente un singolo lavoro (in realtà Dockerized) che ospita un server postgresql.

Come si organizzerebbe?

Vincola un server a un particolare nodo del cluster? Usa qualche FS distribuito?

    
posta zerkms 07.07.2014 - 04:16
fonte

1 risposta

6

Risposta breve: Apache Mesos non fornisce FS distribuiti.

Quindi, le app devono lavorare con le FS locali sugli schiavi oppure è possibile eseguire qualsiasi FS distribuito insieme a Mesos. Mesos viene generalmente distribuito insieme a HDFS e gran parte dei framework che girano su Mesos possono funzionare con HDFS (Hadoop, Spark, Storm, ecc.)

E nel caso in cui la tua app non supporti alcun fs distribuito, deve lavorare con le FS locali su ogni slave.

Eseguo ElasticSearch su Mesos: ho specificato le directory locali per i dati ES nel file di configurazione che ogni slave del mesos utilizza quando avvio framework. Quindi, se riavvio il framework ES, ogni slave ES utilizzerà le directory specificate e, se sono presenti alcuni dati, tali dati verranno utilizzati. Eseguo più istanze di ES e replicano i dati tra loro, quindi non devo preoccuparmi di perdere dati.

Tuttavia, a un certo punto potrebbe esserci un problema: supponiamo che io abbia 4 mesos slave, eseguo ES su 2 di essi. Poi interrompo il framework ES e avvio qualche altro framework su 2 slave, quindi avvio nuovamente il framework ES su 2 slave, ma il mesos non garantisce che 2 nuovi slave siano gli stessi 2 slave su cui stavo eseguendo ES in precedenza. Quindi non ci sarà alcuna copia precedente dei dati.

Eseguo ES sulla maggior parte degli schiavi Mesos e non interrompo mai il framework, quindi non ho mai riscontrato questo problema.

    
risposta data 07.07.2014 - 05:01
fonte

Leggi altre domande sui tag