Installazione di Apache Hadoop su Mac Mavericks

2

Sto avendo difficoltà a installare Apache Hadoop (2.4.1) sul mio Mac (OS 10.9). C'è una guida passo-passo che spiega in modo completo e, soprattutto, fa funzionare Hadoop sulla mia macchina ?. Ho seguito un tutorial per l'installazione e attualmente i miei problemi sono questi:

  1. Non sono sicuro che Hadoop sia effettivamente installato "correttamente". Digitando hadoop version si visualizza 2.4.1 ma l'esecuzione di start-all.sh mostra un lungo elenco di avvisi.
  2. Ho pensato di verificare se Hadoop è stato installato correttamente eseguendo un programma di esempio (WordCount.java) come viene fornito ovunque nella rete. Ora ho installato Eclipse Luna ma la guida che ho seguito per illustrare "Come integrare Eclipse con Hadoop" mi dice di importare tutti i file da '../libexec', ma per Hadoop 2.4.1 non ci sono giare, almeno nessuna che potrei trovare.
  3. Attualmente nel mio / usr / local / ci sono 3 directory denominate hadoop-2.4.1, hadoop (un link simbolico a questo suppongo) e una directory chiamata Cellar. Ora tutte e tre le directory hanno alcune sottodirectory per nome Hadoop e molte altre sottodirectory come lib, lib exec. Ora come faccio a sapere quali sono per quale scopo. Ogni altro tutorial si riferisce a una diversa directory da utilizzare, quella che mi ha fatto installare Hadoop non menziona mai un po 'come testare una mappa Hadoop di esempio per ridurre l'applicazione.

Ho persino provato HortonWorks Sandbox per Apache Hadoop. Ma le mie macchine da 4 GB di RAM sembrano minuscole per quella gigantesca applicazione da eseguire e il mio sistema impiccato !! Devo farlo funzionare per le mie cose relative al progetto, in attesa di un sincero aiuto.

    
posta Aditya Bahuguna 04.08.2014 - 22:47
fonte

1 risposta

1
  1. Nel mio caso start-all.sh dice che è deprezzato e dovrei usare start-dfs.sh e start-yarn.sh . Entrambi non danno errori né avvisi sull'output (per hdf di cluster locali e locali).

  2. In Hadoop 2.4.1 i jars con le librerie condivise si trovano sotto /libexec/share/hadoop/ e seguono le sottodirectory. Per eseguire semplici app MapReduce è sufficiente aggiungere mapreduce/hadoop-mapreduce-client-core-2.4.1.jar e common/hadoop-common-2.4.1.jar .

  3. Uso la versione brew, quindi la mia si trova sotto /usr/local/Cellar/hadoop/2.4.1/ . Per semplificare, uso la variabile env per puntare alla directory.

Non ne sono sicuro, ma 4 GiB di ram dovrebbero essere sufficienti per testare l'ambiente con alcune app. Non dovrebbe bloccarsi.

    
risposta data 27.08.2014 - 17:47
fonte

Leggi altre domande sui tag