Configuracion Hadoop Con Virtualbox
Configuracion Hadoop Con Virtualbox
Configuracion Hadoop Con Virtualbox
Prácticas BigData
• Le ponemos contraseña
passwd hadoop
www.apasoft-training.com 1
Apasoft Training
• Instalamos JDK mediante RPM o cualquier otro de los mecanismos del Sistema
operativo con el que estemos trabajando. El que usamos durante el curso es un
CENTOS.
rpm –ivh jdkXXXXXX.rpm
• Debemos asegurarnos de que usa el JDK que hemos descargado para que no
tengamos problemas.
• Si disponemos de distintas versiones podemos utilizar el siguiente comando.
Debemos seleccionar la versión que hemos descargado. Seguramente existen
otras que vienen con el propio CENTOS.
alternatives --config java
Hay 3 programas que proporcionan 'java'.
Selección Comando
-----------------------------------------------
*+ 1 /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64/jre/bin/java
2 /usr/java/jdk1.8.0_45/jre/bin/java
3 /usr/java/jdk1.8.0_45/bin/java
www.apasoft-training.com 2
Apasoft Training
java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
www.apasoft-training.com 3
Apasoft Training
www.apasoft-training.com 4
Apasoft Training
• Accedemos a /opt
cd /opt
• Desempaquetamos el software
tar xvf hadoopXXX-bin.tar
www.apasoft-training.com 5
Apasoft Training
• Cambiamos los permisos para que pertenezcan al usuario “hadoop”, que es con
el que vamos a trabajar.
cd /opt
chown -R hadoop:hadoop hadoop
www.apasoft-training.com 6
Apasoft Training
www.apasoft-training.com 7
Apasoft Training
• Ejecutamos el siguiente comando que busca todos los ficheros de /tmp/input que
tengan el texto “dfs” y luego tenga un carácter de la “a” a la “z” y deja el
resultadoen el directorio /tmp/output”. Funciona de forma parecida al grep de
linux
• NOTA: en siguientes capítulos veremos con más detalle el comando hadoop.
Por ahora solo es necesario saber que lanza un proceso de tipo MapReduce de
Hadoop
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.jar grep
/tmp/input /tmp/output 'dfs[a-z.]+'
www.apasoft-training.com 8
Apasoft Training
1 dfs.namenode.name.dir
1 dfs.namenode.checkpoint.dir
1 dfs.journalnode.edits.dir
1 dfs.ha.namenodes.ha
1 dfs.ha.fencing.ssh.private
1 dfs.ha.fencing.methods
1 dfs.ha.automatic
1 dfs.datanode.data.dir
1 dfs.client.failover.proxy.provider.ha
www.apasoft-training.com 9