Skip to main content

 路由器设置网 > 新闻资讯 >

Hadoop的安装

2014-07-08 23:38 浏览:


一台笔记本上,虚拟机安装三个

192.168.80.11作为namenode

192.168.80.12

192.168.80.13两个字节点

软件:hadoop1.1.2、jdk1.6.0_24、vmware10

(安装记录,一次成功)

1.首先修改每台机器的名字
/etc/sysconfig/network
进行修改
hostname进行验证
2.修改每台机器的IP,直接通过系统菜单设置
重启网卡:
service netwokr stop;
service netwokr start;

ifconfig进行验证
3.配置hosts文件(必须的)
位置:/etc/hosts
格式:
192.168.80.11 master
192.168.80.12 slave1
192.168.80.13 slave12
4.SSH无密码验证
命令:ssh-keygen -t rsa生成在~/.ssh下
要求树状结构:

master节点能够找到每个slave节点,每个slave节点能够找到master
使用:
scp id_rsa.pub 
hadoop@192.168.80.11:~/.ssh/s1
scp id_rsa.pub hadoop@192.168.80.11:~/.ssh/s2
然后在master的.ssh下:
cat id_rsa.pub>>authorized_keys
cat s1>>authorized_keys
cat s2>>authorized_keys
将authorized_keys发给每个slave一份
最后:给authorized_keys文件授权(必须的)
chmod 600 authorized_keys
使用ssh IP测试是否成功
5.安装JDK
先给jdk的安装文件授权:chmod u+x jdk……
安装命令:./jdk……
然后配置环境变量:~/.bash_profile
export JAVA_HOME=~/jdk1.6.0_24
export HADOOP_HOME=~/hadoop
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME:$java_home/jre/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/lib:$HADOOP_HOME/bin
执行source .bash_profiel使修改生效

6.安装Hadoop
先授权:chmod u+x hadoop-1.1.2……
解压:tar -zxvf hadoop-1.1.2.tar.gz
hadoop文件夹改名:mv hadoop-1.1.2 hadoop
环境变量的配置,同JDK

7.hadoop配置
首先在~/hadoop下建一个tmp文件夹:mkdir tmp
配置文件:
(1)hadoop-env.sh:export JAVA_HOME=~/jdk1.6.0_24
(2)core-site.xml:
<configuration>
 <property>
 //临时文件件
  <name>hadoop.tmp.dir</name>
  <value>~/hadoop/tmp</value>
 </property>
 <property>
 //HDFS的地址和端口号
         <name>fs.default.name</name>
         <value>hdfs://192.168.80.11:9000</value>
 </property>
</configuration>
(3)hdfs-site.xml:
<configuration>
 <property>
 //副本数量,默认为3
  <name>dfs.replication</name>
  <value>2</value>
 </property>
</configuration>
(4)mapred-site.xml:jobTracker的地址和端口号
<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>http://192.168.80.11:9001</value>
 </property>
</configuration>

8.配置masters文件
写IP地址
9 .配置slaves文件(master主机特有的)
IP地址
10.格式化namenode
hadoop namenode -format
11.启动hadoop集群
先关闭所有机器的防火墙
chkconfig iptables off;永久关闭,重启不影响
service iptables off;//临时的

启动命令:start-all.sh
关闭命令:stop-all.sh
可以使用jps命令查看启动的JVM进程
可以使用hadoop dfsadmin -report;查看整个hadoop集群的状态
可以使用网页进行查看:
http://192.168.80.11:50030http://192.168.80.11:50070


当然,安装的时候,也可以先安装一个,然后使用scp复制到其他机器上,然后修改不同的地方。

hadoop的安装模式:
hadoop dfsadmin -safenode leave;离开安全模式


小褚2014年7月8日于上地五街方正大厦