`

eclipse与Hadoop集群连接

 
阅读更多
一、安装这个插件很简单,把 hadoop-eclipse-plugin-2.2.0 个文件copy到eclipse的eclipse\plugins
目录下,然后启动eclipse就算完成安装了。
、在左边的 project explorer 上头会有一个 DFS locations的标志
2、在 windows -> preferences里面会多一个hadoop map/reduce的选项,选中这个选项,然后右边,把下载的hadoop根目录选中
(windows上的hadoop只是为了调用里面的jar包)
如果能看到以上两点说明安装成功了。
二、在windows的"C:\Windows\System32\drivers\etc\hosts"路径下加入以下内容:
192.168.80.101 hadoop1
192.168.80.102 hadoop2
192.168.80.103 hadoop3

三、插件安装后,配置连接参数
插件装完了,启动hadoop,然后就可以建一个hadoop连接了,
第一步,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击
第二步,在点击大象后弹出的对话框进行进行参数的添加:
location name: 这个随便填写,我填写的是:hadoop
Map/Reduce(V2) Master 这个框里
Host:就是jobtracker 所在的集群机器,这里写hadoop1(这里可以写主机名,因为前面已经加了主机映射。)
Hort:就是jobtracker 的port,这里写的是8032
这两个参数就是yarn-site.xml里面的 yarn.resourcemanager.address 里面mapred.job.tracker里面的ip和port
DFS Master 这个框里
Host:就是namenode所在的集群机器,这里写hadoop1
Port:就是namenode的port,这里写9000
这两个参数就是core-site.xml里面fs.defaultFS里面的ip和port
(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所以是一样的,就勾选上)
user name:这个是连接hadoop的用户名,因为我是用root用户安装的hadoop,而且没建立其他的用户,所以就用root。
下面的不用填写。然后点击finish按钮,此时,这个视图中就有多了一条记录。
第三步,重启eclipse并重新编辑刚才建立的那个连接记录,如图现在我们编辑advance parameters tab页
dfs.replication:这个这里默认是3,

dfs.data.dir 改为 /nosql/hadoop1/data
hadoop.tmp.dri 改为 /tmp/hadoop1-root
然后点击finish,DFS Locations下面会有一只大象,下面会有一个文件夹,即 hdfs的根目录,这里就是展示的分布式文件系统的目录结构了。
右击"hadoopàuseràroot"可以尝试建立一个"文件夹--test",然后右击刷新就能查看我们刚才建立的文件夹。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics