您好,今天小华来为大家解答以上的问题。github地址相信很多小伙伴还不知道,现在让我们一起来看看吧!
github地址 github地址查询
github地址 github地址查询
1、运行指令如下:——使用docker拉取Ubuntu镜像,将单机安装好hadoop,然后做成image,再跑多个容器做集群。
2、但有人建议不要把本地运行的容器转成镜像!——使用阿里hadoop镜像创建hadoop容器,分别创建三个、sle1、sle2。
3、容器内都是只有hadoop软件还没有配置。
4、通过 docker exec -it bash 分别进入三个进行配置: 1)查看jdk: ja –version2)配置ssh生成秘钥:a.启动ssh /etc/init.d/ssh start ;b.生成秘钥 ssh-keygen -t rsa3)分别进入每个,将其他的公钥也都到authorized_keys,容器中的文件到centos本地,在本地对其进行整合,再将其传回容器4)分别为每个——自设计kiwenlau/hadoop:1.0镜像,关于此镜像的说明:配置ip地址( ip addr 查看ip地址, vi /etc/hosts 配置)5)配置hadoop:a.配置hadoop-env.sh,配置jdk;b.配置core-site.xml,配置hdfs的地址和端口号;c.配置hdfs-site.xml ,配置hdfs备份数量,配置namenode和datanode的数据路径;d.配置 mapred-site.xml,指定MapReduce运行在yarn上,配置JobTracker的地址和端口;e.配置yarn-site.xml,配置hdfs备份数量;f. 步骤a-e在上配置完后 ,将core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-site.xml 发送到sle1 和sle26)运行hadoop:a.在的/etc/hadoop/sles配置sles;b.在上格式化namenode;c.在上启动集群;d.jps 查看进程;e.分别进入sle1查看进程——再整理sequenceiq/hadoop-docker创建分布式。
5、与上面思路一样(同一人所写),只是使用的镜像不一样。
6、——docker hub中的高赞 单hadoop镜像 (针对其有网友作出国内使用的几点更改: 适合国内使用的修改 ,我直接使用国外的无恙)参考alvinhenrick/hadoop-mutinode项目,但优化了镜像大小、构造时间、镜像层数,默认启动3个的Hadoop集群,支持任意数的Hadoop集群,基于 Ubuntu 。
7、github地址: kiwenlau/hadoop-cluster-docker。
本文到这结束,希望上面文章对大家有所帮助。