什么叫hadoop伪分布 ，是一台主机里有虚拟机这样
伪分布模式也是在一台单机上运行，但用不同的 Ja 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, Secondary NameNode )，分布式运行中的这几个结点的区别：
hadoop伪分布安装步骤 hadoop的伪分布式安装
hadoop伪分布安装步骤 hadoop的伪分布式安装
从分布式存储的角度来说，集群中的结点由一个 NameNode 和若干个 DataNode 组成, 另有一个 Secondary NameNode 作为 NameNode 的备份。
从分布式应用的角度来说，集群中的结点由一个 JobTracker 和若干个 TaskTracker 组成，JobTracker 负务的调度，TaskTracker 负责并行执行任务。
TaskTracker 必须运行在 DataNode 上，这样便于数据的本地计算。JobTracker 和 NameNode 则无须在同一台机器上。
伪分布模式安装步骤：
1.解压到某目录下并设置JAVA_HOME。
2.修改配置文件：
a)修改conf/core-site.xml：
b)修改conf/mapred-site.xml:
c)修改conf/hdfs-site.xml:
＃参数 fs.default.name 指定 NameNode 的 IP 地址和端口号。缺省值是 file:///, 表示使用本地文件系统, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 NameNode。
＃参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号。缺省值是 local, 表示在本地同一 Ja 进程内执行 JobTracker 和 TaskTracker, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 JobTracker ( 用一个单独的 Ja 进程做 JobTracker )。
＃参数 dfs.replication 指定 HDFS 中每个 Block 被的次数，起数据冗余备份的作用。 在典型的生产系统中，这个数常常设置为3。
Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，首先必须安装Cygwin以模拟Linux环境，然后才能安装Hadoop。Hadoop的安装非常简单，大家可以在上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此下面不会对其进行详细介绍。
在Linux上安装与配置Hadoop
在Linux上安装Hadoop之前，需要先安装两个程序：
1. JDK 1.6或更高版本;
2. SSH(安全外壳协议)，安装OpenSSH。
下面简述一下安装这两个程序的原因：
1. Hadoop是用Ja开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。
2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/sles中记载的主机上的进程，只不过伪分布式中salve为localhost(即为自身)，所以对于伪分布式Hadoop，SSH一样是必须的。
一、安装JDK 1.6
安装JDK的过程很简单，下面以Ubuntu为例。
(1)下载和安装JDK
确保可以连接到互联网，输入命令：
sudo apt-get install sun-ja6-jdk输入密码，确认，然后就可以安装JDK了。
这里先解释一下sudo与apt这两个命令，sudo这个命令允许普通用户执行某些或全部需要root权限命令，它提供了详尽的日志，可以记录下每个用户使用这个命令做了些什么作;同时sudo也提供了灵活的管理方式，可以限制用户使用命令。sudo的配置文件为/etc/sudoers。
apt的全称为the Aanced Packaging Tool，是Debian的一部分，是Ubuntu的软件包管理软件，通过apt安装软件无须考虑软件的依赖关系，可以直接安装所需要的软件，apt会自动下载有依赖关系的包，并按顺序安装，在Ubuntu中安装有apt的一个图形化界面程序synaptic(中文译名为“新立得”)，大家如果有兴趣也可以使用这个程序来安装所需要的软件。(如果大家想了解更多，可以查看一下关于Debian的资料。)
(2)配置环境变量
输入命令：
sudo gedit /etc/profile输入密码，打开profile文件。
在文件的最下面输入如下内容：
#set Ja Environment
(3)验证JDK是否安装成功
输入命令：
ja -version查看信息：
ja version "1.6.0_14"
同样以Ubuntu为例，设用户名为u。
1)确认已经连接上互联网，输入命令
sudo apt-get install ssh2)配置为可以无密码登录本机。
首先查看在u用户下是否存在.ssh文件夹(注意ssh前面有“.”，这是一个隐藏文件夹)，输入命令：
ls -a /home/u一般来说，安装SSH时会自动在当前用户下创建这个隐藏文件夹，如果没有，可以手动创建一个。
接下来，输入命令：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa解释一下，ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思，即密钥类型;-P用于提供密语;-f指定生成的密钥文件。(关于密钥密语的相关知识这里就不详细介绍了，里面会涉及SSH的一些知识，如果读者有兴趣，可以自行查阅资料。)
在Ubuntu中，~代表当前用户文件夹，这里即/home/u。
这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub，这是SSH的一对私钥和公钥，类似于钥匙及锁，把id_dsa.pub(公钥)追加到授权的key里面去。
输入命令：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys这段话的意思是把公钥加到用于认证的公钥文件中，这里的authorized_keys是用于认证的公钥文件。
至此无密码登录本机已设置完毕。
3)验证SSH是否已安装成功，以及是否可以无密码登录本机。
输入命令：
ssh -version显示结果：
OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2007
输入命令：
ssh localhost会有如下显示：
The authenticity of host 'localhost (::1)' can't be established.
实际上，在Hadoop的安装过程中，是否无密码登录是无关紧要的，但是如果不配置无密码登录，每次启动Hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑到一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH的无密码登录。
三、安装并运行Hadoop
介绍Hadoop的安装之前，先介绍一下Hadoop对各个的角色定义。
Hadoop分别从三个角度将主机划分为两种角色。，划分为和sle，即主人与奴隶;第二，从HDFS的角度，将主机划分为NameNode和DataNode(在分布式文件系统中，目录的管理很重要，管理目录的就相当于主人，而NameNode就是目录管理者);第三，从MapReduce的角度，将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task，从这个角度不难理解它们之间的关系)。
Hadoop有发行版与cloudera版，其中cloudera版是Hadoop的商用版本，这里先介绍Hadoop发行版的安装方法。
Hadoop有三种运行方式：单方式、单机伪分布方式与集群方式。乍看之下，前两种方式并不能体现云计算的优势，在实际应用中并没有什么意义，但是在程序的测试与调试过程中，它们还是很有意义的。
你可以通过以下地址获得Hadoop的发行版，下载Hadoop-0.20.2.tar.gz并将其解压，这里会解压到用户目录下，一般为：/home/[你的用户名]/。
单方式配置：
安装单的Hadoop无须配置，在这种方式下，Hadoop被认为是一个单独的Ja进程，这种方式经常用来调试。
伪分布式配置：
你可以把伪分布式的Hadoop看做是只有一个的集群，在这个集群中，这个既是，也是sle;既是NameNode也是DataNode;既是JobTracker，也是TaskTracker。
伪分布式的配置过程也很简单，只需要修改几个文件，如下所示。
进入conf文件夹，修改配置文件：
Hadoop-env.sh:
conf/core-site.xml:
conf/hdfs-site.xml:
conf/mapred-site.xml:
需要注意的是，如果安装的是0.20之前的版本，那么只有一个配置文件，即为Hadoop-site.xml。
接下来，在启动Hadoop前，需格式化Hadoop的文件系统HDFS(这点与Windows是一样的，重新分区后的卷总是需要格式化的)。进入Hadoop文件夹，输入下面的命令：
bin/Hadoop NameNode -format格式化文件系统，接下来启动Hadoop。
输入命令：
bin/start-all.sh（全部启动），验证Hadoop是否安装成功。
打开浏览器，分别输入网址：
对于Hadoop来说，安装MapReduce及HDFS都是必须的，但是如果有必要，你依然可以只启动HDFS(start-dfs.sh)或MapReduce(start-mapred.sh)。
伪分布式集群指的是在一台机群上搭建Hadoop集群，你有三台机器的话就直接搭建全分布是集群就可以了。
你说你在CentOs单机安装好hadoop是什么意思，指的是单机模式吗？那集群就把你现在安装好的hadoop目录copy到另外两台机器上，然后配置好SSH免密码登陆，以及确定哪台机器作为namenode和jobtracker，配置好core-site.xml，hdfs-site.xml，mapred-site.xml以及和sler文件即可。
具体步骤还请参考网上文章
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA
注意：apache提供的hadoop-2.4.1的安装包是在32位作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的作上安装hadoop-2.4.1就需要重新在64作系统上重新编译
（建议次安装用32位的系统，我将编译好的64位的也上传到群共享里了，如果有兴趣的可以自己编译一下）
前期准备就不详细说了，课堂上都介绍了
1.修改Linux主机名
2.修改IP
3.修改主机名和IP的映射关系
######注意######如果你们公司是租用的或是使用的云主机（如华为用主机、阿里云主机等）
/etc/hosts里面要配置的是内网IP地址和主机名的映射关系
4.关闭防火墙
5.ssh免登陆
6.安装JDK，配置环境变量等
集群规划：
主机名 IP 安装的软件 运行的进程
HA181 192.168.1.181 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
HA182 192.168.1.182 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)
HA183 192.168.1.183 jdk、hadoop ResourceMar
HA184 192.168.1.184 jdk、hadoop ResourceMar
HA185 192.168.1.185 jdk、hadoop、zookeeper DataNode、NodeMar、JournalNode、QuorumPeerMain
HA186 192.168.1.186 jdk、hadoop、zookeeper DataNode、NodeMar、JournalNode、QuorumPeerMain
HA187 192.168.1.187 jdk、hadoop、zookeeper DataNode、NodeMar、JournalNode、QuorumPeerMain
说明：
1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
hadoop2.0提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题，就是ResourceMar只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceMar，一个是Active，一个是Standby，状态由zookeeper进行协调
安装步骤：
1.安装配置zooekeeper集群（在HA185上）
1.1解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /app/
1.2修改配置
cd /app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/app/zookeeper-3.4.5/tmp
在添加：
server.1=HA185:2888:3888
server.2=HA186:2888:3888
server.3=HA187:2888:3888
保存退出
然后创建一个tmp文件夹
mkdir /app/zookeeper-3.4.5/tmp
再创建一个空文件
touch /app/zookeeper-3.4.5/tmp/myid
向该文件写入ID
echo 1 > /app/zookeeper-3.4.5/tmp/myid
1.3将配置好的zookeeper拷贝到其他(首先分别在HA186、HA187根目录下创建一个weekend目录：mkdir /weekend)
scp -r /app/zookeeper-3.4.5/ HA186:/app/
scp -r /app/zookeeper-3.4.5/ HA187:/app/
注意：修改HA186、HA187对应/weekend/zookeeper-3.4.5/tmp/myid内容
HA186：
echo 2 > /app/zookeeper-3.4.5/tmp/myid
HA187：
echo 3 > /app/zookeeper-3.4.5/tmp/myid
2.安装配置hadoop集群（在HA181上作）
2.1解压
tar -zxvf hadoop-2.4.1.tar.gz -C /weekend/
2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/app/jdk1.7.0_79
export HADOOP_HOME=/app/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/app/hadoop-2.4.1/etc/hadoop
2.2.1修改hadoop-env.sh
export JAVA_HOME=/app/jdk1.7.0_79
2.2.2修改core-site.xml
2.2.3修改hdfs-site.xml
sshfence
shell(/bin/true)
2.2.4修改mapred-site.xml
2.2.5修改yarn-site.xml
2.2.6修改sles(sles是指定子的位置，因为要在HA181上启动HDFS、在HA183启动yarn，
所以HA181上的sles文件指定的是datanode的位置，HA183上的sles文件指定的是nodemar的位置)
HA185
HA186
HA187
2.2.7配置免密码登陆
#首先要配置HA181到HA182、HA183、HA184、HA185、HA186、HA187的免密码登陆
#在HA181上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他，包括自己
ssh-copy-id HA181
ssh-copy-id HA182
ssh-copy-id HA183
ssh-copy-id HA184
ssh-copy-id HA185
ssh-copy-id HA186
ssh-copy-id HA187
#配置HA183到HA184、HA185、HA186、HA187的免密码登陆
#在HA183上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他
ssh-copy-id HA184
ssh-copy-id HA185
ssh-copy-id HA186
ssh-copy-id HA187
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置HA182到HA181的免登陆
在HA182上生产一对钥匙
ssh-keygen -t rsa
ssh-copy-id -i HA181
2.4将配置好的hadoop拷贝到其他
scp -r /app/hadoop-2.5.1/ HA182:/app/
scp -r /app/hadoop-2.5.1/ HA183:/app/
scp -r /app/hadoop-2.5.1/ HA184:/app/
scp -r /app/hadoop-2.5.1/ HA185:/app/
scp -r /app/hadoop-2.5.1/ HA186:/app/
scp -r /app/hadoop-2.5.1/ HA187:/app/
###注意：严格按照下面的步骤
2.5启动zookeeper集群（分别在HA185、HA186、tcast07上启动zk）
cd /app/zookeeper-3.4.5/bin/
./zk.sh start
#查看状态：一个leader，两个follower
./zk.sh status
2.6启动journalnode（分别在在HA185、HA186、HA187上执行）
cd /app/hadoop-2.5.1
hadoop-daemon.sh start journalnode
#运行jps命令检验，HA185、HA186、HA187上多了JournalNode进程
2.7格式化ZKFC(在HA181上执行即可) hdfs zkfc -formatZK
2.8格式化HDFS
#在HA181上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/app/hadoop-2.4.1/tmp，然后将/weekend/hadoop-2.4.1/tmp拷贝到HA182的/weekend/hadoop-2.4.1/下。
scp -r tmp/ HA182:/app/hadoop-2.5.1/
##也可以这样，建议hdfs namenode -bootstrapStandby
2.9启动HDFS(在HA181上执行)
in/start-dfs.sh
2.10启动YARN(#####注意#####：是在HA183上执行start-yarn.sh，把namenode和resourcemar分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)
in/start-yarn.sh
到此，hadoop-2.4.1配置完毕，可以统计浏览器访问:
NameNode 'HA181:9000' (active)
NameNode 'HA182:9000' (standby)
验证HDFS HA
首先向hdfs上传一个文件
hadoop fs -put /etc/profile /profile
hadoop fs -ls /
然后再kill掉active的NameNode
kill -9
通过浏览器访问：
NameNode 'HA182:9000' (active)
这个时候HA182上的NameNode变成了active
在执行命令：
hadoop fs -ls /
-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile
刚才上传的文件依然存在！！！
手动启动那个挂掉的NameNode
in/hadoop-daemon.sh start namenode
通过浏览器访问：
NameNode 'HA181:9000' (standby)
验证YARN：
运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /profile /out
OK，大功告成！！！
CID-74d21742-3e4b-4df6-a99c-d52f703b49c0
测试集群工作状态的一些指令 ：
bin/hdfs dfsadmin -report 查看hdfs的各状态信息 bin/hdfs haadmin -getServState nn1 获取一个namenode的HA状态
in/hadoop-daemon.sh start namenode 单独启动一个namenode进程 ./hadoop-daemon.sh start zkfc 单独启动一个zkfc进程
一、实战环境
系统版本：CentOS 5.8x86_64
JAVA版本：JDK-1.7.0_25
Hadoop版本：hadoop-2.2.0
192.168.149.128namenode （充当namenode、secondary namenode和ResourceMar角色）
192.168.149.129datanode1 （充当datanode、nodemar角色）
192.168.149.130datanode2 （充当datanode、nodemar角色）
二、系统准备
1、Hadoop可以从Apache网站直接下载最新版本Hadoop2.2。目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本）
1234 Hadoop
Ja
2、我们这里采用三台CnetOS来搭建Hadoop集群，分别的角色如上已经注明。
步：我们需要在三台的/etc/hosts里面设置对应的主机名如下（真实环境可以使用内网DNS解析）
[root@node1 hadoop]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1localhost.localdomain localhost
192.168.149.128node1
192.168.149.129node2
192.168.149.130node3
（注 我们需要在namenode、datanode三台上都配置hosts解析）
第二步：从namenode上无密码登陆各台datanode，需要做如下配置:
在namenode 128上执行ssh-keygen，一路Enter回车即可。
然后把公钥/root/.ssh/id_rsa.pub拷贝到datanode即可，拷贝方法如下：
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.149.129
ssh-copy-id -i .ssh/id_rsa.pub root@192.168.149.130
三、Ja安装配置
tar -xvzf jdk-7u25-linux-x64.tar.gz &&mkdir -p /usr/ja/ ; mv /jdk1.7.0_25 /usr/ja/ 即可。
安装完毕并配置ja环境变量，在/etc/profile末尾添加如下代码：
export JAVA_HOME=/usr/ja/jdk1.7.0_25/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVE_HOME/lib/dt.jar:$JAVE_HOME/lib/tools.jar:./
保存退出即可，然后执行source /etc/profile 生效。在命令行执行ja -version 如下代表JAVA安装成功。
[root@node1 ~]# ja -version
ja version "1.7.0_25"
Ja(TM) SE Runtime Environment (build 1.7.0_25-b15)
Ja HotSpot(TM) 64-Bit VM (build 23.25-b01, mixed mode)
（注 我们需要在namenode、datanode三台上都安装Ja JDK版本）
四、Hadoop版本安装
下载的hadoop2.2.0版本，不用编译直接解压安装就可以使用了，如下：
步解压:
tar -xzvf hadoop-2.2.0.tar.gz &&mv hadoop-2.2.0/data/hadoop/
（注 先在namenode上都安装hadoop版本即可，datanode先不用安装，待会修改完配置后统一安装datanode）
第二步配置变量：
在/etc/profile末尾继续添加如下代码，并执行source /etc/profile生效。
export HADOOP_HOME=/data/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin/
export JAVA_LIBRARY_PATH=/data/hadoop/lib/native/
（注 我们需要在namenode、datanode三台上都配置Hadoop相关变量）
五、配置Hadoop
在namenode上配置，我们需要修改如下几个地方：
1、修改vi /data/hadoop/etc/hadoop/core-site.xml 内容为如下：
2、修改vi /data/hadoop/etc/hadoop/mapred-site.xml内容为如下：
3、修改vi /data/hadoop/etc/hadoop/hdfs-site.xml内容为如下：
4、在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME变量：
echo "export JAVA_HOME=/usr/ja/jdk1.7.0_25/">> /data/hadoop/etc/hadoop/hadoop-env.sh
5、修改 vi /data/hadoop/etc/hadoop/s文件内容为如下：
192.168.149.128
6、修改vi /data/hadoop/etc/hadoop/sles文件内容为如下：
192.168.149.129
192.168.149.130
如上配置完毕，以上的配置具体含义在这里就不做过多的解释了，搭建的时候不明白，可以查看一下相关的文档。
如上namenode就基本搭建完毕，接下来我们需要部署datanode，部署datanode相对简单，执行如下作即可。
1 fori in`seq 1230` ; doscp -r /data/hadoop/ root@192.168.149.$i:/data/ ; done
自此整个集群基本搭建完毕，接下来就是启动hadoop集群了。
ubuntu16.04安装hadoop3.02单机模式
进行NameNode格式化
进入/usr/local/hadoop
启动NameNode 和 DataNode
输入jps，会出现如下进程
关闭dfs
配置mapred-site.xml
sudo vim /etc/hostname
将内容修改为/sle1/sle2
ubuntu 16.04安装hadoop3.02单机模式
解释下：个fs.defaultFS设置机为namenode hadoop.tmp.dir配置Hadoop的一个临时目录，用来存放每次运行的作业jpb的信息。
dfs.namenode.name.dir是namenode存储性的元数据的目录列表。这个目录会创建在机上。dfs.namenode.data.dir是datanode存放数据块的目录列表，这个目录在sle11和sle1机都会创建。 dfs.replication 设置文件副本数，这里两个datanode，所以设置副本数为2。
解释下：这里设置的是运行jobtracker的主机名和端口，也就是作业将在主机的9001端口执行
Hadoop3.0.0在Ubuntu16.04上分布式部署
ubuntu16.04搭建hadoop集群环境
hadoop分布式集群安装