Centos7完全分布式搭建Hadoop2.7.3-白红宇

Centos7完全分布式搭建Hadoop2.7.3

阅读量：5790 次

发布时间：2019-06-18

本文共 5848 字，大约阅读时间需要 19 分钟。

(一）软件准备

1，（包）

2,三台机器装有cetos7的机子

（二）安装步骤

　　1，给每台机子配相同的用户

　　　　进入root : su root

　　　　创建用户s: useradd s

　　　　修改用户密码：passwd s

　　2.关闭防火墙及修改每台机的hosts(root 下）

　　　　vim /etc/hosts 如：（三台机子都一样）

　　　　vim /etc/hostsname:如修改后参看各自的hostname

　　　　关闭防火墙：

　　　　　　systemctl stop firewalld.service

　　　　　　禁用防火墙：systemctl disable firewalld.service

　　　　　　查看防火墙状态firewall-cmd --state

　　　　　　重启 reboot

　　3,为每台机的用户s配置ssh，以用户s身份登录 (一定要相同的用户，因为ssh通信默认使用相同用户身份访问另一台机子）

　　　　1,root 用户下修改： vim /etc/ssh/sshd_config,设置这三项后，执行service sshd restart

　　　　2，退出root，在用户s下操作

　　　　　　生成密钥对： ssh-keygen -t dsa（一路回车即可）

　　　　　　转入ssh目录下：cd .ssh

　　　　　　导入公钥：　cat id_dsa.pub >> authorized_keys

　　　　　　修改authorized_keys权限：chmod 644 　　　　　　

　　　　　　authorized_keys (修改权限，保证自己免密码能登入)

　　　　　　验证 ssh Master　（在三台机都执行相同的操作）

　　　　3，实现master-slave免密码登录

　　　　　　在master 上执行：　　 cat ~/.ssh/id_dsa.pub | ssh s@Slave1 'cat - >> ~/.ssh/authorized_keys'

　　　　　　　　　　　　　　　　cat ~/.ssh/id_dsa.pub | ssh s@Slave2 'cat - >> ~/.ssh/authorized_keys '

　　　　　　验证 :ssh Slave1

（三）配置Hadoop集群

　　　　1，解压hadoop和建立文件

　　　　　　root用户下：tar zxvf /home/hadoop/hadoop-2.7.3.tar.gz -C /usr/

　　　　　　重命名：mv hadoop-2.7.3 hadoop

　　　　　　授权给s: chown -R s /usr/hadoop

　　　　2，创建hdfs相关文件（三台机子都需要操作）

　　　　　　创建存储hadoop数据文件的目录: mkdir /home/hadoopdir

　　　　　　存储临时文件，如pid：mkdir /home/hadoopdir/tmp

　　　　　　创建dfs系统使用的dfs系统名称hdfs-site.xml使用:mkdir /home/hadoopdir/dfs/name

　　　　　　创建dfs系统使用的数据文件hdfs-site.xml文件使用:mkdir /home/hadoopdir/dfs/data

　　　　　　授权给s: chown -R s /home/hadoopdir

　　　　3，配置环境变量(三台机子都需要操作）

　　　　 root用户下：vim /etc/profile 添加如图：保存退出后:source /etc/profile

　　　　　　　　　　验证：hadoop version（这里要修改 /usr/hadoop/etc/hadoop/hadoop-env.sh，即export JAVA_HOME=/usr/lib/jvm/jre）

　　　　4，配置hadoop文件内容

　　　　　　4.1 修改core-site.xml　　　　　　　　


            
                      
       
        fs.defaultFS
                       
       
        hdfs://Master:9000
              
             
                      
       
        io.file.buffer.size
                       
       
        131072
               
             
                     
       
        hadoop.tmp.dir
                      
       
        file:/home/hadoopdir/tmp/
                      
       
        A base for other temporary   directories.
              
              
                     
       
        hadoop.proxyuser.hadoop.hosts
                      
       
        *
              
             
                     
       
        hadoop.proxyuser.hadoop.groups
                      
       
        *

　　　　　4.2 修改hdfs-site.xml文件


          
                   
       
        dfs.namenode.name.dir
                    
       
        file:///home/hadoopdir/dfs/name
              
            
                    
       
        dfs.datanode.data.dir
                     
       
        file:///home/hadoopdir/dfs/data
              
             
                     
       
        dfs.replication
                      
       
        2
               
              
                       
       
        dfs.webhdfs.enabled
                         
       
        true

　　　　4.3 修改mapred-site.xml


              
             
       
        mapreduce.framework.name
                 
       
        yarn
                  
                
                        
       
        mapreduce.jobhistory.address
                         
       
        Master:10020
                 
                
                      
       
        mapreduce.jobhistory.webapp.address
                       
       
        Master:19888
              
       
                      
       
        mapreduce.jobtracker.http.address
                       
       
        Master:50030
              
       
                      
       
        mapred.job.tracker
                       
       
        Master:9001

　　　　4.4 修改 yarn-site.xml


     
              
                     
       
        yarn.nodemanager.aux-services
                      
       
        mapreduce_shuffle
               
              
                                                                     
       
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
                      
       
        org.apache.hadoop.mapred.ShuffleHandler
               
      
                     
       
        yarn.resourcemanager.hostname
                      
       
        Master
              
              
                     
       
        yarn.resourcemanager.address
                      
       
        Master:8032
              
             
                     
       
        yarn.resourcemanager.scheduler.address
                      
       
        Master:8030
              
             
                  
       
        yarn.resourcemanager.resource-tracker.address
                    
       
        Master:8031
             
            
                    
       
        yarn.resourcemanager.admin.address
                      
       
        Master:8033
              
             
                     
       
        yarn.resourcemanager.webapp.address
                      
       
        Master:8088