spark集群搭建

于 2015-06-05 15:55:32 发布
阅读量873 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengfanbo123/article/details/46377685 
 

 


  文件路径：scala，jdk及spark解压路径均在/usr/local/ 

 

 
 
 
 
一、安装scala
 

 （1）下载scala 

 wget http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz 

 

 （2）解压文件 

 tar -zxvf scala-2.10.5.tgz 

 

 （3）配置scala环境变量 

 #vi/etc/profile 

 

 
 

   export SCALA_HOME=/usr/local/scala-2.10.5 
 
 
 

   export PATH=$PATH:$SCALA_HOME/bin 
 
 
 
 
  
 
 
 $ source /etc/profile 
 
 
 
 （4）验证scala 
 
 
  
 
 
 
 
   
  
 
 
 
 
 
  
 
 
 
 
二、删除openjdk，安装sun jdk
 
 

   （1）删除openjdk 
 
 
 

   rpm -qa | grep java 
 
 
 

   rpm -qa | grep gcj 
 
 
 

   rpm -e --nodeps java-1.7.0-openjdk-1.7.0.71-2.5.3.1.el6.x86_64 
 
 

 

 
 

   rpm -e --nodeps libgcj-4.4.7-11.el6.x86_64 
 
 
 

   验证是否删除成功 
 
 
 
 
  

     java -version 
  
 
  

    -bash: /usr/bin/java: No such file or directory 
  
 
 
 
 

   （2）下载jdk 
 
 
  
 
 
  
 
   
 
  
 
  

    （3）配置jdk环境变量 
  
 
  

    #vim /etc/profile 
  
 
  

    export JAVA_HOME=/usr/local/jdk1.7.0_79 
  
 
  

    export JRE_HOME=/usr/local/jdk1.7.0_79/jre 
  
 
  

    PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin 
  
 
  

    CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib 
  
 
  

    export JAVA_HOME JRE_HOME PATH CLASSPATH 
  
 
  
 
   
 
  
 
  

    （4）使用 alternatives指定java版本，用jdk的java代替gcj的 
  
 
 
 
 
 
  
 
 
 
 

   alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_79 2 #配置java版本 
  
 
 
 
 

   alternatives --config java#选择java版本 
 
 
 
 
   
  
 
 
 
 
 
   
  
 
 
 
 
 
  
 
 
 
 

   注意： 
 
 
 

   ①alternatives只能在root权限下执行 
  
 
 
 
 

   ②如果使用alternatives --install <name> <path>  <优先级>配置错误了路径，可以使用 alternatives --remove java <path>删除错误路径 
 
 
 
 三、安装spark
 
  
 
  （2）解压
 
 

     tar -zxvf spark-1.3.1-bin-hadoop2.4.tgz 
  
 
 
 
 

   （3）配置环境变量 
  
 #vi/etc/profile 
  
 
  

    export SPARK_HOME=/usr/local/spark-1.3.1-bin-hadoop2.4 
  
 
  

    export PATH=$PATH:$SPARK_HOME/bin 
  
 
  
 $ source /etc/profile 
  
 
  
 
 
 
 

   （4）修改spark配置文件 
 
 
 

   cd /usr/local/spark-1.3.1-bin-hadoop2.4/conf 
 
 
 

   ①spark-env.sh 
 
 
 

   cp spark-env.sh.template spark-env.sh 
 
 
 
 
  
 
 
 
 

   #打开 spark-env.sh，在最后添加如下内容： 
  
 
 
 
 
 
  
 
  
 
 
 
 

   export SCALA_HOME=/usr/local/spark-1.3.1-bin-hadoop2.4 
 
 
 

   export JAVA_HOME=/usr/local/jdk1.7.0_79 
 
 
 

   export SPARK_MASTER_IP=192.168.1.34 
 
 
 

   export SPARK_WORKER_MEMORY=512m 
 
 
 

   export master=spark://192.168.1.34:7070 
 
 
 
 
  
 
 
 
 
 
 
 
 

   ②slaves 
 
 
 

   cp slaves.template slaves 
 
 
 
 
  
 
 
 
 

   #打开slaves，在最后添加如下内容： 
  
 master 
  
 
 
 
 

   slave1 
 
 
 

   slave2 
 
 
 
 
  
 
 
 
 

   （5）启动spark 
 
 
 

   cd /usr/local/spark-1.3.1-bin-hadoop2.4/sbin 
 
 
 

   sh start-all.sh  
 
 
 
 
  
 
 
 
 

   （6）打开浏览器查看集群状况 
  
 
 
 
  
 
 
   
  
 
 
 
 
 
   
  
 
 
 
 
 
  
 
 
 

 

 
 
 
  
 
 
 


                

        

    

  



    



            

  



          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值