【畅通版】配置spark环境(含前期的虚拟机virtualbox、ubuntu系统、Hadoop布局、Java环境配置等)

暨上一篇环境配置过程曲折,加上突然意识到25G的ubuntu系统不够干大事,自己的500G固态硬盘分了350出去当主系统盘之后,还有115G剩余,刚好可以把虚拟机和ubuntu全丢过去,又不会占用到原Windows系统盘的空间。于是重新装虚拟机和ubuntu系统,再在这基础上布局Hadoop、Java、spark等。
附上一篇帖:【曲折版】配置spark环境(含前期的虚拟机virtualbox、ubuntu系统、Hadoop布局、Java环境配置等)
https://blog.csdn.net/weixin_44216391/article/details/94590455

步骤还是没变。

一、在Windows中使用VirtualBox安装Ubuntu

这个步骤我已经不用看帖子了,不过为了方便读者参考,这里还是附上参考帖子:http://dblab.xmu.edu.cn/blog/337-2/

重新安装的virtual box,选择安装到了固态的另一个分区G盘(115G空间)。

重新安装的ubuntu,也选择安装到了G盘上(ubuntu“存储”),并分配了100G的空间。
最后分区如下:
boot:512M(引导文件系统)
swap:10G(内存交换)
/:25G(装系统和软件)
/home:余下所有空间,72G(用来放用户文件,越大越好)

至于我是为什么分了以上四个区,四个区分配空间大小是如何确定的——推荐搜索“ubuntu16.04 如何磁盘分区”,然后把能刷到的帖子都刷一遍,就心里有数了。
在这里插入图片描述
后面安装完毕,此处不赘述。
再后面,系统老给我弹出“有新版本 ubuntu 18.04”,至于我更新还是不更新,此处也不赘述。

二、Hadoop安装教程_单机/伪分布式配置 Hadoop2.9.2/Ubuntu16.04
详情请戳 http://dblab.xmu.edu.cn/blog/install-hadoop/ (本教程由厦门大学数据库实验室 / 给力星出品,转载请注明。)

顺利进行中(下图)。
(1)创建hadoop用户
(2)更新apt

在这里插入图片描述
安装vim(用来更改配置文件)——这一步安装蛮久,几分钟不止,要起身喝杯咖啡,或者看会儿书。
在这里插入图片描述

(3)安装SSH、配置SSH无密码登陆
成功(如下图)。
在这里插入图片描述

(4)安装Java环境
卡在了和之前一毛一样的地方。。。
vim ~/.bashrc~/.bashrc:executed by bash(1) for non-login shells.
在这里插入图片描述
然后百度咯,看了这篇帖子《ubuntu中关于通过编

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值