- 博客(7)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 大数据学习——hive常用DDL+命令
https://www.cnblogs.com/qingyunzong/p/8710356.html hive常用DDL+命令一、常用DDL1.查看数据库2.创建库最基础的创建库创建库标准写法创建库指定hdfs路径3.创建表4.查看数据库结构5.添加额外的描述信息6.查询使用通配符 * 的表7. 删除库删除空库删除非空库删除非空库标准写法8.创建表管理表外部表查看表结构导入数据二、hive 命令不登录hive客户端直接输入命令操作直接把sql写入到文件中查看hdfs文件查看历史操作 一、常用DDL 以下代码
2020-08-27 23:36:32
250
原创 大数据学习——hive安装
本文主要记录hive安装的过程，因为hive默认的是derby进行存储元数据，为方便多客户端开启，更换使用mysql进行存储元数据，则涉及到内容：hive的安装，mysql的安装，mysql用户名密码更改。 一、 hive安装 1、下载hive安装包（下载的是1.x版本，该版本用的是mapreduce。2.x用的是spark） 官网下载最新的1.x安装包 https://mirror.bit.edu.cn/apache/hive/hive-1.2.2/ 2、上传解压 [root@bigdata121 sof
2020-08-26 21:32:01
263
原创 大数据学习——zookeeper安装
集群模式zookeeper的安装 1、安装包下载 下载路径： https://downloads.apache.org/zookeeper/zookeeper-3.5.8/ 下载带有bin的tar.gz包（该版本不带bin的是源码） 2、上传到服务器解压 [root@bigdata121 ~]# tar -zxvf apache-zookeeper-3.5.8.tar.gz -C /opt/module/ 3、创建文件存放目录，修改配置文件 创建文件存放目录，目录建在apache-zookeeper-3.5
2020-08-25 20:11:59
153
原创 大数据学习——mapreduce数据压缩（五）
mapreduce常用压缩编码 压缩格式 是否需要安装 文件拓展名 是否可以切分 性能 使用率 DEFAULT 无需安装，直接使用 .deflate 否 bzip2 无需安装 .bz2 是 Gzip 无需安装 .gz 否 压缩率比较高，且压缩解压缩速度很快。linux中自带gzip命令，使用方便。由于不支持切分（split），使用时需要每个文件压缩后大小在128M（可以灵活去设置快文件大小）以内 LZO 需要安装 .lzo 是 压缩解压缩速度比较快，并且压缩率比较合理。
2020-08-21 15:55:33
220
原创 大数据学习——hadoop基础操作命令（三）
hdfs的日志文件： tmp/name/current下面 查看日志信息，使用Hadoop的自己的命令（因为是二进制文件) 1)edit操作日志文件 hdfs oev -i (edit文件名）-o /root/a.xml(这个是转化成的文件具体路径） 2)元信息文件 hdfs oiv -i fsimage(元信息文件名）-o 转化的路径 -p XML 转化成功后都可以通过cat 进行查看 ...
2020-07-28 18:46:28
259
原创 大数据学习——基础了解（一）
大数据常用软件 电脑最好16G内存，8G也可以用。5台虚拟机消耗较大，一般不用同时启动5台，但是毕竟消耗较大。一般同时启动3台。 操作系统 RedHat 7.4 64位 VMware Workstatio:14(12) 5台虚拟机 |IP |主机名（hostname）|安装组件（角色） -------- | ----- | ----- | 10.1.255.121 | bigdata121|如：nameNode 10.1.255.122 | bigdata122| 分布式是一种
2020-07-10 21:41:19
799
原创 大数据学习——hadoop从零到有（二）
配备hadoop环境 1、安装linux系统 网关选择的是NAT模式 2、修改IP（设置固定ip，能够访问外网） 2.1）vi /etc/sysconfig/network-scripts/ifcfg-ens33 （打开文件进入编辑） 2.2)#点击按键i，进行编辑。添加配置信息 BOOTPROTO=static #正常情况下这个设置为静...
2019-01-15 17:02:52
227
IBM WEBSPHERE MQ实现本地队列消息传收
2013-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人