- 博客(8)
- 收藏
- 关注
RSS订阅转载 大数据
大数据的特点及应用领域，技术框架？ 大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。 4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V 大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需...
2019-05-27 13:13:27
1045
转载 Spark的定义以及安装
一、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算 模型。...
2019-05-25 17:21:20
456
转载 Hive与mysql的初识以及安装
Hive提供了三种用户接口：CLI、HWI和客户端。客户端是使用JDBC驱动通过thrift，远程操作Hive。HWI即提供Web界面远程访问Hive。但是最常见的使用方式还是使用CLI方式。（在linux终端操作Hive） Hive有三种安装方式： 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错，不适合开发环境） 2、本地模式（本地安装mysql 替代d...
2019-05-25 17:14:55
360
转载 Redis、mongodb常用命令
Redis在doc 环境下使用命令： keys 命令 ? 匹配一个字符 * 匹配任意个（包括0个）字符 [] 匹配括号间的任一个字符，可以使用 "-" 符号表示一个范围，如 a[b-d] 可以匹配 "ab","ac","ad" \x 匹配字符x，用于转义符号，如果要匹配 "?" 就需要使用 \? 判断一个键值是否存在 exists ...
2019-05-25 17:03:46
213
转载 Hbase体系结构、环境搭建、shell的使用
HBase体系结构 1、一个表会按照行划分为若干个region,每一个region分配给一台特定的regionserver管理 2、每一个region内部还要一句列族划分为若干个HStore 3、每个HStore中的数据会落地到若干个HFILE文件中 4、region体积会随着数据插入而不断增长，到一定阈值后悔分裂 5、随着region的分裂，一台regionserver上管理的region会越...
2019-05-25 16:57:29
294
转载 运行wordcount程序
运行WordCount程序 单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。 image 2.1 准备工作 现在以"hadoop"普通用户登录"Master.Had...
2019-05-25 16:40:24
898
转载 Ecliipse+maven连接配置问题
1.修改本地仓库位置 maven从中心仓库下载的文件一般默认放在本地用户文件加下的.m2/repository文件夹中，修改则需要找到所下载的maven文件夹下的conf文件夹下的setting.xml文件，修改标签（自己创建本地仓库的文件夹） 2.修改中心仓库的镜像地址 继续找到setting.xml文件，找到添加阿里云镜像 nexus-aliyun central Nexus aliyun...
2019-05-25 16:26:20
259
转载 hadoop搭建伪分布式集群
一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone Mode） -默认情况下，Hadoop即处于该模式，用于开发和调式。 -不对配置文件进行修改。 -使用本地文件系统，而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce...
2019-05-25 15:52:28
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人