Hadoop笔记1 Hadoop架构

大数据

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

4V:（Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度））

Hadoop

hadoop是apache开发的分布式系统基础架构。主要解决海量数据的存储和计算。广义上通常认为Hadoop是指Hadoop生态圈。

Hadoop基本架构

Hadoop2.x MapReduce只负责计算，Yarn负责资源调度。

HDFS

HDFS:Hadoop分布式文件系统

NameNode:存储文件的元数据：文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode

DataNode:在本地文件系统存储文件块数据，以及块数据的校验和。

Secondary NameNode : 用来监控后台的HDFS的状态，每隔一段时间获取HDFS元数据的快照。（辅助NameNode)

Yarn

MapReduce

MapReduce分为两个阶段，Map阶段和Reduce阶段

Map阶段负责并行的输入并处理数据
Reducer阶段负责将Map结果进行汇总。

大数据生态体系