3.Hadoop学习笔记.pdf

Hadoop是一个开源框架，用于存储和处理大型数据集。由Apache软件基金会开发，Hadoop已经成为大数据处理事实上的标准。它特别适合于存储非结构化和半结构化数据，并且能够存储和运行在廉价硬件之上。Hadoop具有高可靠性、高扩展性和高吞吐率的特点，因此它成为了处理大数据的理想平台。 Hadoop的核心组成部分包括： 1. HDFS（Hadoop Distributed File System）：这是一个高度容错的系统，设计用来运行在廉价的硬件上。HDFS具有高吞吐量的特点，适合于有大量数据的应用程序。HDFS将数据存储为一系列的块，这些块默认大小为128MB，然后在多个节点间分布存储这些块的副本，提供冗余保护。 2. MapReduce：这是一种编程模型，用于大规模数据集的并行运算。MapReduce的核心思想是将计算过程分为Map（映射）和Reduce（归约）两个阶段。Map阶段并行处理输入数据，并输出中间结果；Reduce阶段则将这些中间结果合并成最终输出。 3. YARN（Yet Another Resource Negotiator）：这是一个资源管理平台，负责集群中资源的分配和任务调度。YARN引入了资源管理器、节点管理器以及应用程序历史服务器等概念，使得在Hadoop上运行的计算框架不仅仅是MapReduce，也可以是其他框架，如Spark。 Hadoop的生态系统还包括Hive、HBase、Pig、Zookeeper等多种工具和组件，用于数据分析、实时处理、任务调度和协调。 Hadoop安装通常包括下载、配置和启动集群的NameNode和DataNode。NameNode是HDFS的主节点，负责管理文件系统的命名空间和客户端对文件的访问。DataNode是从节点，负责存储实际的数据块。Hadoop集群启动时，NameNode首先格式化文件系统，然后DataNode向NameNode注册，开始提供数据服务。 Hadoop的基本原理包括： - 文件以块的形式存储在DataNode上，并且有副本存在，副本数可以在HDFS创建时指定。 - NameNode保存文件系统的元数据，如文件的权限、修改日期、文件名等，并将这些信息保存在内存中。 - NameNode的元数据信息存储在称为fsimage的文件中，而块的位置信息则通过DataNode报告。 - SecondaryNameNode并不是NameNode的热备份，它的主要作用是帮助合并编辑日志，以减少NameNode重启时加载元数据的时间。 处理大数据问题时，需要有合适的算法。例如，处理1TB文件查找重复行的问题，可以采用hash分组的方法。首先将大文件拆分成小文件，然后对每行数据求hash码，并根据hash码的值将数据分布到不同的文件中。之后，处理每个小文件，找出重复行，最终合并结果得到原大文件中的重复行。这种方法避免了将整个大文件载入内存，解决了单机处理能力的限制。 Hadoop还涉及文件存储的模型，包括文件的线性切割、块的偏移量、块在集群节点中的分布存储、副本数设置以及追加数据的方式。Hadoop架构强调主从模式，即NameNode作为主节点管理元数据，DataNode作为从节点存储数据块。客户端通过HDFS客户端与NameNode和DataNode交互，实现数据的读写。 此外，Hadoop也提供了对大数据进行分布式处理的能力，这包括了对数据的分布式存储、分布式计算以及集群资源的管理。通过使用Hadoop，企业和组织可以在不牺牲数据完整性和可靠性的前提下，处理和分析海量的数据集。