04-大数据技术之高频面试题9.0.5.pdf

04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0.5.pdf04_大数据技术之高频面试题9.0 根据提供的文件信息，我们可以归纳出一系列与大数据技术相关的高频面试知识点。这些知识点主要围绕着Linux、Hadoop等核心技术展开，并且深入到了各个技术的具体应用场景和技术细节。以下是对这些知识点的详细解析： ### 1. Linux & Shell #### 1.1.1 Linux 常用高级命令 - **grep**: 用于在文件中搜索特定模式或字符串。 - **awk/sed**: awk 用于强大的文本处理，sed 用于文本流编辑。 - **find**: 按照路径、名称、大小等条件查找文件。 - **xargs**: 与find配合使用，对find找到的文件进行操作。 - **sort/uniq**: sort 用于排序，uniq 用于去除重复行。 #### 1.1.2 Shell 常用工具及写过的脚本 - **环境变量设置**：如PATH的配置。 - **条件判断**：if-else结构的使用。 - **循环结构**：for循环、while循环的应用。 - **函数定义**：自定义函数实现复杂逻辑。 - **错误处理**：通过exit code判断命令执行结果，进行错误处理。 #### 1.1.3 Shell 中单引号和双引号区别 - **单引号('')**：其中的内容被视为字符串字面量，不会进行变量替换或命令替换。 - **双引号("")**：允许变量扩展、命令替换等，可以嵌入变量。 ### 2. Hadoop #### 1.2.1 Hadoop 常用端口号 - **NameNode**: 50070 (HTTP界面) - **DataNode**: 50075 (HTTP界面) - **SecondaryNameNode**: 50090 (HTTP界面) - **ResourceManager**: 8088 (HTTP界面) #### 1.2.2 Hadoop 配置文件 - **core-site.xml**: 包含Hadoop集群的基本配置信息，如HDFS的地址等。 - **hdfs-site.xml**: 用于配置HDFS的具体参数。 - **mapred-site.xml**: MapReduce框架的核心配置文件。 - **yarn-site.xml**: YARN框架的核心配置文件。 #### 1.2.3 HDFS 读流程和写流程 - **写流程**： - 客户端请求上传文件到NameNode。 - NameNode返回Block位置信息。 - 客户端将文件切分成多个Block并发送到DataNode。 - DataNode将Block写入磁盘。 - **读流程**： - 客户端请求下载文件到NameNode。 - NameNode返回文件的Block位置信息。 - 客户端从DataNode读取Block合并成完整的文件。 #### 1.2.4 HDFS 小文件处理 - 使用SequenceFile或CombineFile等技术将小文件合并。 - 使用MapReduce或Spark等计算框架处理小文件问题。 - 采用对象存储等方式减少元数据压力。 #### 1.2.5 HDFS 的 NameNode 内存 - NameNode维护着整个文件系统的元数据，包括文件和目录的信息以及Block的分布情况。 - 为了提高性能，NameNode将所有元数据加载到内存中。 - 需要合理配置内存大小以支持大量文件和目录的管理。 #### 1.2.6 纠删码原理 - 纠删码是一种数据冗余技术，用于提高存储效率。 - 通过编码算法生成额外的数据块来替代传统的三副本存储方式。 - 提高了存储利用率的同时保持了一定程度的数据冗余和可靠性。 #### 1.2.7 异构存储（冷热数据分离） - 根据数据访问频率和重要性，将数据存储在不同的存储介质上。 - “热”数据通常存储在高速存储设备上，以便快速访问。 - “冷”数据则可以存储在成本较低的存储设备上。 #### 1.2.8 Shuffle 及优化 - Shuffle是MapReduce过程中数据从Map任务向Reduce任务传输的过程。 - 优化方法包括：增加combiner的使用、调整shuffle buffer size、使用压缩等技术。 #### 1.2.9 Yarn 工作机制 - YARN全称为Yet Another Resource Negotiator，是一个资源管理系统。 - 主要组件包括ResourceManager、NodeManager和ApplicationMaster。 - ResourceManager负责接收客户端提交的任务，分配资源给ApplicationMaster。 - NodeManager负责监控容器的状态并报告给ResourceManager。 - ApplicationMaster负责为应用程序申请资源，并协调任务的调度和执行。 #### 1.2.10 Yarn 调度器 - YARN支持多种调度器，如Capacity Scheduler、Fair Scheduler等。 - 调度器负责决定哪个应用获得哪些资源，如何在不同应用间分配资源。 以上就是根据给定的大数据技术高频面试题文档中涉及的主要知识点的详细解析。这些知识点涵盖了从操作系统层面上的Linux与Shell，到大数据平台层面上的Hadoop及其组件等多个方面，对于准备面试或者想要深入了解大数据技术的人来说非常有价值。