Spark配置之历史服务器（HistoryServer）

在安装和配置 Spark-YARN 历史服务器之前，需要确保已经安装了 Spark 和 YARN，并且 Spark 和 YARN 的版本兼容。 以下是配置 Spark-YARN 历史服务器的步骤： 1. 下载 Spark-YARN 历史服务器 从 Spark 官方网站下载 Spark-YARN 历史服务器。 2. 配置 Spark-YARN 历史服务器 创建一个 spark-defaults.conf 文件并添加以下配置： ``` spark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider spark.history.fs.logDirectory=hdfs://<YARN-MASTER>:8020/logs/spark/logs spark.history.ui.port=18080 ``` 其中，<YARN-MASTER> 是 YARN 的主节点地址。 3. 配置 YARN 日志聚合 在 yarn-site.xml 文件中添加以下配置： ``` <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>2592000</value> </property> ``` 其中，yarn.log-aggregation-enable 配置启用 YARN 日志聚合，yarn.log-aggregation.retain-seconds 配置聚合后的日志保留时间。 4. 启动 Spark-YARN 历史服务器 使用以下命令启动 Spark-YARN 历史服务器： ``` ./sbin/start-history-server.sh ``` 5. 访问 Spark-YARN 历史服务器 访问 http://<history-server>:18080，其中，<history-server> 是 Spark-YARN 历史服务器的地址。 在 Spark-YARN 历史服务器的网页中可以查看 Spark 应用程序的历史记录和性能指标。