TTBIGDATA-CSDN博客

原创【Ambari监控】Sqlline 启动卡死问题处理

本文分析了Ambari v2.1.0及之前版本中Phoenix的sqlline.py连接卡死问题。问题根源在于hbase-env.sh错误引用了phoenix-client.jar，而实际需要phoenix-server.jar才能完整加载JDBC驱动类。解决方案是修改配置文件，将phoenix-client.jar替换为phoenix-server.jar并重启HBase服务。经验证，修改后sqlline.py可正常连接Phoenix并进入交互界面。该问题涉及HBase与Phoenix集成层的类加载机制，

2025-09-14 13:55:06 124

原创【Ambari监控】监控数据接口查询方法

摘要本文详细介绍了Ambari-Metrics Collector的核心接口/ws/v1/timeline/metrics的使用方法。该接口用于查询监控指标时序数据，支持多值查询、TopN/BottomN筛选和聚合函数等高级功能。文章提供了完整的参数说明表，包括必填项metricNames和时间戳等关键参数，并通过最小请求示例演示了cURL调用和JSON返回结果解析。最后介绍了如何配合APIFOX工具进行可视化调试，包括参数填写、结果渲染等操作流程。接口文档和源代码可访问指定链接获取。

2025-09-14 13:52:40 921

原创【Ambari监控】高版本 DataGrip 无法使用 Phoenix 驱动

DataGrip连接Phoenix数据源时出现"sun.misc.Unsafe.putLong"报错，原因是Phoenix驱动与高版本JDK不兼容。常见解决方案如切换JDK版本往往无效。推荐通过替换重新编译的Phoenix驱动jar包解决，文中提供了自行编译指南和现成jar包下载地址。替换后验证显示连接、表结构浏览等功能均恢复正常。该方案有效解决了Phoenix驱动与高版本JDK的兼容性问题。

2025-09-13 17:45:59 415

原创【Ambari监控】— API请求逻辑梳理

本文详细介绍了Ambari Metrics Collector的REST服务接口，包括基础探活、指标写入、数据查询、元数据获取、拓扑关系和诊断接口共6大类14个接口。文章提供了完整的接口列表及参数说明，并分享了基于OpenAPI规范的接口定义文件，支持直接导入Apifox等工具进行调试测试。通过该接口全景图，读者可以全面了解Collector的服务能力，快速开展二次开发或集成工作。

2025-09-13 17:42:23 862

原创【Ambari监控】Ambari-Metrics 的组件分工

摘要 Ambari-Metrics监控系统由四个核心组件构成：Collector负责指标存储与查询，Monitor采集节点级系统指标，Hadoop Sink桥接Hadoop Metrics2数据，Grafana提供可视化展示。该系统通过分层架构实现从操作系统到Hadoop组件的全栈监控，最终由Collector统一存储并通过REST API提供查询服务。文章详细解析了各组件的功能定位、交互机制及验证方法，为理解AMS整体运行机制提供了清晰框架。

2025-09-12 09:15:00 570

原创【Ambari监控】Ambari-Metrics 的编译成果

本文介绍了Ambari-Metrics的编译与部署方案，提供了完整的代码仓库和一键编译脚本，支持RPM（CentOS/Rocky）和DEB（Ubuntu）两种包格式。文中详细展示了各系统下的编译产物清单，并强调需要在干净环境中构建，避免污染生产环境。文章最后说明将以RPM的分工方式讲解各子模块功能，为后续章节做铺垫。所有资源可通过指定链接获取。

2025-09-12 09:00:00 356

原创【Ambari监控】Ambari-Metrics 的分支研究

本文对 Ambari-Metrics 的实际运行分支进行对比研究，基于 Ubuntu 22 / Rocky8 / CentOS7.9 的真实部署截图，剖析社区 master 分支与 dependabot 分支的差异，特别是 Python2/3 监控采集、Grafana 插件适配与运维稳定性。最终解释为什么选择旧版本分支而非追随 master，是出于稳定性与性价比的综合考量。

2025-09-11 08:56:26 966

原创【Ambari监控】Ambari-Metrics 的演进过程

本文解析了Ambari-Metrics组件在不同版本中的源码位置变化。在2.7.9及之前版本，该组件直接集成在Ambari主仓库中；从2.8.0版本开始，被移出主仓成为独立仓库。作者推测这一变化源于架构解耦、生态适配和社区治理的需求。独立后的Ambari-Metrics具有更灵活的发布节奏和维护方式，便于与外部监控系统集成。文章通过版本对比表清晰展示了这一演进过程。

2025-09-11 08:52:24 474

原创【Ambari-Metrics监控】Grafana+Infinity快速构建DEMO-实战教学

摘要：本文介绍了如何通过Infinity插件在Grafana中监控Ambari-Metrics(AMS)的CPU核数指标。内容包括配置AMS REST API数据源、创建Dashboard面板、设置JSON解析规则，将时间戳和数值映射为时序数据。最终实现单个节点CPU核数曲线的可视化展示，该方法可扩展至其他AMS指标监控。文章提供了完整的配置示例和API调用验证方法，适用于Grafana 9.x及以上版本对接Ambari集群监控场景。

2025-08-26 08:52:19 1000

原创【Ambari-Metrics监控】Grafana+Infinity快速构建DEMO-插件安装

本文介绍了在Grafana 9.x环境下安装Infinity插件的完整过程。由于原ambari-metrics-datasource插件失效且插件市场无法搜索到Infinity，作者通过官方文档和GitHub Releases找到解决方案。详细说明了使用命令行安装插件的方法，并重点指出插件目录必须与Grafana配置一致的关键问题。最后提供了通过ghfast.top加速下载的小技巧，将安装时间从数分钟缩短至几十秒。文章涵盖了从搜索、下载到安装、排查的完整流程，对类似场景具有参考价值。

2025-08-26 08:40:49 745

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step8—AmbariServer初始化

本文详细介绍了在Ubuntu 22.04 LTS系统上安装和配置Ambari 3.0.0的完整步骤。主要内容包括：安装MySQL Connector/J驱动、创建Ambari数据库及用户、通过apt安装Ambari Server并进行双JDK环境配置（JDK17运行Ambari，JDK8用于Stacks）、执行数据库初始化脚本、启动Ambari服务等关键操作。特别强调了该版本与Ambari 2.8.0的差异，包括JDK环境要求和配置方式的变化。最后指导用户通过8080端口访问Ambari Web界面，使用默

2025-08-01 10:50:59 614

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step7—Mariadb初始化

本文介绍在Ubuntu 22.04 LTS上安装配置MariaDB 10.x的最佳实践。作为Hadoop生态的理想数据库引擎，MariaDB 10.x支持utf8mb4字符集，优化了InnoDB性能，并解决了老版本常见的索引过长等问题。文章详细讲解了配置阿里云APT源、安装步骤、性能调优参数设置（包括字符集、缓冲池大小等关键配置），以及安全加固和root远程授权方法。特别强调Ubuntu与RedHat系统的配置差异，并提供自动化脚本方案。最后还包含MySQL Connector/J驱动的批量部署指南，适用于

2025-08-01 10:45:52 1055

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step6—本地apt源

本文介绍在Ubuntu 22.04系统中搭建本地apt源的方法。通过Nginx提供HTTP服务分发DEB包，使用dpkg-scanpackages工具生成Packages.gz索引文件。需确保目录权限正确（755权限，www-data用户）。所有节点通过添加源文件（/etc/apt/sources.list.d/xxx.list）并执行apt update即可实现离线安装。与RedHat系不同，Ubuntu必须使用dpkg工具生成索引，createrepo无效。每次更新DEB包后需重新生成索引文件。该方法适

2025-07-31 17:27:10 327

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step5—Nginx安装

本文详细介绍了在Ubuntu 22.04 LTS系统上使用Nginx搭建本地静态仓库的完整方案。重点内容包括：Nginx较Apache的优势（轻量、高性能、自带目录索引）、专用安装命令（强调必须使用apt而非yum）、仓库目录权限配置（关键点：www-data用户权限）、Nginx配置文件详解及默认站点禁用说明。同时提供了服务启动验证方法和常见403/目录不可见等问题的解决方案，特别指出Ubuntu与RedHat系在配置路径、SELinux等方面的差异。文章附有完整配置示例图，适合需要构建DEB包、二进制文

2025-07-31 17:25:10 737

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step4—时间同步（Chrony）

本文介绍在Ubuntu 22.04 LTS中配置Chrony时间同步服务的方法。主要内容包括：时间同步的重要性（确保日志一致性和避免事务异常）、推荐的主从集群架构（1台主节点连接公网时间源）、详细的安装配置步骤（注意Ubuntu与RedHat系在命令、配置路径等方面的差异）。特别强调Ubuntu专属要点：服务名称为chrony（非chronyd）、必须使用apt命令安装、配置文件路径为/etc/chrony/chrony.conf。文章还提供了服务验证方法和常见问题提示，帮助用户正确完成时间同步配置。

2025-07-30 22:24:43 720

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0—— Step3—安装JDK17与JDK1.8

本文介绍在Ubuntu 22.04系统上安装双版本JDK（17和1.8）的方案，以满足不同大数据组件的版本需求。推荐使用自动化脚本一键安装，支持批量化部署。手动安装部分提供了详细的下载、解压步骤，并特别说明Ambari 3.0必须软链JDK17才能正常使用。文中包含清华大学和华为镜像站的下载链接，以及两种JDK的适用组件对照表，建议同时安装两个版本以确保兼容性。

2025-07-30 22:20:44 615

原创【支持Ubuntu22】Ambari3.0.0+Bigtop3.2.0——Step1—基础环境准备

本文介绍了在Ubuntu 22.04 LTS上配置多节点集群的注意事项和详细步骤。主要内容包括：1）规范化修改所有节点主机名并同步维护/etc/hosts文件；2）配置国内APT镜像源（推荐自建私服或使用阿里云等公有镜像）；3）批量安装大数据平台所需的基础系统工具和开发依赖包，涵盖编译工具、安全认证、网络监控等组件。文章特别强调Ubuntu系统与其他Linux发行版的差异，提供了完整的命令和配置示例，并详细说明了各依赖包的作用场景。

2025-07-29 16:02:26 835

原创 Ambari 3.0.0 全网首发支持 Ubuntu 22！

Ambari 3.0.0正式支持Ubuntu 22系统，通过一键安装脚本和离线包两种方式简化部署流程。该版本历经数月开发，针对用户需求进行了系统适配优化，提供完整的安装教程和下载资源，并附实测运行效果图验证稳定性，显著提升了大数据组件在Ubuntu 22上的安装与运维体验。

2025-07-29 15:56:46 1249

原创 Ambari+Bigtop：通用组件编译模板与全流程工程实战

本文介绍了基于Ambari+Bigtop的大数据组件通用编译模板，通过统一目录结构和标准化脚本实现自动化编译打包。内容包括：1）通用模板设计，展示标准化目录和一键编译流程；2）开源全部自动化脚本代码，提供高度透明的工程实现；3）强调日志驱动的全流程认知方法，助力工程师成长；4）配套完整教学资料库，涵盖安装、编译等详细手册。该方案实现了大数据组件管理的工程化和标准化，显著提升开发和运维效率。

2025-07-07 19:02:48 347

原创【Ambari3.0.0 部署】Step2—免密登陆认证-适用于el8

摘要：本文介绍了SSH免密登录的配置方法，适用于多服务器管理场景。通过生成密钥对（ssh-keygen）并分发公钥（ssh-copy-id），实现dev1到dev2、dev3的无密码登录。免密登录提升运维效率，支持自动化任务（如Ansible），同时增强安全性。关键步骤包括：生成密钥、设置权限（700/600/644）、复制公钥至目标服务器，并测试登录。适用于集群环境（如Hadoop/K8s），是自动化管理的基础配置。更多组件部署可参考原文链接。

2025-06-21 15:36:08 719

原创【Ambari3.0.0 部署】Step4—时间同步（Chrony）-适用于el8

本文介绍了在分布式系统中使用 Chrony 进行时间同步的最佳实践。文章对比了 Chrony 与传统 ntpd 的优势，强调 Chrony 具有更快的同步速度、更低的资源占用和更好的动态 IP 支持。提供了集群时间同步的部署架构，包含主从服务器配置方案。详细说明了服务器端和客户端的安装、配置步骤（包括配置文件修改、服务启动及验证方法），确保集群内各节点时间一致。文中还推荐了阿里云和国家授时中心作为公网时间源，并提供了完整的配置示例和验证命令。

2025-06-20 17:44:57 736

原创【Ambari3.0.0 部署】Step9—Ambari Web UI 初始化安装-适用于el8

本文详细介绍了基于Rocky 8.10系统的Ambari集群部署流程。主要内容包括：访问Ambari Web UI（默认账号admin/admin）、配置集群名称、选择Hadoop发行版（推荐Bigtop 3.2.0魔改版）、配置主机SSH连接（需上传私钥）、安装ZooKeeper组件、分配主节点角色等关键步骤。部署过程约需10-15分钟，完成后可通过8080端口验证集群状态。注意需提前配置好主机名解析和防火墙设置。其他EL8系统需注意版本兼容性。

2025-06-20 17:41:03 1362

原创【Ambari3.0.0 部署】Step8—AmbariServer初始化-适用于el8

Ambari 3.0.0 安装与配置指南本文详细介绍如何在Rocky 8.10系统上安装和配置Ambari 3.0.0。主要内容包括：安装MySQL Connector/J驱动创建Ambari数据库和用户通过YUM安装Ambari Server 关键配置步骤：使用JDK17作为Ambari环境，JDK8作为stacks环境初始化数据库和执行DDL脚本启动服务和访问Web UI 特别说明：Ambari 3.0.0与2.8.0版本存在显著差异，需要特别注意JDK环境配置。

2025-06-19 08:50:22 875

原创【Ambari3.0.0 部署】Step7—Mariadb初始化-适用于el8

本文详细介绍了在Rocky Linux 8.10上部署MariaDB 10.11数据库的完整流程。内容包括：阿里云YUM源配置、版本安装验证、关键参数优化（如字符集设置和性能调优）、服务初始化与安全加固，以及远程访问权限配置。特别针对Ambari/Hadoop等大数据平台需求，提供了业务库创建和用户授权方案。通过清晰的步骤说明和实用配置示例，帮助用户快速完成企业级MariaDB数据库的高性能、安全部署。

2025-06-19 08:43:33 837

原创【Ambari3.0.0 部署】Step3—安装JDK17与JDK1.8-适用于el8

本文介绍了在Rocky 8.10系统上同时安装JDK 17和JDK 1.8的方法，以满足Ambari 3.0和传统大数据组件的需求。文章提供了两种安装方式：一键自动化脚本（推荐）和手动安装步骤，并详细说明了JDK下载源、解压路径以及Ambari兼容性所需的软连接配置。此外，还包含批量部署建议和版本对照表，特别适合需要多版本JDK共存的大数据环境部署场景。其他系统可参考原文链接获取更多部署方案。

2025-06-18 14:40:43 653

原创【Ambari3.0.0 部署】Step1—基础环境准备-适用于el8

本文介绍了在Rocky Linux 8.10系统上部署多节点集群的配置指南。主要内容包括：1）规范化主机名配置；2）配置国内YUM镜像源（推荐自建私服或使用阿里云等公有源）；3）批量安装基础系统工具包（共计40多个开发编译、网络、安全等必备组件）。文档适用于其他el8衍生系统（如CentOS8/Alma8），并提供了版本兼容性提示和问题交流方式。配置步骤包含详细命令和截图说明，帮助用户快速搭建稳定的集群基础环境。

2025-06-18 14:36:42 873

原创 Step8—AmbariServer初始化（适用于Ambari 3.0.0）

Ambari 初始化及安装指南摘要安装MySQL Connector/J：下载并配置MySQL连接器，验证安装。配置Ambari数据库：创建MariaDB数据库和用户，授权远程访问。安装Ambari Server：通过YUM安装，配置JDBC连接，运行安装向导（需JDK17和JDK8环境）。初始化数据库：执行官方SQL脚本完成数据库结构初始化。启动Ambari Server：启动服务并验证状态，访问Web UI（默认账号admin/admin）。问题排查：参考知识库解决安装或集成问题。

2025-06-03 08:57:54 967

原创 Step3—安装JDK17（Ambari 3.0专用）

摘要：Ambari 3.0强制要求JDK 17环境，推荐通过清华大学镜像站获取OpenJDK 17。文档提供了两种安装方式：一键脚本自动安装（含环境配置）和手动分步安装指南，重点强调需创建/usr/jdk64软链接以避免Ambari安装报错。安装后需执行java -version验证，并附常见问题解决知识库链接。国内用户需注意仅清华镜像源提供稳定下载支持。

2025-06-03 08:51:20 592

原创 Step9—Ambari Web UI 初始化安装（Ambari3.0.0）

本文详细介绍了Ambari Web UI的安装配置步骤：从登录默认账号（admin/admin）、设置集群名称开始，指导用户选择Hadoop发行版（Bigtop 3.2.0魔改版）和配置本地仓库。关键步骤包括通过SSH私钥批量部署agent到所有节点，仅安装ZooKeeper组件并分配Master节点，最后完成10-15分钟的自动部署。安装成功后，可通过8080端口访问Ambari Web界面验证集群状态。文章配有完整截图指引，适合需要快速部署Hadoop集群的用户参考。（149字）

2025-05-28 15:36:57 983

原创编译Ambari 3.0.0全攻略

本文详细介绍了在CentOS 7.9环境下编译Ambari 3.0.0的完整步骤。主要内容包括：1）基础依赖安装指南；2）源代码克隆方法（提供国内加速链）；3）JDK 17和Maven 3.8.4的版本要求及一键安装建议；4）高效全量编译命令参数说明（包含多线程优化和跳过选项）；5）编译产出的目录结构及RPM包位置。文章特别针对国内网络环境提供了yarn离线包准备等优化建议，帮助开发者顺利完成Ambari的编译工作。

2025-05-28 15:02:34 1222

原创如何将 Apache Paimon 接入 Ambari？完整部署与验证指南

近期我已完成 Apache Paimon 在 Ambari 体系下的服务集成。

2025-04-27 22:01:46 403

原创 Ambari-Env 1.0.6 湖仓来袭，你还在纠结Ambari 3.0吗？

Trino 474Trino是一个高性能的分布式 SQL 查询引擎，适用于实时分析场景。它能够跨多个数据源执行查询，支持灵活的连接和强大的查询性能。此版本的发布使得能够更好地与现代化的分布式数据存储解决方案集成，提升数据查询的效率。Paimon是一款用于流式数据处理和批量数据同步的工具，适用于数据湖和数据仓库场景。此版本带来了更高效的增量数据处理能力，能够为数据分析和业务决策提供更精准的数据支持。Hudi 1.1.0Hudi是一个开源的大数据湖管理框架，支持增量数据处理、事务一致性和高效的数据存储。新增的。

2025-04-27 21:53:50 677

原创如何将 Apache Hudi 接入 Ambari？完整部署与验证指南

近期我已完成 Apache Hudi 在 Ambari 体系下的服务集成，支持一键安装、全节点 CLI 部署、组件生命周期托管，标志着 Hudi 在大数据平台体系中的可控性进一步增强。如果你也在做基于 Ambari 的组件扩展、数据湖架构实践，欢迎一起探讨。Apache Hudi 作为数据湖领域的重要组件，提供了对。的完整支持，是构建湖仓一体化架构的关键拼图。

2025-04-25 17:39:18 471

原创 Ambari3.0来袭，2.8也不甘示弱。现已经集成Hudi和Paimon支持

Apache Ambari 3.0.0 是自 HDP 项目闭源以来的首次重大版本更新，标志着社区的持续发展和对现代化集群管理需求的响应。未来我也将适配3.0，尽情期待。

2025-04-25 08:48:46 1286

原创 Ambari湖仓集成怎么选？Hudi，Iceberg，Paimon

过去一年里，我一直在探索如何构建一套真正适配当前数据需求的一体化大数据平台。在这条路上，我选择了作为基础，逐步集成了存储、计算、调度、分析、监控等能力，最终形成了较为完整的大数据生态体系。。尤其是在实时场景日益增多、批流融合需求变强的背景下，湖仓格式的选型和落地变得尤为重要。本文，我将分享目前在 Ambari 上构建了哪些组件，面临什么样的架构瓶颈，以及我为什么开始认真考虑湖仓格式的引入与选型。

2025-03-21 14:13:54 806

原创【Ambari编译报错】phantomjs从github上下载失败导致无法编译的问题

当我们重复执行安装时，如果本地已经存在该安装包，将不会从网上重新下载。我选择在编译框架中直接处理环境变量，将 PhantomJS 的下载源修改为国内镜像，以避免网络问题带来的安装失败。在国内网络环境中，直接从官方 GitHub 源下载文件可能会因为网络问题导致速度缓慢或下载失败。，安装脚本会优先从自定义的下载源获取 PhantomJS 文件，而不是从默认的官方源下载。的设计正是为了给用户提供这种灵活性，让用户根据网络环境自由调整下载源。，如果找到这个变量，它会将其作为下载 URL 的前缀地址。

2024-10-24 11:54:52 1185

原创【ambari-infra编译报错】 package org.apache.solr.common.util does not exist

在解决问题之前，您可以通过下面的导航快速找到相关资源，助您一臂之力！💡👇。

2024-09-30 07:00:00 1402

原创【ambari-infra编译报错】org.apache.commons.io does not exist

在解决问题之前，您可以通过下面的导航快速找到相关资源，助您一臂之力！💡👇。

2024-09-29 17:49:56 1218

原创【gpdb编译报错】configure: error: header file `＜bzlib.h＞` is required for bzip2 support

ambari+bigtop 编译、安装一站式解决方案

2024-09-27 05:30:00 715

原创【gpdb编译报错】configure: error: apr-l-config is required for gpfdist, unable to find binary

ambari+bigtop 一站式编译、安装解决方案

2024-09-26 15:38:42 820