- 博客(289)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Grafana+Prometheus监控Flink on YARN系统搭建
Flink支持多种监控指标的汇报reporter，例如jmx、slf4j、Prometheus、InfluxDB等。Grafana+Prometheus是当前比较流行的监控可视化解决方案。如下图为Prometheus及相关组件组成的生态系统。
2020-05-22 23:23:32
1166
原创 elasticsearch低频字段优化
设置index: false后，字段不会生成倒排索引，无法通过常规查询（如match、term）检索该字段。特殊字段类型的例外数值、日期、布尔等类型字段即使设置index: false，仍可能通过doc_values实现排序和聚合。存储优化：减少索引体积，提升写入速度（尤其适用于高频写入场景）。 低频访问字段：如日志中的辅助信息、冗余元数据等无需搜索的字段。性能权衡：需评估字段的实际使用需求，避免误关闭高频查询字段。查询限制：禁用索引后，直接查询该字段会返回空结果。
2025-05-31 17:46:23
528
原创 canal高可用配置
创建成功的Server将启动对应的Canal instance，未成功的则处于standby状态。节点消失后的处理：如果Zookeeper发现某个Canal Server创建的节点消失，会立即通知其他Canal Server重新进行启动判断，重新选出一个Server启动instance。Watcher机制：Zookeeper的Watcher机制用于监听节点变化，一旦检测到节点变化（如创建或删除），会触发相应的处理逻辑，确保Canal Server和Client的状态同步。Canal的HA机制。
2025-05-28 22:51:44
330
原创 为什么单张表索引数量建议控制在 6 个以内
如果索引数量过多，会占用大量的磁盘空间，尤其是在数据量较大的情况下，索引占用的空间可能会超过数据本身。此外，每次进行UPDATE、DELETE、INSERT操作时，不仅需要更新数据本身，还需要维护索引，这会显著增加数据库的负担，降低操作效率。每次数据变更都需要更新索引，这会增加数据库的负担，尤其是在高并发环境下，可能会影响系统的整体性能。优化器负担：当索引数量过多时，查询优化器在选择执行计划时需要考虑更多的索引，这会增加其分析优化的负担，可能导致查询性能下降。
2025-05-27 22:55:24
249
原创 Keepalived 配置 VIP 的核心步骤
Keepalived 配置 VIP 的核心步骤主要涉及安装软件、主备节点配置及服务管理。通过以上步骤，可实现基于 Keepalived 的 VIP 高可用配置，确保主备节点自动故障切换。提示：virtual_router_id 必须在同一 VRRP 组内唯一，且主备节点需相同。virtual_router_id 51 # 虚拟路由 ID，主备需一致。priority 150 # 优先级，主节点需高于备节点。virtual_router_id 51 # 与主节点一致。
2025-05-27 20:27:08
1026
原创 全局事务标识符
例如，3E11FA47-71CA-11E1-9E33-C80AA9429562:23表示在server_uuid为3E11FA47-71CA-11E1-9E33-C80AA9429562的服务器上，第23个提交的事务。在传统复制中，需要手动指定二进制日志文件和位置来启动复制，而GTID复制只需要配置主库的连接信息和开启GTID功能，系统会自动根据GTID来同步事务，大大简化了配置过程。GTID可以确保每个事务在从库上只执行一次，避免了传统复制中可能出现的事务重复执行问题，保证了数据的一致性。
2025-05-27 19:40:43
369
原创 hadoop异构存储
异构存储基本原理：Hadoop集群允许使用SSD、HDD、ARCHIVE等多种存储介质，根据数据的访问频率（热/温/冷）匹配对应的存储类型，例如SSD存储频繁访问的热数据，HDD存储温数据，ARCHIVE存储冷数据。冷热数据分离：电商日志场景中，新日志（热数据）存于SSD以支持实时分析，旧日志（冷数据）迁移至ARCHIVE降低成本。RAM_DISK：内存存储，适合极高频访问的数据（如临时中间计算结果）；ARCHIVE：高密度归档存储（如磁带或低成本大容量磁盘），适合冷数据。
2025-05-26 14:26:20
366
原创 hadoop纠删码基本原理
数据分块与校验计算:将原始数据划分为k个数据单元，通过数学算法（如Reed-Solomon）生成m个校验单元。任意丢失不超过m个单元（包括数据单元或校验单元）时，可通过剩余单元恢复原始数据。存储策略替换副本机制:默认三副本策略存储效率为33%（300MB文件占用900MB空间），而EC策略（如RS-6-3）存储效率提升至66%（300MB文件占用500MB空间）；支持多种策略配置，如RS-10-4（10数据块+4校验块）、XOR-2-1（2数据块+1校验块）。
2025-05-26 11:29:55
698
原创 HDFS写入数据流程
DataNode列表获取:客户端向NameNode请求当前块的存储节点，NameNode基于机架感知策略（优先同机架节点）和负载均衡返回3个DataNode地址； ACK确认机制:每个Packet传输完成后，DataNode通过反向管道返回ACK确认，客户端将Packet移入ackQueue； 传输管道构建:客户端与第一个DataNode建立连接，后续节点通过逐级调用形成传输链（如dn1→dn2→dn3），完成后逐级返回应答确认管道就绪；
2025-05-26 11:11:09
618
原创 数据库备份及可恢复性验证流程
日志管理：启用归档日志（如MySQL的binlog、SQL Server的事务日志）以支持时间点恢复（PITR）3-2-1原则：至少保留3份副本，存储在2种不同介质（如本地磁盘+磁带），1份异地（如云存储）恢复路径验证：预先定义不同故障场景（如硬件损坏、误删表）的恢复步骤。自动校验：通过校验和（如SHA-256）验证备份文件未损坏56。目标定义：明确RTO（恢复时间目标）与RPO（恢复点目标）日志追踪：检查恢复过程中的错误日志（如事务冲突或数据缺失）
2025-05-22 10:46:04
408
原创 服务器磁盘按阵列划分为哪几类
当前技术趋势显示，RAID 10与RAID 6已成为企业级存储的主流选择，而传统RAID 2/3/4因架构缺陷逐渐退出市场。工作机制：数据与校验信息交替存储于不同磁盘，允许单盘故障恢复。复合架构：先做RAID1镜像，再对镜像组进行RAID0条带化。容量优先：RAID 5 > RAID 6 > JBOD（无冗余）可靠性优先：RAID 10 ≈ RAID 6 > RAID 1。技术升级：引入第二份校验数据，可容忍双盘失效。性能优先：RAID 0 > RAID 10 > RAID 5。
2025-05-22 10:33:00
642
原创 服务器硬盘分类
性能表现：随机读写可达100k-1M IOPS，延迟低于0.1ms，支持PCIe 4.0接口时带宽达7GB/s68。劣势：随机读写延迟高达5-15ms，IOPS性能约100-200，转速主流的15k RPM型号功耗约10W/盘。优势：单盘容量可达20TB以上，每GB存储成本低至0.02美元，适合海量冷数据存储。协议演进：SAS 3.0带宽达12Gb/s，兼容SATA设备，支持全双工通信。技术定位：消费级协议向企业级延伸，带宽上限600MB/s，无多路径冗余。
2025-05-22 10:20:35
690
原创 数据库主从集群 + GTID 实现高可用
从库通过 I/O 线程拉取主库的 binlog，写入本地的中继日志（relay log），再由 SQL 线程重放日志以实现数据同步。通过 GTID 机制与主从架构的深度整合，数据库集群可在保证数据一致性的前提下实现快速故障恢复，是构建高可用数据库系统的核心技术方案。：通过 Keepalived 等工具绑定虚拟 IP（VIP），当主库故障时 VIP 自动漂移到从库，实现客户端无感知切换。：切换主库时，确保新主库包含原主库的所有 GTID 事务，避免数据断层。命令指向新主库，基于 GTID 自动续传复制。
2025-05-21 12:59:37
283
原创 lambda架构和kappa架构区别
Lambda架构与Kappa架构是大数据处理领域的两种核心架构模式，主要差异体现在数据处理逻辑、系统复杂度和适用场景等方面。
2025-05-20 22:42:50
559
原创 LSM Tree算法原理
不可变的SSTable（Sorted String Table）：当MemTable达到一定大小后，会被冻结并转换为不可变的SSTable，按主键排序后顺序写入磁盘（通常为Level 0层）。内存缓冲（MemTable）：写入操作首先被写入内存中的数据结构（如跳表或平衡树），称为MemTable。 写放大（Write Amplification）：合并可能导致数据多次重写，高层级合并涉及更大数据量，是LSM Tree的主要代价之一。日志系统或时序数据存储（InfluxDB）
2025-05-20 17:09:20
450
原创 Doris高性能读能力与实时性实现原理
Doris 通过 分布式并行架构+列式存储优化 解决海量数据扫描效率问题，依托 内存优先处理+存算一体设计 实现亚秒级实时响应。 MPP 分布式架构：采用大规模并行处理架构，将查询请求拆解为多个子任务并行执行，BE 节点之间通过数据分片并行计算实现负载均衡，线性扩展处理能力。内存优先处理机制：新写入数据优先驻留内存 MemTable，查询时自动合并内存与磁盘数据，实现读写分离（Write-Ahead 模式）。内存数据通过：两阶段提交协议 保障事务一致性，写入完成即可查。
2025-05-20 14:24:26
545
原创 服务器磁盘不同格式挂载区别
通过合理选择文件系统和挂载参数，可显著优化磁盘性能与数据安全性。通过mount /dev/sdXn /path命令实现，重启后失效。需编辑/etc/fstab文件，指定分区UUID或设备路径、挂载点、文件系统类型及挂载参数。日志型文件系统（如ext4、XFS）在意外断电时数据恢复能力更强，但会牺牲少量写入性能。某些文件系统（如XFS）对海量文件处理更高效，而ext4在小文件场景表现更优。noatime：减少元数据写入，提升性能。ro/rw：控制只读或可写模式。 2. 永久挂载。
2025-05-20 11:28:28
503
原创 大数据hadoop小文件处理方案
通过组合使用上述方案，某金融客户集群（50PB规模）将小文件数量从2.3亿减少至1700万，NameNode Full GC频率从每小时3次降至每周1次，作业执行效率提升40%。MapReduce合并：开发专用MR任务实现分布式合并，降低NameNode内存压力（处理100万个小文件时内存消耗可从15GB降至1.5GB）；Hive合并：设置hive.merge.mapfiles=true和hive.merge.size.per.task参数；列式存储：Parquet格式合并小文件时，查询性能提升3-5倍；
2025-05-19 18:14:24
844
原创 Linux句柄数过多问题排查
以下是Linux句柄数过多问题的排查与解决方法整理：一、检测句柄使用情况1.查看系统限制单个进程限制：ulimit -n系统级总限制：cat /proc/sys/fs/file-max2.统计进程占用量查看指定进程：lsof -p <PID> | wc -l通过输出可快速定位句柄泄漏的进程。二、常见问题原因1.资源未释放程序未正确关闭文件、Socket连接或数据库连接（如MySQL报错Too many open files）
2025-05-19 16:07:59
631
原创 大数据与数据库服务器参数调优方法
增大TCP连接队列（net.core.somaxconn=65535，net.ipv4.tcp_max_syn_backlog=65535），应对高并发请求。修改 vm.swappiness（默认60）为 10或更低，减少交换分区使用优先级，避免内存充足时频繁触发交换操作。禁用ICMP广播响应（net.ipv4.icmp_echo_ignore_broadcasts=1），防范放大攻击。关闭IPv6支持（net.ipv6.conf.all.disable_ipv6=1），降低潜在攻击面。
2025-05-19 15:59:31
364
原创 linux服务器参数调优
在虚拟化环境下（如云数据库），采用 SR-IOV（单根I/O虚拟化）网卡 可绕过Hypervisor直接访问物理网卡，减少CPU占用率。 分布式存储（如SAN/NAS）：通过光纤信道或以太网集中管理存储资源，支持动态扩展和高并发访问。 HDFS推荐使用 多块SATA/SAS机械硬盘 构建分布式存储，通过横向扩展实现高吞吐量。 云存储：采用对象存储服务（如S3）实现弹性扩展，但需注意网络稳定性对实时性要求高的场景影响。
2025-05-19 15:52:06
312
原创 linux服务器监控指标
TCP连接状态：netstat -ant/ss -s查看ESTABLISHED、TIME_WAIT连接数，过多可能需调整内核参数。磁盘利用率（%util）：通过iostat -x 1查看，持续>80%表明磁盘过载。 读写延迟（await）：单次I/O平均耗时，机械硬盘建议≤10ms，SSD≤2ms。平均负载（Load Average）：1/5/15分钟均值，超过逻辑CPU核数表示资源紧张需扩容。iostat -d 1：统计每秒读写量（rkB/s/wkB/s），识别高吞吐设备。
2025-05-19 15:15:20
528
原创 doris节点数量规划
在生产环境中，为了数据的可靠性和容错性，通常会使用 3 副本存储数据，因此建议部署至少 3 个 BE 节点。通常情况下，建议部署至少 3 个 Follower 节点。Follower 节点：参与选举操作，当 Master 节点宕机时，会选择一个可用的 Follower 节点成为新的 Master。Observer 节点：仅从 Leader 节点同步元数据，不参与选举，可用于横向扩展以提升元数据的读服务能力。BE 节点支持横向扩容，通过增加 BE 节点的数量，可以有效提升查询的性能和并发处理能力。
2025-05-15 23:25:46
268
原创 在文件检索方面doris和elasticsearch的区别
综上，Doris 更适合需兼顾检索与复杂分析的混合负载场景（如日志分析中的多维统计），而 Elasticsearch 在纯文本高相关性检索场景仍具优势。 能力 Doris Elasticsearch。Elasticsearch 依赖 分片与副本机制 提升检索吞吐，但复杂聚合易引发性能瓶颈。
2025-05-15 23:04:45
846
原创 为什么doris是实时的？
基于 大规模并行处理（MPP）架构，Doris 能将查询任务动态拆解为子任务，在多个节点上并行执行，充分利用集群计算资源加速数据处理，实现复杂查询的秒级响应。通过 Unique Key 或 Merge-on-Read 模型 支持数据更新，基于主键快速定位并覆盖旧版本数据，保证高并发场景下的实时可见性。联邦查询能力：通过MySQL协议或JDBC/ODBC连接器，直接对接Hive、Iceberg等数据湖表，实现跨源实时分析；计算任务优先调度至存储节点执行，减少网络传输开销，加速海量数据查询。
2025-05-15 22:56:01
418
原创 为什么elasticsearch配置文件JVM配置31G最佳
预留安全边界：略低于32GB（如31GB）以规避操作系统或JVM自身内存计算误差导致实际堆内存越界。固定初始堆与最大堆：设置Xms与Xmx相同值，避免堆内存动态调整引发的资源争夺和GC停顿。
2025-05-15 22:35:22
485
原创 ElasticSearch重启之后shard未分配问题的解决
注意：生产环境强制分配分片前需确认数据备份状态，优先通过_cat/shards和_cluster/allocation/explain确认底层原因。若无法确定故障根源，建议复制数据重建索引而非直接操作分片分配。分片未分配原因为low disk watermark，通过GET _cat/allocation?v可查看节点磁盘使用率。# 显示具体分片未分配的reason（如ALLOCATION_FAILED、NODE_LEFT等）强制分配主分片（慎用，存在数据丢失风险）
2025-05-14 23:02:01
447
原创 Elasticsearch索引设计与调优
"flush_threshold_size": "1gb" // 增大刷新阈值至1GB。"durability": "async", // 异步写入。"number_of_replicas": 1 // 副本分片数。"number_of_shards": 5, // 主分片数。禁用动态映射（"dynamic": "strict"），避免字段爆炸问题。定义热（SSD）、温（HDD）、冷（对象存储）三层存储策略。主分片数创建后不可修改，副本分片数支持动态调整。
2025-05-14 22:49:40
746
原创 elasticsearch硬件与资源配置优化
堆内存设置为物理内存的50%，但不超过32G（绕过指针压缩缺陷）。禁止JVM交换分区：bootstrap.mlockall: true，避免频繁的磁盘交换。通过以上优化，可显著提升Elasticsearch的吞吐量与稳定性，同时兼顾成本效益。高性能检索集群 SSD+64G内存+32核CPU+10GbE网卡 JVM堆30G，单节点分片数<2000。日志分析集群 机械硬盘+32G内存+16核CPU JVM堆16G，索引生命周期自动归档至冷存储。
2025-05-14 22:38:13
543
原创 Flink实时统计任务CPU异常排查与解决方案
检查跨节点网络延迟，优化Flink的taskmanager.network.memory.fraction参数。：部分Key数据量过大，导致对应Subtask的CPU负载远超其他节点（如分流后48个流并行度仅为2）。设置过高，导致单个节点负载过载（如32核节点设置2个slot被多个任务占用，总需求超过物理CPU核数）。：内存不足引发频繁GC，间接导致CPU利用率飙升（如Full GC占用大量CPU时间）。分流48个流，并行度为2，总需求CPU核数51 > 节点32核。
2025-05-14 22:20:25
1194
原创 flink的TaskManager 内存模型
Flink TaskManager 的内存模型是一个多层管理体系，从 JVM 进程到具体任务的内存分配均有明确的逻辑划分和配置策略。
2025-05-13 10:51:47
1005
原创 hive两个表不同数据类型字段关联引发的数据倾斜
通过EXPLAIN结果的Operator字段，可发现Predicate中是否包含(cast(id as double))等隐式转换操作， 所有关联查询场景。 对倾斜字段添加随机后缀再关联。关联字段可无损转换时（如。
2025-05-12 23:32:31
522
原创 Hive原理
Hive 是构建在 Hadoop 上的数据仓库工具，其核心原理是通过类 SQL 语言（HiveQL）将结构化数据查询转换为分布式计算任务（如 MapReduce、Tez、Spark），并利用 HDFS 存储数据。
2025-05-12 21:07:23
1210
原创 Hive HA配置高可用
Hive的高可用性（HA）通过消除关键组件的单点故障来实现，确保系统在部分故障时仍能正常运行。 多实例部署：部署多个Metastore服务实例，每个实例连接到共享的后端数据库（如MySQL、PostgreSQL集群）。 后端数据库HA：使用高可用数据库方案（如主从复制、Galera集群），确保元数据存储的可用性。客户端配置：客户端配置多个Metastore URI，通过重试机制实现故障转移。
2025-05-12 19:18:19
524
原创 Linux下文件删除后空间未释放的典型原因及解决方案
以下是Linux下文件删除后空间未释放的典型原因及解决方案，整合实践验证的关键步骤：一、核心原因当文件被进程持续占用（如日志文件被写入中）时，直接执行rm命令仅删除文件索引，但磁盘块仍被进程锁定，导致空间未被释放。
2025-05-12 11:59:02
644
原创 yarn日志聚合机制
任务结束后（无论成功或失败），YARN自动将本地日志上传至HDFS路径${yarn.nodemanager.remote-app-log-dir}/${user}/${yarn.nodemanager.remote-app-log-dir-suffix}/${application_id}，默认上传至/tmp/logs目录。yarn.log-aggregation.retain-seconds 聚合日志在HDFS的保留时间（单位:秒） -1（永久保留）五、配置示例（yarn-site.xml）
2025-05-12 11:26:38
271
原创 namenode主从故障切换过程
HDFS中NameNode的主从故障切换过程主要依赖高可用（HA）架构实现，分为自动故障切换和手动切换两种模式，具体流程如下：一、HA架构基础Active/Standby架构1.HDFS集群包含两个NameNode节点：Active NameNode和Standby NameNode。Active节点处理客户端请求，Standby节点实时同步元数据保持热备状态。2.共享编辑日志机制。
2025-05-12 11:12:18
497
【数据库技术】MySQL全局事务标识符（GTID）详解：复制环境中的事务管理与配置简化了文档的主要内容
2025-05-27
【网络高可用】基于Keepalived配置VIP的核心步骤：主备节点自动故障切换系统部署指南
2025-05-27
【大数据存储】Hadoop异构存储技术实现与应用：基于HDFS的多级存储介质智能调度方案设计
2025-05-26
【数据库管理】主流数据库备份及可恢复性验证流程：策略制定、执行与验证方法综述
2025-05-22
【Linux系统管理】常用命令汇总：文件操作、权限管理、文本处理与网络配置基础教程
2025-05-21
网络安全Elasticsearch未授权访问漏洞修复：通过防火墙与身份验证增强数据安全防护措施
2025-05-20
网络安全Hadoop未授权访问漏洞修复：分布式系统基础架构安全配置加强方案
2025-05-20
【Linux服务器运维】全面解析CPU、内存、磁盘I/O及网络监控指标与工具：保障系统稳定性的关键数据监测方案
2025-05-19
网络安全常见漏洞修复方案汇总
2025-05-15
【大数据存储】解决小文件过多引发的HDFS NameNode内存溢出：优化方案与配置示例
2025-05-14
【大数据平台网络资源规划】带宽负载均衡选择：业务场景驱动的系统架构与优化策略设计大数据平台在网络资源
2025-05-15
【大数据平台】资源规划关键技术：涵盖资源分类、容量评估、扩展性设计的综合考量系统构建
2025-05-15
【大数据技术】Hadoop集群故障节点隔离与恢复操作指南：确保集群稳定运行的详细步骤与配置优化
2025-05-14
【Elasticsearch运维】重启后分片未分配问题的诊断与解决方案：典型故障场景及预防措施综述
2025-05-14
【Elasticsearch索引设计与调优】分片策略、映射优化及冷热数据分层架构：提升查询和写入性能的综合方案设计
2025-05-14
【Elasticsearch优化】硬件与资源配置优化方案：提升集群性能与稳定性设计
2025-05-14
【大数据处理】Flink实时任务CPU异常排查与优化：资源配置、代码逻辑及并行度调整方案设计
2025-05-14
【大数据处理】Hadoop数据倾斜成因分析与综合解决方案：从预处理到任务参数调优全流程解析
2025-05-14
【大数据存储管理】Hadoop存档文件（HAR）使用指南：创建、查看、特性及应用场景详解
2025-05-14
【大数据技术】Hadoop集群宕机问题分析与解决方案：故障应急处理及预防优化措施综述
2025-05-14
【Hadoop分布式文件系统】NameNode确认DataNode数据写入成功机制：包含写入过程确认、持久化验证及元数据更新流程解析
2025-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人