记一次skywalking dashboard 无数据显示的解决过程

本文记录了一次解决Skywalking Dashboard数据丢失的情况。问题源于ES在处理Skywalking Collector数据写入时因资源不足导致'es_rejected_execution_exception'错误。优化方案包括调整ES的queue_size、flush时间和数据大小,集群化ES以及修改ES配置文件增加thread_pool.write.queue_size为1000。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

2019年2月28日

1.skywalking dashboard 13:57开始突然没有数据
显示如下
在这里插入图片描述

此时es状态:
在这里插入图片描述
观看skywalking 中collector日志:
在这里插入图片描述
其中出现大量的错误日志(本次服务于11点30重启后就一直存在)

观看skywalking 中agent的日志:
在这里插入图片描述
出现大量此类日志,继续往上查看日志
在这里插入图片描述
发现其中的关键在于
es 在写入的时候 已经没有资源去处理了,所以会一直显示有to many request,"es_rejected_execution_exception"这类日志


所以结合log,可以得出本质问题出现在es处理 skywalking collector 数据写入时,已经无法分配出资源来。原因主要是机器资源紧张…,所以可以从以下几个方面去优化

  1. 可以修改 es 写的q
aml是一种xml格式的语言。 翻译过来大概叫 安全断言(标记)语言。 这里有两个点: 第一是“安全”, 第二是“断言(assertion)”。 用人话翻译saml就是 用安全的方式表达断言一种语言。 先看它的核心概念“断言”。 断言是什么? 就是做出判断的语言。比如一句话: 小明是超级管理员。 这就是一个断言。再来一个例子:小红没有权限读取根目录。这也是一个断言。 这种“做出判断的语句”我们在很多场合都需要用到。 比如你在网上尝试登陆一个服务的时候, 这个服务需要知道你是不是合法的用户。 这个时候如果你能提供一个“安全,可靠,可信任”的断言:“小明有权登陆XX服务”, 那么这个服务就知道你合法了, 于是就能为你提供服务了。 这个例子比较抽象,但基本上能表达断言在实际用例中的作用了。 实际上saml的大部分用例就在于证明你是谁,你拥有什么权限等等了。 saml中大部分主要内容也都是类似于:你是谁, 你有什么。。等等这些简单的语句。 详细内容后面会介绍。 接下来第二个概念就是“安全”了。 你能提供一个断言, 别人能不能假冒你提供一个断言从而骗取服务端的信任呢? 另外服务端为什么会信任你给的断言呢? 这就涉及到安全的问题了。为了防止断言被假冒,篡改。saml中加入了安全措施。 当然现今能抵御假冒,篡改,重放攻击的利器就是公钥-私钥系统了。 通过给断言加上签名和加密,再结合数字证书系统就确保了saml不受攻击。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值