ss810540895的博客

remoteWrite 具体可参考：https://github.com/prometheus-operator/prometheus-operator/blob/c0baa01acd516ffc26fe8cd5763c0eaa0cd93c88/Documentation/api.md#prometheusspec官方将一些配置文件中的配置都参数化了。

可观测性体系不能仅仅只有散乱的数据，而应让数据呈现特征，让特征呈现观点，让特征和观点辅助洞察：洞悉故障直接原因，完成止损！这才是建设可观测性体系的核心目标。诸君共勉。如果您认同我们的建设思路和价值主张，也欢迎关注我们的产品：https://flashcat.cloud/，我们愿意成为您向上的台阶，让您的可观测性体系更加完善，让技术体系底气更足。

返回过去两小时的CPU的温度差该函数一般使用在gauge类型的时间序列上。# 返回区间向量中每个时间序列过去5分钟内HTTP请求数的增长数 increase(http_requests_total {increase的返回值类型只能是计数器类型，主要作用是增加图表和数据的可读性。使用rate函数记录规则的使用率，以便持续跟踪数据样本值的变化。

博客篇幅有限，完整规则请访问大佬的网站。

为了让读者更好理解我们的场景，我们首先简单介绍一下TKE的基础架构。TKE团队是公有云界首家采用Kubernetes in Kubernetes进行集群联邦管理的Kubernetes运营团队，其核心思想就是用一个Meta Cluster来托管其他集群的apiserver，controller-manager，scheduler，监控套件等非业务组件，在Meta Cluster中的组件对用户而言是隐藏的，如下图所示。上图Meta Cluster中的组件对于用户而言都是隐藏的。

我们在每个节点上面都运行了 node-exporter，如果我们通过一个 Service 来将数据收集到一起用静态配置的方式配置到 Prometheus 去中，就只会显示一条数据，我们得自己在指标数据中去过滤每个节点的数据，当然我们也可以手动的把所有节点用静态的方式配置到 Prometheus 中去，但是以后要新增或者去掉节点的时候就还得手动去配置，那么有没有一种方式可以让 Prometheus 去自动发现我们节点的 node-exporter 程序，并且按节点进行分组呢？

本篇内容有点长，代码有点多。有兴趣的可以坚持看下去，并动手实践，没兴趣的可以划走。本文分两大块，一是搞清楚prometheus四种类型的指标Counter，Gauge，Histogram，Summary用golang语言如何构造这4种类型对应的指标，二是搞清楚修改指标值的场景和方式。

官网地址：https://grafana.com/grafana/dashboards/?将刚才添加的configmap写到grafana的deploy文件里面，然后replace。直接在grafana里面导入的会丢失，因为我这边grafana没有做数据持久化。这个地址有很多的dashboard，根据需要去搜索即可。使用刚才下载下来的json文件来创建configmap。可以看到已经有了，而且重启grafana也不会丢失。把json文件下载下来。

prometheus提供了本地存储（TSDB）时序型数据库的存储方式，在2.0版本之后，压缩数据的能力得到了大大的提升（每个采样数据仅仅占用3.5byte左右空间），单节点情况下可以满足大部分用户的需求，但本地存储阻碍了prometheus集群化的实现，因此在集群中应当采用 其他时序性数据来替代，比如influxdb。抓取数据存储数据和查询数据。在早期有一个单独的项目叫做TSDB，但是，在2.1.x的某个版本，已经不单独维护这个项目了，直接将这个项目合并到了prometheus的主干上了。

通过docker-compose部署prometheus、node-exporter、alertmanager和grafanamkdir -p /home/prom/{prometheus,prometheus/data,alertmanager,grafana}chmod 777 /home/prom/{prometheus/data,grafana}cd /home/promtree ..├── alertmanager│ ├── alertmanager.yml│ └─

监控具体分为两种，一种是本身提供metrics接口的服务，这种服务直接创建后续的几个服务就可以监控其提供的对应的指标，另一种是没有提供metrics接口的服务，这种服务需要先部署对应的exporter，进而exporter会暴露响应的metrics，通常类似于mysql、redis这些服务都有一些现成的exporter，或是官方的或是社区的，拿来就可以直接用，但对于公司具体的业务，则需要开发人员去提供metrics指标，以此做监控。具体的大家可以去根据需要，编写对应的指标查询规则。这里部署之前最好改一下。

k8s：1.24.4本次部署采用operator的方式将prometheus部署到k8s中，需对k8s和prometheus有一定的了解。

【代码】【CRD】Probe撰写规范。

注意：此实验环境都建立在前几篇博客上，如有不清楚请前往查看在服务端配置停掉postfix[root@master ~]# systemctl stop postfix[root@master ~]# systemctl disable postfix.service 安装mailx，本地仓库就行[root@master ~]# yum install mailx -y修改配置文件...

监控文件添加监控项准备需要监控的文件[root@slave ~]# touch /opt/aaa[root@slave ~]# echo "haha" >> /opt/aaa添加触发器点击最下面的add，不是update添加触发器之后，先在客户端重启服务，然后更改文件，然后等待结果[root@slave ~]# pkill zabbix[root@s...

zabbix中文乱码解决//因为是源码编译安装，目录结构可能会有所不同，下同//查看zabbix字符文件存放位置[root@master ~]# cd /usr/local/apache/htdocs/zabbix/fonts/[root@master fonts]# lsDejaVuSans.ttf//在Windows里面C:\Windows\Fonts这个目录找一个中文简体的文件...

1. zabbix介绍zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix agent...