通用接口开放平台设计与实现——（14）消息服务端之消息日志

已于 2024-03-17 16:22:40 修改
阅读量918 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 通用接口开放平台设计与实现 文章标签： 开放平台 接口 netty 实战 消息
于 2022-02-01 07:56:22 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/seawaving/article/details/122762717
本文介绍了通用接口开放平台中消息日志的设计，包括日志的磁盘存储和数据库记录，用于监控和异常排查。日志分为请求和响应两部分，并记录状态和发送次数。消息状态根据WebSocket和API服务轮询两种模式有不同的管理。创建和更新日志的操作分别在发起请求和收到响应时执行。此外，还提及了一个名为‘一二三开发平台’的开源平台，提供了相关设计资料和开源信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

总体设计

消息日志是监控系统正常运行及异常排查的重要依据。日志分为两部分，一部分是磁盘日志，记录收到和发出的所有消息具体内容，这部分日志以文本的形式存储在磁盘文件上，主要用于异常排查，但实际查看并不方便。为了实现系统监控的的目的，建立消息日志的库表，在消息发送与接收时，更新到库表记录中，同时，保存消息状态和发送次数等辅助信息，依据该库表和辅助信息，实现消息的重发功能。

我们的消息是异步的，请求消息和响应消息是成对出现的，为了方便查看和监控，日志记录并没有保存原始的日志记录，而是从设计层面做了调整，同一条日志记录，来记录请求消息以及对应的响应消息。

日志类

package tech.abc.platform.cip.entity
了解本专栏 订阅专栏 解锁全文 超级会员免费看
通用接口开放平台设计与实现——（30）消息服务端之消息重发优化
学海无涯，行者无疆
04-08 338
消息服务通信机制为异步，且网络连接不是100%可靠，会因为网络闪断问题丢失消息，作为企业应用，需要保证业务消息传输的可靠性，需实现以下机制：a)发送方重发机制：消息发送方对未收到响应的消息进行重发，重发时保证消息唯一性标识、消息内容不变b)接收方消息去重机制：消息接收方依据消息的唯一性标识，对收到的消息进行验证，判断是否已处理过，如已处理过则不再进行处理。
通用接口开放平台设计与实现——（12）消息服务端之业务消息处理器
学海无涯，行者无疆
01-31 1057
前面我们介绍了服务端的消息处理链条上各处理器的配置，这部分实际相当于技术框架，今天我们来介绍下处理具体业务消息的处理器。处理框架由几个主要的部分组成：1.消息主题：我们根据业务需求，将事件转换为消息主题，消息主题相当于是对不同类型的消息进行分类，是我们实现业务处理的基础支撑部分。2.消息处理器工厂：根据消息主题来查找对应的处理器完整类名，然后通过反射技术来创建具体的消息处理器对象。
如何设计一个日志表(笔记)
ityqing的博客
01-10 3987
CREATE TABLE "public"."scrm_wechat_request_log" ( "id" int8 DEFAULT nextval('scrm_wechat_request_log_id_seq'::regclass) NOT NULL, "log_type" int2 DEFAULT 0, "server_port" int2 DEFAULT 0, "server_name"...
信息系统开发平台OpenExpressApp － 支持日志功能
weixin_33946605的博客
03-10 71
      一般信息系统都有审计功能，现在给OpenExpressApp增加简单的日志功能，主要就是记录用户的一些操作（如登录、打开模块、查看数据、点击按钮等）或者系统操作时的一些信息收集（比如保存错误等）。为了便于统一查看，这些日志信息现在全部在服务器的数据库中记录下来，包含操作类型、操作时间、操作内容、操作者、客户端机器名等信息。 　　具体设计参考BloodyAngel写的多层分布式...
syslog日志系统——接口的设计
#六脉神剑的专栏
11-07 2542
数据接口的返回报文 { "code": 0, "count": 0, "data": {}, "msg": "string" } 数据接口调用总是返回上述报文格式JSON数据，这里的字段设计是为了兼容layui的数据表
接口日志功能
qq_44304062的博客
01-09 927
外围系统通过rfc调用sap，sap http 调用外围系统，无标准日志，简单搭建日志平台输入输出参数 json 格式存储，可查询重处理，且接口配置启用/账号等相关数据，原框架被系统有，但是不完善，改改就用了。
日志消息
tayachz的专栏
09-11 816
开始接触到日志是实时日志系统，通过写入共享内存，logview进行实时查看。但当时没有处理好两个问题，日志实时滚动，由于日志过多，无法很好的查看日志信息，虽然也进行了分级，按级别trace,info,warn,err,fatal进行管理，但是对于info的数据无法很好查看，没有进行压盘。第二个是由于日志的模糊，没有对通信数据进行日志记录，所以常常对问题的定位没有帮助，通信格式的不统一带来的问题。现
通用接口开放平台设计与实现——（15）消息服务端之消息发送器
学海无涯，行者无疆
02-02 573
前面我们介绍了服务端，对接收到的消息，无论是请求消息还是响应消息，我们都是将消息主题传入工厂，构建对应的处理器进行处理。同理，对于发送的消息，我们也可以采用相同的处理模式。这里面有个问题需要思考，发送器与消息的关系是什么？发送器相当于业务消息的封装，消息的参数是通过发送器属性设置，还是调用发送方法时作为方法参数处理？实际上，这两种方式都能实现我们的目的，具体分析如下：对于发送器对应的消息主题，我们希望具体的发送器直接内置固化，不能交由外部传入，否则会造成混乱，因此使用构造参数的方法来设置。
通用接口开放平台设计与实现——（13）消息服务端之消息转发及数据权限控制
学海无涯，行者无疆
02-01 548
前面我们介绍了服务端的消息处理链条上各处理器的配置，这部分实际相当于技术框架，今天我们来介绍下处理具体业务消息的处理器。处理框架由几个主要的部分组成：1.消息主题：我们根据业务需求，将事件转换为消息主题，消息主题相当于是对不同类型的消息进行分类，是我们实现业务处理的基础支撑部分。2.消息处理器工厂：根据消息主题来查找对应的处理器完整类名，然后通过反射技术来创建具体的消息处理器对象。
【无中生有】---10---API接口日志存储设计与实现设计
无人境域
05-26 5036
使用ESB架构有一个细节点，就是关于API日志的设计 虽然可以通过消息通知模式来统一接口间的相互调用，但是最终还需要各个服务API来真正承接服务。 而对API进行监控既有利于对系统整体行为进行记录，也能对系统的性能进行分析排查系统的性能瓶颈点。 存储仍然使用Cassandra集群 请求记录ESBAPILog 序号 字段名 类型 备注 1 id st
日志接口实现
02-16
日志接口实现
消息日志表结构.sql
08-18
spring boot 集成rabbitMQ保证消息的可靠性中消息日志表的结构sql脚本.
消息日志（QTableWidget）--Qt
xiaopei_yan的博客
12-19 1162
前言 最近比较倒霉，电脑的固态盘崩了，资料代码都没了o(╥﹏╥)o。领悟到人生需要后路：要做好备份！所以我的博客，以后可能会出现很多零散的小知识。这篇博客就是其一，好嘞，废话不多说，正文开始！   功能介绍 消息日志主要是靠QTableWidget进行展示，有上下翻页的功能，虽然看似很简单，其实有很多需要考虑的地方，如按时间先后顺序排序，有新消息传来各部分的变动等。   知识点 这个...
消息发送日志 数据库设计
qq_43474424的博客
08-04 363
名 类型 长度 注释 id int 11 id send_id int 11 发送人id send_name varchar 1 发送人名称 send_type int 2 发送方式 1:短信2:邮件3:云信 receive_id int 11 接收人id receive_name varchar 2 接收人姓名 receive_address varchar 5 接收地址 msg_id int 11 消息id create_time datetime 创...
使用aspectj 的aop 实现短信发送日志
test1372965955的博客
02-03 239
1.实现可由两种方案 一个是定义一个组件，内置方法，将短信日志信息作为参数 ，内置方法解析并插入日志信息即可。2.aop 实现 如下1.创建自定义注解 定义切面一开始实现思路 利用后置通知，获取方法返回值进行解析，然后再插入日志表，就是controller 返回值必须有 ，此方法可以实现目的， 但是前端返回了短信日志信息 没有用。不返回aop写不了感觉特别扭。后来想了想，因为注解可以放到方法上，我们自定义一个方法注解放到这个方法上，在需要写日志的地方直接调用这个方法，我们aop直接切入这个单独的方法，c
Kafka的消息日志存储
godloveayuan的博客
07-16 825
文章目录1. 文件目录布局2. 日志索引两个索引文件稀疏索引日志分段切分索引文件预分配空间2.1 偏移量索引文件2.2 时间戳索引3. 日志清理3.1 日志删除基于时间的保留策略基于日志大小的保留策略基于日志起始偏移量3.2 日志压缩4. 磁盘存储4.1 消息顺序追加4.2 页缓存4.3 零拷贝不使用零拷贝的文件读取与发送零拷贝技术参考文献 1. 文件目录布局 主题、分区、副本回顾： Kafka中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。 每个主题又可以分为一个或多个分区，分区的数量可
日志分析（五）消息发送队列
weixin_34067980的博客
03-10 106
2019独角兽企业重金招聘Python工程师标准>>> ...
高并发高性能接口中，异步打印并采集业务日志的实现方案
最新发布
天草二十六
04-05 1479
本文试着通过另外一个解决方案来保证高并发接口的高性能，顺便介绍了如何找回filebeat所在机器的过程。同时提醒我们，在采集数据的时候，或者程序开发的时候，特别是当你的链路很长的时候，把每个环节的主体信息记录下来是多么的重要。
接口请求日志基于年月分表
保持热爱。
06-26 1618
Environment Lumen (5.5.2) (Laravel Components 5.5.*) Process 基于年月创建接口请求日志表，如果已经存在，则不创建。在 Lumen 框架中，将逻辑代码写在 Terminable 中间件中，通过 Session 进行异步记录，不占用接口请求时间。 <?php namespace App\Http\Middleware; us...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

行者无疆1982

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值