- 博客(733)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 kafka--基础知识点--6.4--LSO
有两个生产者将消息发往同一分区，一个是事务生产者，一个是非事务生产者；该分区的消费者设置参数isolation.level=read_committed。LSO: LastStableOffset，分区中第一个未完成事务的起始偏移量，或如果没有未完成事务则为HW。
2025-12-17 21:57:31
79
原创 kafka--基础知识点--6.3--leader epoch机制
在 0.11.0.0 版本之前， Kafka使用的是基于HW的同步机制，这种会在故障恢复时出现和的情况。请看中的和两部分。
2025-12-16 23:08:57
146
原创 kafka--基础知识点--3.2--消息的磁盘存储文件结构
每个分区实际上由多个日志段（LogSegment）组成。日志段是Kafka数据存储的最小单元，包括一个日志文件（存储消息）和两个索引文件（偏移量索引和时间戳索引）。例如，假设日志段的BaseOffset是100，那么偏移量105的索引条目中，相对偏移量为5，物理位置为1050（表示从日志文件的第1050字节开始）。日志段不会无限增长，当达到一定条件时会滚动创建新的日志段。消息格式（V2版本，Kafka 0.11.0之后）主题（Topic）和分区（Partition）消息批次（RecordBatch）
2025-12-12 00:04:51
846
原创 kafka--基础知识点--3.1--生产者架构
在生产端主要有两个线程：main和sender，两者通过共享内存RecordAccumulator通信。
2025-12-11 21:50:15
605
1
原创 kafka--基础知识点--17--如何保证顺序消费
Kafka本身不保证整个Topic的全局消息顺序，但能保证单个分区(Partition)内的消息是有序的。这就像一个快递站，所有包裹（消息）都先送到总站(Topic)，但总站内部会分给不同的快递员（分区）去送，每个快递员手里的包裹顺序是固定的，但不同快递员之间的顺序就乱了。
2025-12-10 22:03:24
331
原创 kafka--基础知识点--9.1--consumer 至多一次、至少一次、精确一次
Kafka 消费者后台线程每隔 auto.commit.interval.ms 自动提交最近一次 poll() 的 offset无需开发者干预。
2025-09-16 00:13:05
621
原创 kafka--基础知识点--16--最多一次、至少一次、精确一次
个人理解，仅供参考。一个消息的传递可以分两个过程，a) producer发送消息到 broker，b) consumer从broker读消息并发送。
2025-09-14 17:44:25
1141
原创 langGraph--2--langServe+langGraph示例
运行以上服务并在浏览器里请求:http://localhost:8000/workflow/playground/ 进行测试。
2025-08-15 16:32:08
244
原创 langchain--2--invoke、batch、stream、ainvoke、abatch、astream
环境：本地使用ollama部署的deepseek-r1:1.5b模型。
2025-07-31 17:26:14
225
原创 kafka--基础知识点--5.4--max.in.flight.requests.per.connection
是 Kafka 生产者客户端配置参数，用于控制生产者与单个 Broker 连接中未确认请求的最大数量。简单来说，它限制了生产者在等待之前发送的消息确认（ACK）时，可以同时向同一个 Broker 发送的未完成请求数量。场景配置值说明严格消息顺序1金融交易、日志审计等场景，确保消息顺序与发送顺序一致。高吞吐量非顺序场景5实时日志、非关键业务数据，牺牲少量顺序性以换取更高吞吐量。启用幂等性或事务1幂等性/事务需严格顺序保证，Kafka 会自动强制设置为1。通过合理配置。
2025-07-20 11:13:43
736
原创 kafka--基础知识点--6.1--LEO、HW、LW
在 Apache Kafka 中，、和是副本机制和日志管理中的核心概念，共同确保数据一致性、可见性和存储效率。
2025-07-19 16:49:04
720
原创 kafka--基础知识点--6--AR、ISR、OSR
Assigned Replicas 是分配给某个分区的所有副本集合，包括主副本（Leader）和从副本（Follower）。每个分区在创建时通过 replication-factor 参数指定副本数量，AR 是这些副本的完整列表。: Out-of-Sync Replicas 是未能及时与 Leader 同步的副本集合，通常因网络延迟、负载过高或故障导致。: In-Sync Replicas 是与 Leader 副本保持同步的副本集合，包括 Leader 自身。
2025-07-19 15:11:55
358
原创 kafka--基础知识点--0
https://cloud.tencent.com/developer/article/2307892 19张图。
2025-07-16 22:21:55
1048
原创 python--杂识--20 sse与websocket区别
SSE适用于简单的单向数据推送场景，实现简单，资源消耗低。WebSocket适用于需要双向通信的复杂场景，功能强大，但实现和管理相对复杂。
2025-07-16 16:03:38
438
原创 pytest--1--pytest-mock常用的方法
在中，mocker固定装置提供了多种方法来创建和管理模拟对象（mock objects）。这些方法可以帮助你在测试中模拟函数、方法、类和模块的行为。以下是一些常用的。
2025-07-16 11:02:22
438
原创 python--杂识--18.1--pandas数据插入sqlite并进行查询
【代码】python--杂识--18.1--pandas数据插入sqlite并进行查询。
2025-07-07 16:59:34
255
转载 python--基础知识点--管道
管道运算符的工作原理为了理解 LCEL 和管道运算符的工作原理，我们创建自己的管道兼容函数。当 Python 解释器在两个对象之间看到 | 运算符（如 a | b）时，它会尝试将对象 a 传递给对象 b 的方法。
2025-07-04 10:31:53
174
原创 Docker--基础知识点--30--docker-compose.yaml常用配置
文件中，常用配置字段用于定义服务、网络、卷等资源。以下是核心字段的分类说明和示例，帮助快速掌握 Docker Compose 的配置方法。通过灵活组合这些字段，可以高效管理多容器应用的部署、网络和存储配置。自定义扩展字段（需工具支持，如。
2025-06-30 09:42:16
589
原创 分布式--3--分布式事务
事务在单系统中的表现：多次数据库操作用事务进行管理，来保证ACID原则。但是如果各个模块都是单独独立出来的微服务，进行了分布式部署，单系统里的事务将不能保证各个数据库操作的一致性，因此就需要分布式事务来进行统一管理。要么全部成功执行，要么全部不执行。
2025-06-17 11:02:09
288
原创 python--杂识--19--zmq
ZeroMQ（ØMQ）是一个高性能的异步消息库，支持多种通信模式，适用于不同的分布式系统场景。通过合理选择模式，可以构建高效、灵活的分布式系统。以下是 ZeroMQ 在 Python 中支持的。中有底层原理的一些介绍。
2025-06-12 14:34:55
1379
原创 Redis--基础知识点--28--慢查询相关
客户端与 Redis 服务器之间的网络延迟可能导致客户端感知到的响应时间变长。解决方案：优化网络环境。
2025-05-30 00:05:53
1862
1
原创 Redis--基础知识点--27--redis缓存分类树
在 Redis 中存储分类树，通常需要选择合适的数据结构来表现层级关系。两种常见方案的举例说明，结合电商分类场景（如。如果 Redis 版本支持。结合两种方案优点，使用。电子产品>手机>苹果。
2025-05-15 15:01:09
789
原创 Redis--基础知识点--26--过期删除策略 与 淘汰策略
Redis 的过期策略和淘汰策略是内存管理的核心机制，分别用于处理键的自动失效和内存不足时的数据清理。
2025-05-15 11:28:32
1082
原创 分布式--1--CAP介绍
总结：CAP理论是分布式系统设计的基石，但需结合业务需求灵活权衡。例如，金融领域倾向CP，互联网高并发场景倾向AP。分区容错性（Partition Tolerance）。可用性（Availability）。一致性（Consistency）。CAP 是分布式系统中的概念。CAP理论的核心概念。CAP理论的争议与补充。CAP的权衡与实践。
2025-05-14 10:18:12
449
原创 Mysql--基础知识点--91.1--慢查询日志
MySQL 慢查询日志是优化数据库性能的核心工具之一，用于记录执行时间超过指定阈值的 SQL 语句。
2025-05-09 17:50:01
360
原创 Mysql--基础知识点--91.2--processlist
是一个常用命令，用于查看当前数据库服务器上所有正在运行的线程（进程）信息。，您可以实时监控数据库负载、识别阻塞查询，并优化资源使用。在 MySQL 中，
2025-05-09 17:37:43
798
原创 Mysql--基础知识点--79.1--双主架构如何避免回环复制
全局唯一性：每个GTID在集群中唯一，确保事务不会被重复应用。幂等性检查：通过gtid_executed集合，节点能自动检测并跳过已应用的事务。
2025-04-22 11:02:34
401
原创 Mysql--基础知识点--93--两阶段提交
以update语句的具体执行过程为例：具体更新一条记录 UPDATE t_user SET name = ‘xiaolin’ WHERE id = 1;的流程如下：1.执行器负责具体执行，会调用存储引擎的接口，通过主键索引树搜索获取 id = 1 这一行记录：（1）如果 id=1 这一行所在的数据页本来就在 buffer pool 中，就直接返回给执行器更新；（2）如果记录不在 buffer pool，将数据页从磁盘读入到 buffer pool，返回记录给执行器。
2025-04-17 17:21:20
547
原创 Mysql--基础知识点--21.1--一张表自增主键最大id=20，事务1 插入id=21的数据行但还未提交，然后事务2 插入id=22的数据行是否会被被阻塞
开启事务2：并insert 且 commit，此时不会被事务1阻塞是可以commit成功的。查看 加锁情况：事务1执行insert 完成后还未commit时，会加一个表级意向。锁，此时在开启事务2的话，事务2是可以获取到id=16的，具体可以看。开启事务1，然后 insert 完成后还未commit。[客户端1 事务1：][客户端2 事务2：]
2025-04-16 12:18:14
308
原创 Mysql--基础知识点--85.1--Innodb自适应哈希索引
InnoDB 自适应哈希索引是一种智能、自动化的性能优化工具，尤其适合读多写少、等值查询密集的场景。通过动态构建内存哈希表，它显著降低了查询延迟，但需权衡内存使用和维护开销。合理配置和监控是发挥其优势的关键。
2025-04-11 14:37:01
507
原创 MySQL--基础知识点--81.3--TRIGGER
是 MySQL 中一种与表事件绑定的特殊存储过程，当特定事件（如INSERTUPDATEDELETE）发生在某个表上时，触发器会自动执行预定义的 SQL 逻辑。
2025-04-10 15:14:33
556
jupyter-start-stop.sh
2021-02-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人