weixin_40455124的博客

摘要：本文探讨了分布式系统中节点通信的三种优化模式：1) 单套接字通道，通过持久化的单一连接确保消息有序传递，并配合心跳检测维持连接活跃；2) 请求批处理，通过聚合小数据量请求降低网络开销，需动态调整批次大小（如Kafka默认16KB）并设置等待时间阈值；3) 请求流水线，采用发送/接收双线程提升吞吐量，但需处理服务端过载和乱序请求问题（如Raft通过日志索引匹配机制实现请求校验）。这些方法在保证可靠性的同时，显著优化了延迟和吞吐量。（149字）

文章摘要： 本文探讨了集群管理的核心模式，包括一致性核心（Consistent Core）、租约机制（Lease）和状态监控（State Watch）。一致性核心通过3-5个节点的小集群提供线性化保证，管理元数据和集群决策。租约机制利用一致性核心实现容错，通过心跳机制更新租约时间，并处理节点故障。状态监控允许客户端注册对特定状态变化的兴趣，减少服务器连接压力，但需注意连接故障和事件丢失问题。文中还区分了单调时钟时间和挂钟时间的不同用途及限制。

分布式系统中的时间模式（逻辑时间戳） Lamport时钟：解决跨服务器时间戳不可比问题，通过单调递增的数字维护因果关系，但只能提供偏序关系，无法比较不同服务器的独立事件。 混合时钟：结合系统时间和逻辑计数器，既保持单调性又关联实际时间，适用于版本化存储（如MongoDB、CockroachDB），支持分布式事务的时间戳协调。 时钟边界等待：解决时钟漂移导致的读取过时数据问题，通过延迟读写确保节点时钟同步，并采用读取重启机制处理时钟滞后问题。云服务商通过原子钟等技术将时钟漂移控制在毫秒级。 这些模式在保证分布

摘要：分布式数据存储与事务处理策略 本文介绍了三种分布式数据存储和事务处理的关键技术： 固定分区：通过哈希函数将数据映射到逻辑分区，再分配到集群节点，实现均匀分布和快速查询。新增节点时只需移动少量数据，并采用协调节点跟踪分区映射关系。 键范围分区：针对范围查询场景，采用有序键分区策略。支持预定义键范围和自动分区拆分，基于负载指标（请求数、CPU/内存使用率）动态调整分区大小。 两阶段提交：解决分布式事务一致性问题，包含准备阶段（节点承诺执行）和提交阶段（实际执行）。采用预写日志保证持久性，提供多种锁策略（错

摘要： 本文探讨了数据复制中的关键技术模式。首先介绍了Write-Ahead Log（WAL）机制，它通过顺序追加日志确保数据持久性，并讨论了日志管理、校验和性能优化策略。其次讲解Segmented Log和Low-Water Mark技术，前者将大日志分割为多个文件，后者通过设置最低偏移量来安全清理旧日志。在集群管理方面，重点分析了Leader-Follower架构及其选举机制（包括Zab和Raft算法），以及心跳检测在故障发现中的应用。文章还指出多数读写（Quorum）不足以提供强一致性保证，并比较了不

分布式系统数据一致性模式综述 本文系统介绍了分布式系统中确保数据一致性的关键模式。在单服务器场景下，预写日志(WAL)保障数据持久性；多节点环境中，领导者-跟随者模式通过心跳检测维持可用性，多数派仲裁机制确保日志复制可靠性。高水位标记(High-Water Mark)机制有效跟踪可提交日志位置，而单更新队列和幂等性设计提升了系统吞吐量。分区技术通过合理的数据分布和复制策略（通常3或5副本）实现横向扩展，两阶段提交协议维护跨分区一致性。时间排序方面，Lamport时钟和混合时钟替代系统时间戳，解决了分布式环境

nginx配置示意如下。

1.Service granularity Don’t go with the hype; correspond to a real business capability. When designing complex applications using microservice architecture,we’re looking to define a set ofcohesive and loosely-coupled services.we found that defining micros

【代码】Composable architecture 笔记。

第二个趋势是，对于一些小中型客户来说，Higress对于一些简单的4层路由和7层简单路由可能足够了，但对于一些中大型客户来说，他们可能对于复杂的API管理和路由有更多需求，未来可能会朝这个方向发展;在网关的标准方面，我最近在研究时发现，有三个标准，分别是协议标准（HTTP加RESTFUL），文档标准（Swagger），以及路由标准（Kubernetes Ingress / Gateway API）。量的测试案例代码，包括单元测试、E2E测试、混沌测试，以及一些基准测试等，从而保证APISIX具备高可用性。

InfoQ：最近谷歌开源了Service Weaver，谷歌称此框架为模块化单体（modular monolith），称其能兼顾单体应用的开发速度，以及微服务的可扩展性、安全性和容错性。InfoQ：您的论文“On the Definition of Microservice Bad Smells”涉及非常多的微服务不良做法，但如果要用几个大类别来列举危害性比较大的微服务反模式，您认为会是哪几类？考虑到架构迁移的成本和影响，雇佣有经验的咨询顾问是很明智的。你的需求，你的组织结构，以及公司开发者的经验。

OpenTelemetry旨在管理观测类数据，如trace、metrics、logs等（非固定未来很可能 有新的观测类数据类型出现）。结构导致我们很难以用统一的方案建立数据关联。Log、Trace、Metric是传统的稳定性解决方案，每一种解决方案都有多种不同的开源或商业软件可以支撑，问题是每个产品都有自己一套数据采集标准和SDK，异构的数据。为了更好的将Traces、Metrics和Logs融合在一起，通过合并OpenTracing和OpenCensus这两个标准，诞生了OpenTelemetry。

法则四：无法观测的系统将带来无法估量的成本:尽管实现可观测性需要投入，但这笔钱绝对会物有所值。法则五：依托成本感知架构实现成本控制:不同的组件一定要有相应的工具来掌控，来操纵这些内容的程式，同时来调试它的矩阵和性能，要能做到随时随地想打开哪些组件就能打开它们，想关上的时。Werner在他的演讲中强调：“技术的发展非常迅速，我们必须持续学习，深入了解我们的想法所在，并放下自尊心，认真思考成本问题。正如Werner强调的：“你要很确定，我们业务基础设施扩展的方式，能让成本成长低于销售收入的增长。

SALESFORCE MODEL 简单记录，在以下地址可以看到一些salesforce的模型资料。

ar account responsibility 客户经理，负责对客户满意度负责，整体规划、经营指标达成，市场竞争第一责任人。fr full responsibility 交付管理和订单履行经理，面对交付，交付第一负责人，对回款关键环节负责（验收报告）。也就是 LTC 流程，主要是从接收到销售线索开始到将产品或服务交付给客户，让客户满意并完成货款回收为止；具体是指 MTL 流程，主要是从捕捉到客户购买需求开始，一直到成功打动客户产生销售线索为止；- 知乎 (zhihu.com)第二个是从市场到线索。

确保消息在server 出现问题或者recovery能恢复： declare it as durable in the producer and consumer code.

Technology Strategy Patterns 汇总图

Communicating the Strategy-Decks of Technology Strategy Patterns

5.1 引用业界的技术雷达即可，自己创建雷达的可能性比较小（行业特殊技术才可能）7.2 Characteristic-可以再分解进行子项评估。6.1 可以参考DDD的核心、支撑和通用域。7.3 legend -分类。4.2 评定优先级的参考项。

Technology Strategy Patterns-Communicating the Strategy-Approach Patterns

Invest: We have a nascent(新兴) activity here that may have strong roots or certain strong practices and potential, and we would realize gains if we focused and grew the capability.3.5 这里的流程不是系统的业务流程，而是为实现战略的各种内部各种流程。注意可以是多种维度的APM ，不仅仅是这个图例，可以看参考URL。

7.1 这个不是常见的商业投资分析，而是分析计划技术事情的可行性和重要性，也属于roadmap类分析。1.5.1 建立10-30的清单，用于创建RACI和Stakeholder matrix。1.5.2 除了每个人的title、联系方式，还要有Influence和impact。1、使用表格列出所有ideas,包括但不现有新产品、新技术、架构演进、现有产品增强。2、从以下几个方面打分： 实现困难度、现状/准备情况、客户和市场接受度。4、和团体一起讨论相关roadmap、预算、优先级。6.1 作者发明的？

1.2.1 S优势（Strengths）、W劣势（Weaknesses）、O机会（Opportunities）、T威胁（Threats）The general propensity to substitute-一般替代倾向: 谁会负责选择替代品，或者通过什么方式寻找替代品。新企业进入一个行业的可能性大小，取决于进入者主观估计进入所能带来的潜在利益、所需花费的代价与所要承担的风险这三者的相对大小情况。2.6 Industry Rivalry-行业竞争。

2.3.2 Look for the weak but plausible（在这本书里含义是合理） signals you hear from them. Then use inductive reasoning to forecast each of the weak signal’s impacts.3.7 可以使用SWOT和five forces pattern 来建立futures funnel。1.1 从6个方案看外部。2.3 穷人版 情景规划。

The role of the architect is to see where those challenges may lurk（隐伏）, seek to make them explicit, and make value judgments about how to balance the solutions and the new problems they occasion, under the guidance of the broader business strategy。

https://www.woshipm.com/pd/5494402.html的学习笔记。

产品运营角色，工具赋能给运营。中台系统建设之“屏障”思维。

cola 是来自张建飞（Frank）的偏实现的技术架构，里面的业务身份和扩展点也被MEAF引用，cola本身由java 实现、但其实可以是一种企业通用的技术架构。

ThoughtWorks MEAF 技术架构读书笔记

ThoughtWorks MEAF 应用架构读书笔记

thoughtworks MEAF应用架构读书笔记

MEAF 业务架构读书笔记

Overall: meaf的核心是业务及应用架构，数据架构和技术架构相对比较薄弱。也可以说是togaf思想的一种简化、优化。注意下图的架构决策其实是一种方法论。

个人easy rule学习总结

batch 每次run都需要获取数据库信息，因此数据库连接池会限制总的并发数量，因此高并发需要考虑好连接或者不保存到数据库。springbatch 不保存数据到数据库方式如下。

这种模式可以传一个ExecutionContext给不同partition，可以用于各个partition控制自己的读取，而模式一需要自行控制避免重复。startLimit为启动数量，throttleLimit为总量。这种模式多并发需要自行在代码控制每个并发处理数据不重复。分区Partitioner 代码。

可以发现是根据input parameter 生成md5 作为key的，因此反查job 参数，保持每个job 实例参数唯一即可，如果业务上无法保持一次，增加一个uuid作为附加参数即可。起因是BATCH_JOB_INSTANCE insert 出现dead lock 失败，insert 出现dead lock 比较少见，觉得应该是key 有问题。可以发现instance id是唯一增长，冲突的可能就是job_key。查看代码 DefaultJobKeyGenerator。

修改后janusgraph-server的resource目录如下（ext是否需要未测试，直接复制了full里面的ext及scripts目录）注意gremlin.remote.driver.sourceName 和globals

MIB 本质就是OID TREE，在generate 前需要保障tree 所有OID的定义都在环境变量MIBDIRS 指定的目录下，需要注意generator不会读取子目录。如果OID 定义不全，会出现类似如下错误OID定义下载及查找snmptranslate查看OID对应信息等，参考 https://net-snmp.sourceforge.io/tutorial/tutorial-5/commands/snmptranslate.html,注意使用前要修改好snmp.confDUMP可以通过

1、sftpgo通过https://gocloud.dev/howto/pubsub/ 实现消息发送，2、考虑到minio 配置修改需要restart，因此可以在kafka 模式外适当考虑一下其它通知模式。3、kafka 接收sftpgo及minio event，承载pubsub。1、sftpgo 负责提供sftp能力。2、minio 负责共享存储。4、db 保存配置数据。