mysql 透明代理_透明代理MySQL_基于zbus的MySQL透明代理(<100行)-云栖社区-阿里云...

本文介绍如何使用zbus.NET实现MySQL服务器的透明代理。通过个性化IoAdaptor,仅需约100行代码即可完成透明代理服务,实现客户端访问代理与直接访问MySQL服务器无差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我们上次讲到zbus网络通讯的核心API:

Dispatcher -- 负责-NIO网络事件Selector引擎的管理,对Selector引擎负载均衡

IoAdaptor -- 网络事件的处理,服务器与客户端共用,负责读写,消息分包组包等

Session -- 代表网络链接,可以读写消息

实际的应用,我们几乎只需要做IoAdaptor的个性化实现就能完成高效的网络通讯服务,今天我们将举例说明如何个性化这个IoAdaptor。

我们今天要完成的目标是:实现MySQL服务器的透明代理。效果是,你访问代理服务器跟访问目标MySQL无差异。

我们在测试环境10.17.2.30:3306 这台机器上提供了MySql,在我们本地机器上跑起来我们今天基于zbus.NET实现的一个代理程序,就能达到下面的效果。

605c04761c77bfc5b99f9956b523f63f.png

d0721a3c7f1223c97aecd06359bdc878.png

完成大概不到100 行的代码, Cool?Let’s roll!

首先,我们思考透明TCP代理到底在干啥,透明的TCP代理的业务逻辑其实非常简单,可以描述为,将来自代理上游(发起请求到代理)的数据转发到目标TCP服务器,把目标服务器回来的数据原路返回代理上游客户端。 注意这个原路,如何做到原路返回成为关键点。这个示例其实跟MySQL没有任何关系,原则上任何TCP层面的服务都应该适配。

基于zbus.NET怎么来将上面的逻辑在体现出来,也就是如何个性化IoAdaptor?直观的讲,我们要处理的几个事件应该包括:1)从上游客户端发起的链接请求--代理服务器的Accept事件,2)代理服务器连接目标服务器的Connect事件,3)上下游的数据事件onMessage。

zbus.NET的IoAdaptor提供的个性化事件如下

b16489536b669332286f365e4028498c.png

基本包括一个链接(客户端或者服务端)的生命周期,与消息的编解码。

我们的代理IoAdaptor就是逐一个性化处理。

第一步,编解码: 透明代理对消息内容不做理解,所以不需要编解码。

// 透传不需要编解码,简单返回ByteBuffer数据

public IoBuffer encode(Object msg) {

if (msg instanceof IoBuffer) {

IoBuffer buff = (IoBuffer) msg;

return buff;

} else {

throw new RuntimeException("Message Not Support");

}

}

// 透传不需要编解码,简单返回ByteBuffer数据

public Object decode(IoBuffer buff) {

if (buff.remaining() > 0) {

byte[] data = new byte[buff.remaining()];

buff.readBytes(data);

return IoBuffer.wrap(data);

} else {

return null;

}

}

第二步,代理服务接入:

@Override

protected void onSessionAccepted(Session sess) throws IOException {

Session target = null;

Dispatcher dispatcher = sess.getDispatcher();

try {

target = dispatcher.createClientSession(targetAddress, this);

} catch (Exception e) {

sess.asyncClose();

return;

}

sess.chain = target;

target.chain = sess;

dispatcher.registerSession(SelectionKey.OP_CONNECT, target);

}

这里的逻辑思路是,代理服务器每接受到一个请求--通过onSessionAccepted表达,我们将同时创建一个到目标服务器的链接,今天的例子是目标MySQL服务器,注意上面的处理中把创建目标服务器Session过程与真正链接到目标服务分开(Dispatcher也提供合并二者的工具方法),是为了能在没有发生链接之前绑定上好上下游关系,通过Session的chain变量来表达,也就是当前Session的关联Session,关联好之后启动感兴趣Connect事件,逻辑处理完毕。

第三步,链接成功事件(第二步中需要链接到目标服务器)

@Override

public void onSessionConnected(Session sess) throws IOException {

Session chain = sess.chain;

if(chain == null){

sess.asyncClose();

return;

}

if(sess.isActive() && chain.isActive()){

sess.register(SelectionKey.OP_READ);

chain.register(SelectionKey.OP_READ);

}

}

这里的一个核心是当上下游都处于链接正常态,上下游Session都启动感兴趣消息读事件(写事件是在读取处理中自动触发),为什么在这里做的原因是一定要等上下游都正常态后才启动双方消息处理,不然会出现字节丢失。

第四步,处理上下游数据事件

@Override

protected void onMessage(Object msg, Session sess) throws IOException {

Session chain = sess.chain;

if(chain == null){

sess.asyncClose();

return;

}

chain.write(msg);

}

是不是非常简单,类似pipeline,从一端的数据写到另外一端。

原则上面4步结束,整个透明代理就完成了,但是为了处理链接异常清理,我们增加了Session清理处理,如下

@Override

public void onSessionToDestroy(Session sess) throws IOException {

try {

sess.close();

} catch (IOException e) { //ignore

}

if (sess.chain == null) return;

try {

sess.chain.close();

sess.chain.chain = null;

sess.chain = null;

} catch (IOException e) {

}

}

工作就是解决上下游链接清理链接。

至此为止我们的IoAdaptor个性化就完成了,是不是非常简单,现在我们要跑起来测试了,下面的代码就是上一次讲到重复的设置,没有新意。

public static void main(String[] args) throws Exception {

Dispatcher dispatcher = new Dispatcher();

IoAdaptor ioAdaptor = new TcpProxyAdaptor("10.17.2.30:3306");

final Server server = new Server(dispatcher, ioAdaptor, 3306);

server.start();

}

骚年,包括渣渣import和少许注释加起来折腾了不到100行,该跑一跑了,还是那句话,不是HelloWorld,你可以规模压力测。看看你是否在本地代理出来了你的目标服务MySQL,gl,hf, gogogo.

完整代码可运行代码如下,也可直接到zbus示例代码库中找到

package org.zbus.net;

import java.io.IOException;

import java.nio.channels.SelectionKey;

import org.zbus.net.core.Dispatcher;

import org.zbus.net.core.IoAdaptor;

import org.zbus.net.core.IoBuffer;

import org.zbus.net.core.Session;

public class TcpProxyAdaptor extends IoAdaptor {

private String targetAddress;

public TcpProxyAdaptor(String targetAddress) {

this.targetAddress = targetAddress;

}

// 透传不需要编解码,简单返回ByteBuffer数据

public IoBuffer encode(Object msg) {

if (msg instanceof IoBuffer) {

IoBuffer buff = (IoBuffer) msg;

return buff;

} else {

throw new RuntimeException("Message Not Support");

}

}

// 透传不需要编解码,简单返回ByteBuffer数据

public Object decode(IoBuffer buff) {

if (buff.remaining() > 0) {

byte[] data = new byte[buff.remaining()];

buff.readBytes(data);

return IoBuffer.wrap(data);

} else {

return null;

}

}

@Override

protected void onSessionAccepted(Session sess) throws IOException {

Session target = null;

Dispatcher dispatcher = sess.getDispatcher();

try {

target = dispatcher.createClientSession(targetAddress, this);

} catch (Exception e) {

sess.asyncClose();

return;

}

sess.chain = target;

target.chain = sess;

dispatcher.registerSession(SelectionKey.OP_CONNECT, target);

}

@Override

public void onSessionConnected(Session sess) throws IOException {

Session chain = sess.chain;

if(chain == null){

sess.asyncClose();

return;

}

if(sess.isActive() && chain.isActive()){

sess.register(SelectionKey.OP_READ);

chain.register(SelectionKey.OP_READ);

}

}

@Override

protected void onMessage(Object msg, Session sess) throws IOException {

Session chain = sess.chain;

if(chain == null){

sess.asyncClose();

return;

}

chain.write(msg);

}

@Override

public void onSessionToDestroy(Session sess) throws IOException {

try {

sess.close();

} catch (IOException e) { //ignore

}

if (sess.chain == null) return;

try {

sess.chain.close();

sess.chain.chain = null;

sess.chain = null;

} catch (IOException e) {

}

}

@SuppressWarnings("resource")

public static void main(String[] args) throws Exception {

Dispatcher dispatcher = new Dispatcher();

IoAdaptor ioAdaptor = new TcpProxyAdaptor("10.17.2.30:3306");

final Server server = new Server(dispatcher, ioAdaptor, 3306);

server.setServerName("TcpProxyServer");

server.start();

}

}

zbus核心是一个独立实现的小巧极速的消息队列(MQ),支持持久化与内存队列, 支持单播、广播、组播等多种消息通信模式;在MQ之上zbus完备地支持了RPC服务,RPC支持独立伺服,基于总线两种模式;同时zbus支持代理服务,基于MQ的HttpProxy实现了类Nginx的HTTP代理服务(支持DMZ网络结构),TcpProxy则支持透明的TCP协议代理,可以代理任何基于TCP的协议,比如代理MySQL数据库。 zbus内建分布式高可用(HA),解决单点问题;Java/.NET/JS/C++/PHP等主流语言接入能力为zbus充当SOA服务总线提供跨平台支持; 在设计上,zbus拥抱KISS准则,所有特性浓缩在一个小小的400K左右的jar包中(非常少的依赖);轻量,MQ核心,方便二次开发,zbus为微服务架构、系统整合、弹性计算、消息推送等场景提供开箱即用的功能支持。 ZBUS主要特性: 1、高速磁盘/内存MQ,支持单播,广播,组播,订阅多种消息模式 2、RPC开箱即用,支持同步异步,动态类代理 3、多语言客户端,Java/.NET/JavaScript/PHP/Python/C++/Go(服务器) 4、轻量级,发大小 ~3M, 核心 ~400K, 极少依赖 5、高可用无应用故障单点,分布式高可用的内置支持 6、简洁的协议设计,类HTTP头部扩展协议,长短连接,WebSocket支持 7、内置监控,不断丰富的监控指标 ZBUS以轻量弹性著称,目前已知的应用主要分布在证券金融业,在各大券商内部使用,因为开源同时也有不少二次开发定制的项目存在。 ZBUS可以有多种工作角色: 1、MQ服务器 2、RPC服务器 3、Proxy HTTP/TCP代理 4、服务标准化总线服务器
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值