使用RabbitMQ实现高可用延迟任务框架之基础:RabbitMQ基础概念

本文探讨使用RabbitMQ作为高可用的延迟任务框架的原因,对比ScheduledThreadPoolExecutor和数据库方案,详细介绍了RabbitMQ的基本概念,包括ConnectionFactory、Connection、Channel、Exchange、BindingKey、RoutingKey和Queue等核心组件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

   今天,我们将一步一步的讲解如何使用rabbitMQ实现高可用的延迟任务框架,先说一下为什么要使用MQ来实现延迟任务框架,而不是使用其它的组件?

一、组件选型:

  在其他的博客中,经常讲到使用java内部的ScheduledThreadPoolExecutor,之前我也做过其源码剖析,博客地址为 Java并发编程之ScheduledThreadPoolExecutor源码剖析 ,但是这样有一个显而易见的缺点,就是如果重启了之后,内存的队列的数据即被清空,定时任务就消失了!这在生产环境是无法容忍的,那么使用数据库?定时去刷?太复杂,所以,是否有一种组件,我将消息投递给它的时候,同时给它一个延迟时间,时间到之后它会自动推给我呢?且这个消息不会因组件重启而消失,即可以持久化,那MQ的延迟队列就正好满足这个需求。下面介绍一下RabbitMQ中的基本概念。

 

二、RabbitMQ介绍:

  RabbitMQ是AMQP(Advanced Message Queuing Protocol,高级消息队列协议)的开源实现,服务端使用Erlang语言编写用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。下面简单的介绍一下RabbitMQ:

  1、ConnectionFactory、Connection、Channel:

   通过TCP去操作RabbitMQ时是先要获取连接的,获取连接的类即为ConnectionFactory,类似于jdbc中的DataSource,而获取到的连接即为Connection类,负责传递命令与监听RabbitMQ队列中的消息。而当我们需要操作RabbitMQ时,则需要从Connection中获取到Channel,Channel封装了操作RabbitMQ的大部分操作,比如声明交换器、队列、绑定队列、监听等一系列的操作。

  2、Exchange:

  交换器,在AMOP中,生产者不能直接将消息传递给队列queue,只能将消息传递给交换器,然后交换器再根据指定的规则路由给绑定的queue。

  3、BindingKey、RoutingKey:

  当Exchange与Queue进行绑定时,需要指定一个BindingKey,而生产者发送消息给Exchange时,需要指定这个消息的RoutingKey。

  4、Exchange Type:

  Exchange Type分为fanout、direct、topic、headers这四种基本类型,简单的讲一下fanout、direct这两种类型,fanout是只要与此Exchange绑定的queue,不管routingKey是多少,消息全部路由。而direct是只有当传入Exchange消息的RoutingKey与Exchange绑定的queue中的BindingKey相同的时候,才会路由至对应的queue中。

  5、Queue:

  队列,即存储消息的队列,消费者可以通过主动获取或者监听的方式从队列中获取到消息。

  

### 使用Transformer模型进行图像分类的方法 #### 方法概述 为了使Transformer能够应用于图像分类任务,一种有效的方式是将图像分割成固定大小的小块(patches),这些小块被线性映射为向量,并加上位置编码以保留空间信息[^2]。 #### 数据预处理 在准备输入数据的过程中,原始图片会被切分成多个不重叠的patch。假设一张尺寸为\(H \times W\)的RGB图像是要处理的对象,则可以按照设定好的宽度和高度参数来划分该图像。例如,对于分辨率为\(224\times 224\)像素的图像,如果选择每边切成16个部分的话,那么最终会得到\((224/16)^2=196\)个小方格作为单独的特征表示单元。之后,每一个这样的补丁都会通过一个简单的全连接层转换成为维度固定的嵌入向量。 ```python import torch from torchvision import transforms def preprocess_image(image_path, patch_size=16): transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), # 假设目标分辨率是224x224 transforms.ToTensor(), ]) image = Image.open(image_path).convert('RGB') tensor = transform(image) patches = [] for i in range(tensor.shape[-2] // patch_size): # 高度方向上的循环 row_patches = [] for j in range(tensor.shape[-1] // patch_size): # 宽度方向上的循环 patch = tensor[:, :, i*patch_size:(i+1)*patch_size, j*patch_size:(j+1)*patch_size].flatten() row_patches.append(patch) patches.extend(row_patches) return torch.stack(patches) ``` #### 构建Transformer架构 构建Vision Transformer (ViT),通常包括以下几个组成部分: - **Patch Embedding Layer**: 将每个图像块转化为低维向量; - **Positional Encoding Layer**: 添加绝对或相对位置信息给上述获得的向量序列; - **Multiple Layers of Self-Attention and Feed Forward Networks**: 多层自注意机制与前馈神经网络交替堆叠而成的核心模块; 最后,在顶层附加一个全局平均池化层(Global Average Pooling)以及一个多类别Softmax回归器用于预测类标签。 ```python class VisionTransformer(nn.Module): def __init__(self, num_classes=1000, embed_dim=768, depth=12, num_heads=12, mlp_ratio=4., qkv_bias=False, drop_rate=0.): super().__init__() self.patch_embed = PatchEmbed(embed_dim=embed_dim) self.pos_embed = nn.Parameter(torch.zeros(1, self.patch_embed.num_patches + 1, embed_dim)) self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim)) dpr = [drop_rate for _ in range(depth)] self.blocks = nn.Sequential(*[ Block( dim=embed_dim, num_heads=num_heads, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, drop=dpr[i], ) for i in range(depth)]) self.norm = nn.LayerNorm(embed_dim) self.head = nn.Linear(embed_dim, num_classes) def forward(self, x): B = x.shape[0] cls_tokens = self.cls_token.expand(B, -1, -1) x = self.patch_embed(x) x = torch.cat((cls_tokens, x), dim=1) x += self.pos_embed x = self.blocks(x) x = self.norm(x) return self.head(x[:, 0]) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值