如何把MongoDB作为循环队列

栏目: 数据库 · 发布时间: 6年前

内容简介：我们在使用MongoDB的时候，一个集合里面能放多少数据，一般取决于硬盘大小，只要硬盘足够大，那么我们可以无休止地往里面添加数据。然后，有些时候，我只想把MongoDB作为一个循环队列来使用，期望它有这样一个行为：MongoDB有一种Collection叫做

我们在使用 MongoDB 的时候，一个集合里面能放多少数据，一般取决于硬盘大小，只要硬盘足够大，那么我们可以无休止地往里面添加数据。

然后，有些时候，我只想把MongoDB作为一个循环队列来使用，期望它有这样一个行为：

设定队列的长度为10
插入第1条数据，它被放在第1个位置
插入第2条数据，它被放在第2个位置
...
插入第10条数据，它被放在第10个位置
插入第11条数据，它被放在第1个位置，覆盖原来的内容
插入第12条数据，它被放在第2个位置，覆盖原来的内容
...

MongoDB有一种Collection叫做 capped collection ，就是为了实现这个目的而设计的。

普通的Collection不需要提前创建，只要往MongoDB里面插入数据，MongoDB自动就会创建。而 capped collection 需要提前定义一个集合为 capped 类型。

语法如下：

import pymongo

conn = pymongo.MongoClient()
db = conn.test_capped

db.create_collection('info', capped=True, size=1024 * 1024 * 10, max=5)
复制代码

对一个数据库对象使用 create_collection 方法，创建集合，其中参数 capped=True 说明这是一个 capped collection ，并限定它的大小为10MB，这里的 size 参数的单位是byte，所以10MB就是1024 * 1024 * 10. max=5 表示这个集合最多只有5条数据，一旦超过5条，就会从头开始覆盖。

创建好以后， capped collection 的插入操作和查询操作就和普通的集合完全一样了：

col = db.info
for i in range(5):
    data = {'index': i, 'name': 'test'}
    col.insert_one(data)
复制代码

这里我插入了5条数据，效果如下图所示：

其中，index为0的这一条是最先插入的。

接下来，我再插入一条数据：

data = {'index': 100, 'name': 'xxx'}
col.insert_one(data)
复制代码

此时数据库如下图所示：

可以看到，index为0的数据已经被最新的数据覆盖了。

我们再插入一条数据看看：

data = {'index': 999, 'name': 'xxx'}
col.insert_one(data)
复制代码

运行效果如下图所示：

可以看到，index为1的数据也被覆盖了。

这样我们就实现了一个循环队列。

MongoDB对 capped collection 有特别的优化，所以它的读写速度比普通的集合快。

但是 capped collection 也有一些缺点，在MongoDB的官方文档中提到：

If an update or a replacement operation changes the document size, the operation will fail.

You cannot delete documents from a capped collection. To remove all documents from a collection, use the drop() method to drop the collection and recreate the capped collection.

意思就是说， capped collection 里面的每一条记录，可以更新，但是更新不能改变记录的大小，否则更新就会失败。

不能单独删除 capped collection 中任何一条记录，只能整体删除整个集合然后重建。

如果这篇文章对你有帮助，请关注我的微信公众号：未闻Code(ID: itskingname)，第一时间获的最新更新：