numpy存储特征：消耗内存和计算速度测试

范德彪陕西分彪

于 2021-10-24 15:05:23 发布

阅读量404

点赞数

CC 4.0 BY-SA版权

分类专栏： pytorch学习文章标签： 1024程序员节

本文链接：https://blog.csdn.net/weixin_46815330/article/details/120931648

pytorch学习专栏收录该内容

138 篇文章

订阅专栏

这篇博客探讨了在大规模数据中，计算汉明距离与欧氏距离的时间效率。通过创建10w*512的浮点数矩阵和10*512的int8矩阵，实验结果显示，汉明距离的计算时间明显长于欧氏距离。对于100次运算，汉明距离耗时约32.6秒，而欧氏距离则为5.97秒。这表明在大尺寸矩阵中，欧氏距离的计算更为高效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

创建一个10w * 512 的浮点数矩阵，和一个10 * 512 的int8矩阵。

import numpy as np
m = np.random.rand(100000, 512)
np.save("data/feature/512.npy", m)

n = np.ones((3, 3),dtype = "int8")
np.save("data/feature/hash512.npy", n)

在这里插入图片描述

首先测试一下汉明距离计算速度
矩阵大小:100000 * 512
feature:1 * 512

import time
start = time.time()
for i in range(100):
    d = distance.cdist(n,a,metric = 'hamming')
end = time.time()
print("cost time:{}".format(end - start))

cost time:32.6211576461792

如果是一次的话大约花费0.2s

我佛了，汉明距离计算时间比欧氏距离慢。。。。。。。。。。。。。。。。尬住了

import numpy as np
from scipy.spatial import distance

m = np.random.rand(100000, 512)
#np.save("data/feature/hash512.npy", n)
n = np.random.rand(1, 512)

import time
start = time.time()
for i in range(100):
    d = distance.cdist(m, n,metric = "euclidean")
    print(d)
end = time.time()
print("cost time:{}".format(start - end))