[报错] [Ubuntu] [Python] MemoryError: Unable to allocate array with shape (x, x) and data type float64

本文介绍在Ubuntu18.04LTS环境下,使用Python3.6时遇到MemoryError的问题,当尝试创建一个形状为[430949,430949]的稀疏矩阵时,系统因过大的内存需求而阻止创建。文章提供了解决方案,包括检查和修改系统的内存过载处理模式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

错误信息
MemoryError: Unable to allocate array with shape (430949, 430949) and data type float64
系统环境
Ubuntu 18.04 LTS
Python 3.6
原因分析
据传 [1] 是因为触发了系统的 overcommit handing 模式。

事情是这样的,我打算生成一个形状为[430949, 430949]的稀疏矩阵,结果就报了上述错误。大致是因为这个矩阵似乎要占用的空间太大,所以系统就提前禁止创建了。实际上是用不了那么多内存的(稀疏矩阵)。

解决办法
首先检查系统的内存过载处理模式
$ cat /proc/sys/vm/overcommit_memory
不出意外的话结果应该是0
然后切换到 root 用户(否则权限不够)
$ sudo passwd root
然后输入当前用户密码,再给 root 设定一个新密码,再切换到 root:
$su root
你会发现$变成了#
现在我们拥有了 root 权限,输入下面的命令将内存过载处理模式更改为1:
$ echo 1 > /proc/sys/vm/overcommit_memory
然后不出意外的话,就可以成功创建该矩阵啦!
Reference
Iguananaut. (August 15, 2019). Unable to allocate array with shape and data type. Retrieved from https://stackoverflow.com/questions/57507832/unable-to-allocate-array-with-shape-and-data-type
BigCabbageFy. (March 9, 2018). ubuntu下无法在根目录创建文件夹;permission denied 权限不足问题解决方法. Retrieved from https://blog.csdn.net/bigcabbagefy/article/details/79500090


原文链接:https://blog.csdn.net/xovee/article/details/101077022

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值