把买硬盘的钱省下来吧...

面对2020年全球数据使用量预计达到35ZB的挑战,本文探讨了如何通过优化数据存储来降低成本的方法,包括数据清洗、压缩、减少冗余以及提高硬盘利用率等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

[size=medium]
这几天看到一篇文章说,到2020年,全球的数据使用量预计将达到35ZB,也就是近400亿个1T硬盘的总量。这还不把我们低效的硬盘利用率计算在内。我也Google了下,今年全球硬盘预计总出货量才8亿块。同时Facebook说用户平均每天上传近2.5亿张照片... 呵呵,这个世界太疯狂,硬盘生产得有多大的增长幅度才能满足这么多宅男宅女的需求呢?

只要有数据存储的需求,总有人会尽力地满足。但从个人或公司的角度来看,买硬盘也得花钱呀。该想想有什么办法花更少的钱了...

我见过的大数据有:视频、图片、服务器日志和用户行为日志。从它们的特点来看:1.冗余度。这些数据可能存储在你我的硬盘上,也存储在网站的服务器硬盘上;2. 生命周期。数据也有生命周期,有些数据现在已经没有价值了。如果按占用空间的比例来分,我觉着视频占用的比例很大,且视频的冗余度很高。而像图片或日志,特点是数据量庞大但冗余度不高。

根据这些数据的特征,下面列出我自己对优化的愚见:
[b]清洗现有数据[/b]
[color=blue]删除无用数据[/color]
这些数据就不应该存在的,比如像误操作产生临时文件,多按了下Ctrl-V等
[color=blue]删除过期数据[/color]
数据是有生命周期的。当数据对我们不再有价值后,就应当删除它们。比如很久前的服务器日志,拍的不好照片等

[b]减小数据本身容量[/b]
[color=blue]数据压缩[/color]
更有效的数据压缩算法。
[color=blue]格式精减[/color]
视频和照片中含有很多格式自身的元数据,希望有更优化的编码技术,减少这些元数据。

[b]减少冗余数据[/b]
[color=blue]删除冗余幅本[/color]
就想想我们电脑中的这些电影,还存在着多少个幅本呢。从全局的角度来看,就应该尽量减少这些幅本的存在。
[color=blue]数据共享[/color]
删除了那些电影让我怎么办?把冗余的数据放置到共享的存储上,比如小区的数据服务器,比如CDN上。

[b]提高现有硬盘利用率[/b]
现在我们的硬盘都没有充分利用,这对于公司或个人是很大的浪费。提高现有硬盘的空间利用率,对我们有现实意义。当然有些大公司还是很精的,用他们服务器硬盘的剩余空间,对外提供“云存储”服务,很佩服。

[b]更廉价高效的存储设备[/b]
还是希望硬盘能更便宜,存取速度更快些。

现在硬盘对公司来说很便宜,但你硬盘总得有地方放吧,建立数据中心不花钱么?所以说,能不增加硬盘就不要增加,把省出来的钱多给员工涨工资吧。

[/size]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值