[size=medium]
这几天看到一篇文章说,到2020年,全球的数据使用量预计将达到35ZB,也就是近400亿个1T硬盘的总量。这还不把我们低效的硬盘利用率计算在内。我也Google了下,今年全球硬盘预计总出货量才8亿块。同时Facebook说用户平均每天上传近2.5亿张照片... 呵呵,这个世界太疯狂,硬盘生产得有多大的增长幅度才能满足这么多宅男宅女的需求呢?
只要有数据存储的需求,总有人会尽力地满足。但从个人或公司的角度来看,买硬盘也得花钱呀。该想想有什么办法花更少的钱了...
我见过的大数据有:视频、图片、服务器日志和用户行为日志。从它们的特点来看:1.冗余度。这些数据可能存储在你我的硬盘上,也存储在网站的服务器硬盘上;2. 生命周期。数据也有生命周期,有些数据现在已经没有价值了。如果按占用空间的比例来分,我觉着视频占用的比例很大,且视频的冗余度很高。而像图片或日志,特点是数据量庞大但冗余度不高。
根据这些数据的特征,下面列出我自己对优化的愚见:
[b]清洗现有数据[/b]
[color=blue]删除无用数据[/color]
这些数据就不应该存在的,比如像误操作产生临时文件,多按了下Ctrl-V等
[color=blue]删除过期数据[/color]
数据是有生命周期的。当数据对我们不再有价值后,就应当删除它们。比如很久前的服务器日志,拍的不好照片等
[b]减小数据本身容量[/b]
[color=blue]数据压缩[/color]
更有效的数据压缩算法。
[color=blue]格式精减[/color]
视频和照片中含有很多格式自身的元数据,希望有更优化的编码技术,减少这些元数据。
[b]减少冗余数据[/b]
[color=blue]删除冗余幅本[/color]
就想想我们电脑中的这些电影,还存在着多少个幅本呢。从全局的角度来看,就应该尽量减少这些幅本的存在。
[color=blue]数据共享[/color]
删除了那些电影让我怎么办?把冗余的数据放置到共享的存储上,比如小区的数据服务器,比如CDN上。
[b]提高现有硬盘利用率[/b]
现在我们的硬盘都没有充分利用,这对于公司或个人是很大的浪费。提高现有硬盘的空间利用率,对我们有现实意义。当然有些大公司还是很精的,用他们服务器硬盘的剩余空间,对外提供“云存储”服务,很佩服。
[b]更廉价高效的存储设备[/b]
还是希望硬盘能更便宜,存取速度更快些。
现在硬盘对公司来说很便宜,但你硬盘总得有地方放吧,建立数据中心不花钱么?所以说,能不增加硬盘就不要增加,把省出来的钱多给员工涨工资吧。
[/size]
这几天看到一篇文章说,到2020年,全球的数据使用量预计将达到35ZB,也就是近400亿个1T硬盘的总量。这还不把我们低效的硬盘利用率计算在内。我也Google了下,今年全球硬盘预计总出货量才8亿块。同时Facebook说用户平均每天上传近2.5亿张照片... 呵呵,这个世界太疯狂,硬盘生产得有多大的增长幅度才能满足这么多宅男宅女的需求呢?
只要有数据存储的需求,总有人会尽力地满足。但从个人或公司的角度来看,买硬盘也得花钱呀。该想想有什么办法花更少的钱了...
我见过的大数据有:视频、图片、服务器日志和用户行为日志。从它们的特点来看:1.冗余度。这些数据可能存储在你我的硬盘上,也存储在网站的服务器硬盘上;2. 生命周期。数据也有生命周期,有些数据现在已经没有价值了。如果按占用空间的比例来分,我觉着视频占用的比例很大,且视频的冗余度很高。而像图片或日志,特点是数据量庞大但冗余度不高。
根据这些数据的特征,下面列出我自己对优化的愚见:
[b]清洗现有数据[/b]
[color=blue]删除无用数据[/color]
这些数据就不应该存在的,比如像误操作产生临时文件,多按了下Ctrl-V等
[color=blue]删除过期数据[/color]
数据是有生命周期的。当数据对我们不再有价值后,就应当删除它们。比如很久前的服务器日志,拍的不好照片等
[b]减小数据本身容量[/b]
[color=blue]数据压缩[/color]
更有效的数据压缩算法。
[color=blue]格式精减[/color]
视频和照片中含有很多格式自身的元数据,希望有更优化的编码技术,减少这些元数据。
[b]减少冗余数据[/b]
[color=blue]删除冗余幅本[/color]
就想想我们电脑中的这些电影,还存在着多少个幅本呢。从全局的角度来看,就应该尽量减少这些幅本的存在。
[color=blue]数据共享[/color]
删除了那些电影让我怎么办?把冗余的数据放置到共享的存储上,比如小区的数据服务器,比如CDN上。
[b]提高现有硬盘利用率[/b]
现在我们的硬盘都没有充分利用,这对于公司或个人是很大的浪费。提高现有硬盘的空间利用率,对我们有现实意义。当然有些大公司还是很精的,用他们服务器硬盘的剩余空间,对外提供“云存储”服务,很佩服。
[b]更廉价高效的存储设备[/b]
还是希望硬盘能更便宜,存取速度更快些。
现在硬盘对公司来说很便宜,但你硬盘总得有地方放吧,建立数据中心不花钱么?所以说,能不增加硬盘就不要增加,把省出来的钱多给员工涨工资吧。
[/size]