m0_51698806的博客

实时流式计算适用场最大的特点就是及时，试想以下场景，如果没有流式计算系统，公司会损失多少MONEY：需要实时异常检测的欺诈/风控等系统需要实时查看交易额的交易系统需要实时计算点击/计算分成的广告系统需要实时更新用户标签的实时用户画像系统需要实时根据用户喜好推荐商品的实时推荐系统再试想以上场景，如果核心技术不是国产自研的，信息风险会有多高？大数据兴起之初，Hadoop并没有给出实时计算解决方案。随后Storm，SparkStreaming，Flink等实时计算框架应运而生。六年前提起实时流式计算

有一双未卜先知的眼睛，城市里错综复杂的十字路口和成千上万的路段里路况都在它的视野里，并且它能提前告诉你5分钟后、10分钟后，乃至1个小时后的路况信息；有这样一个全能机器管家，它能很好的感知设备性能的衰退、精度的缺失、易耗件的磨损和资源的浪费等，立体的给你呈现设备的所有信息；有这样一个安全大咖，它可以360度感知全球气候异常情况，实时监测环境的不安全性，提前预防、实时预警。这都是物联网的实际应用。这些用例有两个共同点：海量数据、实时分析计算。海量到什么程度？一天的数据量就能**超过1000亿条！**互

98%的企业都面临数据孤岛问题，数据没标准、数据难统一、数据难打通、数据质量低。打通数据孤岛难度大周期长成本高，企业每年在糟糕的数据上多花费近25%的成本。有痛点就有市场，数据湖应市而生。为什么是数据湖而不是数据河或者数据海？河强调的是流动性，而企业数据是需要长期沉淀的，因此叫湖比叫河要贴切。既是长期沉淀下来的数据，一定是海量数据，而且是多种类型的数据包括结构化、半结构化和非结构化。因此，数据湖产品必须能从多个数据源获取原始数据，并且针对不同的业务，同一份原始数据还可能有多种满足特定内部模型格式的数据