购物行为分析

1）购物行为系统

[2] 技术架构：Flume+Kafka+Flink+MySQL+Redis

[3] 开发工具：IntelliJIDEA+Xshell

[4] 项目描述：对商品流量和营销指标统计，并对支付订单进行超时和对账处理，及黑名单过滤和恶意登录监控。

[5] 原始数据： UserBehavior、ApacheLog、AdClickLog、LoginLog、ReceiptLog和OrderLog的csv文件名。

[7]技术实现：

▪信息采集：Flume对用户操作记录进行采集,实时发送到Kafka集群；

▪信息缓冲：Kafka作为流式数据的缓存，接受Flume推送请求，并将数据推到流式处理系统；  

▪流式处理：Flink(WindowAPI+ProcessingAPI+CEP+...等)进行数据处理，开发热门商品、流量统计、营销指标、恶意登入和订单支付的信息；

▪数据下沉：将开发结果实时打印控制台或保存至MySQL数据库。

而在亿级的UserID情况下，UserID都保存在flink窗口计算的状态里面，而我们需要统计用户量UV的话，id在mysql去重计数也很消耗资源，为优化消耗内存和资源，通过使用布隆过滤的存储结构，进行海量去Key，在将数据保存至Rdis。之所以保存在Rdis，因为做布隆过滤的操作会频繁交互匹配，选用redis数据库比较好；