前言
早期阶段的ToB SaaS,从数据规模来讲,相对较小,所以从研发成本、服务器成本上,一切从简,采用「简单」的数据收集方案,进行用户行为数据的收集工作,从而指导业务和产品。
大数据计算一般的流程如下:
其中「数据收集」包含了「数据采集」「数据加工」「数据存储」三个步骤,通过这些步骤将用户的行为和环境信息转化为结构化数据,从而沉淀为数据资产,为产品设计、运营分析、业务决策提供重要的数据支持。
事件模型
记录用户行为,首先要考虑的就是如何结构化,即事件模型
- WHO:用户ID、设备指纹、学校ID …
- WHEN:事件发生时间、时间上报时间
- WHERE:设备信息、网络环境、业务环境 …
- WHAT:事件标识、场景标识、事件参数
埋点SDK
为了简化业务同学开发埋点时的工作量,并对埋点日志进行一些必要的限制,需要统一的埋点SDK,目前需要2个端的SDK:微信小程序SDK、JS SDK
SDK包含的功能如下:
- 用户标识管理
- 设备信息、网络环境、业务环境自动收集
- 事件上报生命周期管理(上报机制)
- 兼容性处理
- …
数据存储
日志经过「数据采集」「数据加工」「数据存储」这三个阶段,在每个阶段后,产生的数据,从类别、存储介质、保存时间上是有区别的。