Storm知识点以及面试

PV（Page View）访问量,
    即页面浏览量或点击量，衡量网站用户访问的网页数量；在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开或刷新同一页面则浏览量累计。
UV（Unique Visitor）独立访客    
    统计1天内访问某站点的用户数(以cookie为依据);访问网站的一台电脑客户端为一个访客。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。
    如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的。如果用户不保存cookies访问、清除了cookies或者更换设备访问，
    计数会加1。00:00-24:00内相同的客户端多次访问只计为1个访客。
IP（Internet Protocol）独立IP数
    是指1天内多少个独立的IP浏览了页面，即统计不同的IP浏览用户数量。同一IP不管访问了几个页面，独立IP数均为1；不同的IP浏览页面，计数会加1。 IP是基于用户广域网IP地址来区分不同的访问者的，所以，多个用户（多个局域网IP）在同一个路由器（同一个广域网IP）内上网，可能被记录为一个独立IP访问者。如果用户不断更换IP，则有可能被多次统计。
会话次数（网站访问量）Session
    会话是指在指定的时间段内在您的网站上发生的一系列互动，所以会话次数是一段时间内用户向您的网站发起的会话（Session）总数量。一次会话会浏览一个或多个页面
    
实际问题

    1）pv计算，典型的聚合场景

    Spout消费MQ中的数据并发送出去。

    第一个Bolt进行分词和提取，判断每条数据记录，如果是访问记录，则emit出去1。

    第二个Bolt进行局部的聚合，计算本地PV，并发送(thread_id,pv)标志线程级别的唯一性。

    第三个Bolt进行全局聚合，计算总PV，这个全局聚合只能有一个，内部维护一个Hash<Long,Long>的数据结构(thread_id,pv)，收到数据后实时更新，然后实时/每隔一段时间对pv进行求和。

     2）UV计算，典型的去重聚合场景

    常规思路:与之前PV计算类似

    Spout消费MQ中的数据并发送出去。

    第一个Bolt进行一些预处理，将(session_id,1)为单位发送出去。

    第二个Bolt订阅第一个Bolt的数据，内部维护一个HashMap<String,Long>的结构存储局部的(session_id,count)信息。然后把(thread_id,hashmap)发送出去。

    第三个Bolt进行全局聚合，计算总的UV，这个全局聚合只能有1个，内部维护一个HashMap<Long,HashMap<String,Long>>的结构存储(thread_id,hashmap(session_id,count)),

    收到数据后实时进行更新，然后实时/每隔一段时间对UV进行session粒度的聚合。

    特殊思路:我们可以想到在WordCount场景下不一定全局聚合只可以一个Bolt实例。完全可以通过hash(session_id)的方式，把相同的session_id控制在同一个的Bolt实例内。

     Spout消费MQ中的数据并发送出去。　　

 &nb