
storm
Java蜗牛
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
ubutun下storm本地安装----供学习使用
(1)ubutun 是12.0.4版本 (2)zookeeper安装: (原创 2014-06-25 00:50:59 · 801 阅读 · 0 评论 -
storm学习三 drpc学习
1, 通过配置drpc服务器,将storm的topology发布为drpc服务。客户端程序可以调用drpc服务将数据发送到storm集群中,并接收处理结果的反馈。这种方式需要drpc服务器进行转发,其中drpc服务器底层通过thrift实现。适合的业务场景主要是实时计算。并且扩展性良好,可以增加每个节点的工作worker数量来动态扩展。原创 2014-07-23 20:46:29 · 875 阅读 · 0 评论 -
storm学习一 storm基本概念整理
1. 拓扑(Topologies) 2. 流(Streams) 3. 喷嘴(Spouts) 4. 螺栓(Bolts) 5. 流分组(Stream groupings) 6. 可靠性(Reliability) 7. 任务(Tasks) 8. 工作者(Workers) 9. 配置(Configuration) Topologies原创 2014-07-23 17:14:10 · 733 阅读 · 0 评论 -
storm学习二 storm系统的启动详解
这些天对storm源码进行了部分解读,做一个阶段性的总结。 nimbus启动过程: sd.join(); 1 验证是否是本地模式,如果是,则抛出异常,退出,否则启动nimbus 2 addHook, 增加nimbus退出时的清理工作{1, 停止线程,2 停止thrift服务,3 断开zk} 3 构造出一个nimbusData的数据结构{线程池,配置文件,上传下载文件的timeCac原创 2014-07-23 20:52:13 · 836 阅读 · 0 评论 -
storm学习四 开发简单的Topology程序
storm的程序开发可以理解为三步骤 (1)Spout (2)原创 2014-07-25 07:25:43 · 1154 阅读 · 0 评论 -
一张图让你了解Storm的DRPC实现原理
参照上图 构建DRPC拓补图的拓补构造器: package backtype.storm.drpc; import backtype.storm.Constants; import backtype.storm.ILocalDRPC; import backtype.storm.coordination.BatchBoltExecutor; import backtype.storm.coo原创 2014-10-25 17:44:38 · 3655 阅读 · 0 评论 -
storm的架构图
整体架构 客户端提交拓扑到nimbus。 Nimbus针对该拓扑建立本地的目录根据topology的配置计算task,分配task,在zookeeper上建立assignments节点存储task和supervisor机器节点中woker的对应关系; 在zookeeper上创建taskbeats节点来监控task的心跳;启动topology。 S原创 2014-10-25 07:49:50 · 1013 阅读 · 0 评论