关于DTCC数据库技术大会

本文总结了DTCC数据库技术大会上的亮点,包括流式计算平台的选择(如Spark Streaming和Flink),以及HBase在实时查询场景中的应用。文章特别提到使用Kudu+Impala进行搜索的趋势,并探讨了Kylin在多维分析中的表现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本次DTCC数据库技术大会是第9届了,这次大会虽然有不少公司的产品推介,总体来说还是有不少干货的。

专场较多,有选择地主要听了大数据实践跟流式计算这块。网易跟滴滴的分享比较不错。

了解到了现在大家是用spark streaming/ Flink来进行流式计算的比较多。

我们之前都是用kafka+storm+spark来做实时仓库的。

不知道spark streaming/Flink跟storm比较有什么先进之处,这个问题记下来,似乎是开发更简洁?使用SQL式开发?

对于hbase的查询,我们之前是通过solr来做二级索引,用kylin做多维分析。

但是大家现在好像用kudu+impala来做搜索的比较多,不过kylin用的也不少。但是大多没说kylin使用中的坑,有点遗憾。

说到kylin,还见到kylin的创始团队了,但是对于我提问的多表join、多字段group by效率低下的问题似乎没有解决,只说可能是我使用的方式不对。没有再追问了。

转载于:https://www.cnblogs.com/yaomaomao/p/9031301.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值