weixin_36630761的博客

有个hive的表，是月分区的（month_id），分区字段用的是string类型。数据量比较大，为了保证计算性能，所以把数据导入到SR里，构建一个内部表。但是在建表的时候想使用月分区使用partition by date_trunc('month', month_id)，遇到一个问题，month_id在hive里是string类型并且是yyyyMM的格式，无法顺利建表。

官方文档对csv，orc ,json ，parquet都支持的比较好。写文章的时候SR我们生产用的是3.1.x版本。

有两个大表，都是6kw级别上下的，通过SR然后包装了一个接口对外提供查询，当前的问题是，这样大的join查询会导致BE直接宕机。这个表是个单分区，所以直接查全表没啥问题。最后其实是要输出的是limit 10。我这里是模拟两个表之间的join操作,看下profile。扫描的数据大大减少，还是很牛的，欢迎交流。那么这个limit 10能否下推呢？2. profile日志。看profile就更炸裂了。查询不到一秒出结果。查询不到一秒出结果。