
Arrow
文章平均质量分 59
鸿乃江边鸟
Apache Spark Contributor
专注于技术的dotaer
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Apache Arrow优点
优点采用连续的内存布局,在单机计算的时候,增加操作系统友好性,增加了缓存命中率以及采用列式存储,在单机计算的时候,可以利用SMID向量化处理,并且增加了查询效率(一般查询的时候只是查询几列)采用列式存储,IPC进程间通信传输的时候,提高了压缩率采用零拷贝,IPC进程间通信传输的时候,减少了数据传输的开销跨语言的标准化规范,消除了各个格式之间转换所需要的序列化和反序列化的时间以上优点实现了高速的数据传输和处理能力,使得它在大数据场景下有很好的优化价值参考Apache Arrow: 数据工原创 2023-11-10 16:31:16 · 373 阅读 · 0 评论 -
Spark 3.4.x Server Client模式下的数据传输实现
中,我们提到Spark 3.4.x中是Client和Server之间的数据传输是采用。的,那具体是怎么实现的呢?这里的逻辑就是转换为。原创 2023-06-27 23:17:43 · 419 阅读 · 0 评论