flybirding10011 2021-06-11 11:20 采纳率: 51.9%
浏览 312
已结题

map_reduce 运行到99.99%卡住了是什么原因？

这种情况是不是出现了数据倾斜？该怎么解决？优化语句如何写？

  • 写回答

2条回答 默认 最新

  • @nanami 2021-06-11 11:21
    关注

    有可能是数据倾斜导致

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • 大数据开发面试宝典
    2024-11-11 14:13
    叫我王富贵i的博客 大数据面试宝典312个问题，问题涵盖广、从自我介绍到大厂实战、19大主题，一网打尽、真正提高面试成功率
  • 大数据常见问题：数据倾斜的原理及处理方案
    2022-02-14 16:18
    徐凤年不是真无敌的博客 什么是数据倾斜 Hadoop能够进行对海量数据进行批处理的核心，在于它的分布式思想，通过多台服务器（节点）组成集群，共同完成任务，进行分布式的数据处理。 理想状态下，一个任务是由集群下所有机器共同承担执行...
  • ❤️ 爆肝三万字《数据仓库体系》轻松拿下字节offer ❤️【建议收藏】
    2021-09-12 08:18
    不吃西红柿丶的博客 而且部分实施的项目也有很多失败，除了常见的业务需求定义不清、项目执行不力之外，很重要的原因是因为其数据模型设计，在企业级数据仓库中，Inmon推荐采用3范式进行数据建模，但是不排除其他的方法，但是Inmon的...
  • reduce 数据倾斜_细品数据倾斜（建议收藏）
    2020-12-31 03:13
    于西奥的博客 1 前言1.1 绪论数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。迈的过去，将会海阔天空！迈不过去，就要做好准备：很可能有几周...
  • 大数据技术高频面试题——数据倾斜 1_不含spark
    2021-02-23 11:09
    荩辞的博客 1.公司一的数据分析师在做join的时候发生了数据倾斜，会导致有几百万用户的相关数据集中到了一台服务器上，几百万的用户数据，说大也不大，正常字段量的数据的话64G还是能轻松处理掉的。 2.公司二的数据分析师在做...
  • 大数据常见问题之数据倾斜
    2019-07-19 23:28
    sofeld的博客 什么是数据倾斜 简单的讲，数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的...用 Hive 算数据的时候 reduce 阶段卡在 99.99% 用 SparkStreaming 做...
  • 大数据数据倾斜问题
    2021-08-25 15:02
    000X000的博客 数据倾斜 数据倾斜是我们在处理大数据量问题时绕不过去的问题，也是在面试...相信大部分做数据的童鞋们都会遇到数据倾斜，数据倾斜会发生在数据开发的各个环节中，比如：用Hive算数据的时候reduce阶段卡在99.99%用Spa
  • 大数据基础面试题六： 数据倾斜
    2021-03-07 22:18
    大数据面壁者的博客 这里写目录标题大数据基础面试题六： 数据倾斜十三、数据倾斜13.1 数据倾斜表现13.2 数据倾斜产生原因13.3 解决数据倾斜思路13.4 定位导致数据倾斜代码13.4.1 某个task执行特别慢的情况13.4.2 某个task莫名其妙内存...
  • 关于数据倾斜的深度探讨？
    2024-06-24 10:56
    麦当当MDD的博客 二、数据倾斜的表现 a）hadoop中数据倾斜的表现 （1）有⼀个或多个reduce任务卡住，卡在99.99%， ⼀直不能结束。 （2）各种container报错OOM。 （3）异常的Reducer读写的数据量极⼤，⾄少远远超过其他正常的Reducer...
  • 大数据技术之高频面试题
    2020-11-12 20:32
    x我有辣条跟我走。的博客 （2）设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。 （3）规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗...
  • 没有解决我的问题, 去提问

问题事件

  • 已结题 （查看结题原因） 8月5日