问题:
hive2.1.1+cdh6.2.0
导出hive外部表到本地csv文件,报错 java.lang.OutOfMemoryError: Java heap space
导出语句: hive -e "set hive.cli.print.header=true;select * from dwd.dwd_fact_issue_issue_and_reply" | sed 's/[\t]/,/g' > /opt/dwd.dwd_fact_issue_issue_and_reply.csv
解决方法:
直接在shell中运行 export HADOOP_CLIENT_OPTS=" -Xmx8192m"
然后重新执行上面的hive语句就可以了.
问题:
设置参数8G,但是导出的数据20G左右,不知道这两个大小有什么关系,求知道的大佬评论区见...