pyspark用pipe管道调用bash脚本时，遇到Permission Denied问题

xc_torres

于 2017-07-18 15:31:55 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark python

本文链接：https://blog.csdn.net/u010793236/article/details/75305170

在CDH的YARN集群上使用pyspark通过pipe管道运行bash脚本时，可能会遇到'Permission Denied'的问题。这通常是因为脚本缺少执行权限。解决方案包括使用'chmod +x xx.sh'为脚本添加执行权限，如果问题依然存在，可能需要确保脚本所在的目录'src'具有足够的读写权限，可以使用'chmod 777 -R src'命令进行设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当用pyspark在CDH的yarn集群上运行时，用pipe管道调用bash脚本若遇到如下问题

"/usr/lib64/python2.7/subprocess.py", line 1234, in _execute_child raise child_exception OSError: 
[Errno 13] Permission denied
at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:166)
at org.apache.spark.api.python.Pyth