Pyspark 导入第三方包报错

pyspark导入第三方包的方式

1. 在spark-submit时添加参数 --py-files
   spark-submit --py-files 文件1或py文件1,zip文件2或py文件2（多个文件用,分开）
2. 在sparkContext中使用addPyFile
   sc.addPyFile(“xxxx.zip”)
   或
   spark.sparkContext.addFile(“xxx.zip”)

报错

ImportError: (‘No module named numpy’, <function subimport at 0xf45c80>, (‘numpy’,))

比如我要提交的时numpy包，首先通过将numpy包打包成.zip文件，然后用上述方法导入，但是依然报ImportError，找不到包。

原因：打包方式出错了。

zip文件的内容一打开必须形如上图，不能在这些文件的上一级再套一个文件夹