0639-6.1.1-Spark读取由Impala创建的Parquet文件异常分析

Hadoop_SC

于 2019-09-21 23:53:18 发布

阅读量602

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop实操

本文分析了Spark在读取由Impala创建的Parquet文件时遇到的字符串显示为二进制的问题，详细介绍了问题的原因、如何通过Spark SQL、定义schema以及启动参数来解决这个问题，并提供了相应的配置参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Fayson的github： https://github.com/fayson/cdhproject

推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f

1.RedHat7.4
2.CDH6.1.1
3.使用root进行操作

1.使用Impala创建Parquet表并插入数据

create table test_parquet(id int,name string) stored as parquet;
insert into test_parquet values(1,'test'),(2,'vivi');

在这里插入图片描述
2.使用Impala查看数据，数据显示正常。

select * from test_parquet;

在这里插入图片描述
3.使用CDH6.1.1中的Spark2.4访问该数据文件。

val df=spark.read.parquet("hdfs://ip-172-31-6-83.ap-southeast-1.compute.internal:8020/user/hive/warehouse/test_parq