用IDEA java 编写的 spark读取csv文件代码

原创

于 2020-03-09 11:33:12 发布 · 2.5k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java

使用IDEA2019.3.3版本，jdk1.8 创建maven项目

直接上干粮：

1. 配置 pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>JavaDemo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <properties>
        <spark.version>2.3.1</spark.version>
        <scala.version>2.11</scala.version>
        <!-- 配置以下可以解决 在jdk1.8环境下打包时报错 “-source 1.5 中不支持 lambda 表达式” -->
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.tar