spark.sql()

### Spark SQL 使用方法与示例 Spark SQL 是 Apache Spark 的一个模块，用于处理结构化数据。它提供了编程语言的 API（如 DataFrame 和 Dataset）以及标准的 SQL 查询接口。以下是 Spark SQL 的使用方法和一些示例代码。 #### 1. 配置 Spark SQL 环境 在使用 Spark SQL 之前，需要确保 Spark 环境已经正确配置。例如，Java 环境变量的设置可以通过以下命令完成： ```bash export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51 ``` 同时，Hadoop 的核心配置文件 `core-site.xml` 和 `hdfs-site.xml` 需要进行相应的调整[^1]。例如： - `core-site.xml` 中定义 HDFS 的默认地址： ```xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:8020</value> </property> ``` - `hdfs-site.xml` 中设置副本系数为 1： ```xml <property> <name>dfs.replication</name> <value>1</value> </property> ``` #### 2. 启动 ThriftServer 并连接 Beeline 为了通过 SQL 查询访问 Spark SQL，可以启动 ThriftServer 并使用 Beeline 客户端连接。启动 ThriftServer 的命令如下： ```bash ./start-thriftserver.sh --master local[2] --jars /usr/local/src/spark/lib/mysql-connector-java-5.1.27-bin.jar ``` 随后，可以通过 Beeline 连接 ThriftServer： ```bash beeline -u jdbc:hive2://localhost:10000 ``` 这一步允许用户通过 SQL 接口查询存储在 Spark 中的数据[^3]。 #### 3. 示例代码：DataFrame API Spark SQL 提供了 DataFrame API，用于简化结构化数据的操作。以下是一个简单的示例，展示如何读取 CSV 文件并执行基本的查询操作： ```python from pyspark.sql import SparkSession # 创建 SparkSession spark = SparkSession.builder \ .appName("example") \ .getOrCreate() # 读取 CSV 文件 df = spark.read.csv("/path/to/csv/file.csv", header=True, inferSchema=True) # 打印 DataFrame 的前几行 df.show() # 执行 SQL 查询 df.createOrReplaceTempView("table_name") result = spark.sql("SELECT * FROM table_name WHERE column_name > 10") result.show() ``` #### 4. 示例代码：自定义扩展 Spark SQL 支持多种扩展，包括 Analyzer Rules、Optimizer Rules 和 Customized Parser 等。以下是一个简单的自定义解析器示例[^4]： ```scala import org.apache.spark.sql.catalyst.parser.ParserInterface import org.apache.spark.sql.catalyst.plans.logical.LogicalPlan class CustomParser extends ParserInterface { override def parsePlan(sqlText: String): LogicalPlan = { // 自定义逻辑 println(s"Parsing custom SQL: $sqlText") null // 返回自定义逻辑计划 } } // 注册自定义解析器 val customParser = new CustomParser() spark.sessionState.conf.setConfString("spark.sql.parser.impl", "CustomParser") ``` #### 5. 示例代码：WordCount 以下是一个经典的 WordCount 示例，展示如何使用 Spark SQL 处理文本数据： ```bash hadoop jar /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /input/wc/hello.txt /output/wc/ ``` 上述命令将输入文件 `hello.txt` 中的单词进行统计，并将结果保存到 `/output/wc/` 目录中[^2]。 --- ###