python连接spark_Spark连接MongoDB指南（基于python）

(本文为对官网内容的翻译)

英文原文网址：

https://docs.mongodb.com/spark-connector/current/python-api/

为什么使用MongoDB+Spark：

http://www.mongoing.com/tj/mongodb_shanghai_spark

以下例子的源码详见introduction.py：

https://github.com/mongodb/mongo-spark/blob/master/examples/src/test/python/introduction.py

目录

1 前提

2 入门指南

2.1 Python Spark Shell

2.2 创建一个SparkSession对象

3 教程

3.1 写入MongoDB

3.2 读取MongoDB

3.3 聚合

3.4 过滤器和SQL

1 前提

MongoDB和Apache Spark的基本操作知识。详见MongoDB文档 和Spark文档

运行MongoDB(2.6及以上版本)

Spark 2.1.x

Scala 2.11.x

2 入门指南

2.1 Python Spark Shell

本指南使用pyspark shell，但使用的代码也适用于独立的Python应用程序。

当使用pyspark shell时，你可以设置：

–packages 选项用来下载MongoDB Spark Connector包。可用以下程序包：

mongo-spark-connector_2.11 (与Scala 2.11.x结合使用)

–conf选项用来配置MongoDB Spark Connector。这些设置用来配置SparkConf对象。

注：当通过SparkConf设置连接器配置时，你必须为这些设置加上合适的前缀。详情以及其它MongoDB Spark Connector选项参见Configuration Options。

以下示例为用命令行运行pyspark shell：

./bin/pyspark –conf“spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred” \

–conf“spark.mongodb.output.uri=mongodb://127.0.0.1/test.myCollection” \

–packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0

spark.mongodb.output.uri用