GIS摆渡人

Alluxio作为大数据和机器学习生态系统中的新增数据访问层，可位于任何持久化存储系统（如Amazon S3、Microsoft Azure 对象存储、Apache HDFS或OpenStack Swift）和计算框架（如Apache Spark、Presto或Hadoop MapReduce）之间，但是Alluxio本身并非持久化存储系统。对于用户应用和计算框架而言，Alluxio提供的快速存储可以让任务（无论是否在同一计算引擎上运行）进行数据共享，并且在同时将数据缓存在本地计算集群。

一.简介它利用列格式，支持数据压缩和基于列的编码，从而实现高效的OLAP查询。这使用户能够通过使用弹性计算资源来代替专用服务器来实现成本节约。 列存储，支持数据压缩和基于列的编码，实现高效的OLAP查询 GeoMesa FSDS（ FileSystem data store）可以运行在任何分布式或本地文件系统之上，包括Amazon 3、Hadoop HDFS、谷歌FileStorage和Azure BlobStore。 文件系统数据存储可以将数据ETL到文件系统中，或者使用GeoMesa转换器包装现

一.简介整体分为四个大部分，分别为Spark基础篇，Scala基础篇，GeoMesa基础篇和GeoMesa进阶篇。Spark基础篇 主要讲解Spark的核心知识，不会对Spark进行详细介绍，Spark作为GeoMesa的底层框架，掌握是必不可少的。Scala基础篇 GeoMesa是Scala预言编写，所以对Scala的掌握必不可少GeoMesa基础篇 主要讲解GeoMesa的场景用法。GeoMesa进阶篇 进阶GeoMesa的高级用法。二.学习流程geomesa整体介绍可伸缩, 大规模，

一. 简介读取shapefile 单文件读取shapefile 路径下的所有shapefile 文件保持输出单shapefile 文件保持输出shapefile 集合到指定文件路径优化：读取目录下说有shape为RDD分区输出shapefiles时，先进行空间分区二. 代码1.本地Shapefile 文件读取//读取shapefile def read_shapefile(shapePath: String, shapeName: String)(implicit spa

一.简介1.基于hdfs进行shape文件的读取实现local shapefile 到 hdfs shape文件的写入实现hdfs shape 文件的读取2.hdfs shape文件的写入时比较麻烦的指定schema: schema 支持AttributeSchema,CompositeSchema,DateTimeSchema,FlatSchema,SpatialSchema,SZ2Schema,Z2Schema指定encoding: encoding 支持convert,orc,par

一.简介读取postgis 表数据写入数据到postgis 表中二.代码1.读取postgis //读取postgis def read_postgis(implicit sparkContext: SparkContext) = { val query = new Query(table) val rdd = GeoMesaSpark(params).rdd(new Configuration(), sparkContext, params, qu

一.简介HBase矢量数据读取HBase矢量数据写入二.代码1.从HBase读取矢量数据//读取hbase def read_hbase(implicit sparkContext: SparkContext) = { val query = new Query(schemaName); val spatialRDDProvider = GeoMesaSpark(params); val hBaseDataStore = DataSt

一. 简介读取shapefile 单文件读取shapefile 路径下的所有shapefile 文件保持输出单shapefile 文件保持输出shapefile 集合到指定文件路径优化：读取目录下说有shape为RDD分区输出shapefiles时，先进行空间分区二. 代码1.写入RDD到单个Shapefile文件//写入shapefile 单文件 def write_shapefile_single(rdd: SpatialRDD, shapePath: String)

一.简介1.基于hdfs进行shape文件的读取实现local shapefile 到 hdfs shape文件的写入实现hdfs shape 文件的读取2.hdfs shape文件的写入时比较麻烦的指定schema: schema 支持AttributeSchema,CompositeSchema,DateTimeSchema,FlatSchema,SpatialSchema,SZ2Schema,Z2Schema指定encoding: encoding 支持convert,orc,par

一.简介读取postgis 表数据写入数据到postgis 表中二.代码1.保持RDD到Postgis//保存postgis def save_postgis(rdd: SpatialRDD)(implicit context: SparkContext) = { var dataStore: DataStore = DataStoreFinder.getDataStore(params); val simpleFeatureTypeBuilder =

一.简介HBase矢量数据读取HBase矢量数据写入二.代码1.写入RDD数据到HBase//保存hbase def write_hbase(spatialRdd: SpatialRDD)(implicit context: SparkContext) = { val datastore: DataStore = DataStoreFinder.getDataStore(params) val simpleFeatureTypeBuilder: Si

一.简介基于对象存储，矢量数据的写入基于对象存储，矢量数据的读取二. 代码1. 写入矢量数据到Miniodef write_s3(inputRdd: SpatialRDD, hdfsHost: String, hdfsPath: String, hdfsFile: String) (implicit sparkContext: SparkContext) = { val reRdd = inputRdd.repartition(1)