五分钟学GIS | 大数据之分布式空间分析服务
目录
分布式空间分析服务是什么
分布式空间分析服务是SuperMap iServer 9D中新增的一个扩展模块,其利用Spark分布式计算方式,对超大体量的空间数据进行各种分析。可接入分布式存储的地理数据,如 HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)存储的数据、iServer DataStore 中存储的关系型数据、以及 UDB 中存储的点线面数据。其提供强大的空间分析能力,例如大数据的地图出图、分析与管理。所有功能提供 REST API,方便开发与扩展。
优点
性能非常高
分布式空间分析服务利用Spark分布式计算方式,将一个分析任务分解为多个子任务,最终通过分布式计算快速得到结果(如下图)。
可接入多种数据来源与格式参与分析
支持共享目录方式,支持HDFS目录,支持企业级空间数据库(Oracle,PG-XL)等,数据格式支持UDB,CSV,Execl,GeoJSON等。
多终端的快速使用
iClient , iDesktop产品可直接调用,并以可视化方式展示大数据分析任务的执行过程与结果。
扩展性高
分析节点的横向扩展非常方便。想要提高效率,只需增加处理节点,启动一台iServer,加入集群,注册数据即可。
部署简单
iServer 9D内置Spark分布式计算框架,部署分布式分析服务集群十分简单,不需要有分布式相关知识。搭建过程同搭建集群类似,完全可视化操作,只需三步:
1.勾选开启iServer集群服务。
2.勾选开启iServer分布式分析服务。
3.将iServer节点加入集群并勾选参与大数据分析选项卡即可。
适用的场景
1.传统空间分析处理时间长,想要大幅度提高处理效率。
例如:某项目中,2261万条纪录面(68.3GB大小)与3502平方公里的不规则面叠加分析,传统分析(机器:32核CPU,64GB内存)需要42.5分钟,而采用分布式计算模式(机器:4台4核CPU,16G内存机器)只需2.1分钟,性能提升20倍。
2.传统方式处理不了的数据内容。
例如:10亿点和1000W个面进行聚合,使用传统模式处理不了这种级别的数据。
3.项目适应未来技术趋势,即对传统数据进行分布式存储,分布式计算,实时数据处理,非结构化存储等。
GIS应用案例
SuperMap iServer 9D采用4节点集群方式,每节点配置32G、4Core,采用A+B数据方式,进行大数据量的空间分析(点聚合分析功能):
转载自:https://blog.csdn.net/supermapsupport/article/details/78338382