最近琢磨规划CAD数据转换入库GIS方面的技术问题,看过一些前辈的文章/文献,对于使用FME WorkBench方面,有了一些了解,往往直接转换数据丢失比较严重,而且GIS对图形属性和空间拓扑比较严格,想着转换加个质量检测过程应该有利于数据交互。
一、引言
城市规划一般都是以CAD进行图形设计的,包括总规、控规、分规、修详、红线等内容,每个部分又可以保护多个细分的图层。随着目前城市规划应用深入展开,必须考虑到GIS空间分析的功能性,GIS对于城市规划辅助决策具有决定性效果。然而目前由于CAD数据与GIS结构和存储表达的不同,使得二者之间的转换出现很大障碍,为此寻求一种良好的争取尽量丢失信息的转换方式就是必须的。
FME作为一款ETL(Extraction-Transformation-Loading)产品,在数据转换中应用广泛,特别是GIS方面的数据转换应用。目前在CAD转GIS中,无外乎以下几种方式:使用FME本身的软件产品进行转换,如FME Quick Translator;使用ArcGIS内嵌的转换工具;使用FME WorkBench制作转换模板;使用FME Plugin-In开发专门的一种插件;使用FME Objects二次开发进行定制、快速、批量转换;还有生成脚本文件.bat和.tcl进行批量转换等。然而这些转换都没有具体的进行转换前质量检测,在一定程度上影响转换的准确率,本文于此提出FME《质量体系》,描述转换数据质量检测。
二、FME质量体系建模
一个良好的质量检测体系为数据转换准确率、效率、应用效果提供巨大支持。
1、规划CAD数据质量问题
规划数据以已经经过规划的CAD规划成果为数据源,然而由于人工操作、规划水平,难免会出现些图形数据属性数据方面的问题,图形方面表现在线交叉、重叠等拓扑错误、实体元素错误等,属性方面表现在属性名称不符合标准、属性为空、属性值无意义、属性超过限定值等,还有对于GIS而言一些文字、标注等多余的描述性东西。
2、GIS入库标准建立
进行质量检测必须有标准可依,CAD规划数据入库GIS必须符合GIS空间建库的一系列条件,以ArcGIS的GeodataBase为空间数据库,表现在以下几个方面:
(1)需符合国标规定,CAD数据入库需满足城市规划各项国标要求;
(2)空间参考、水准高程等数学元素需满足GIS在测绘方面要求;
(3)空间数据建库组织,以Geodatabase的各项要素进行分层组织,分层表达,规划成果总规、控规、分规、修详、红线等各组织为一要素数据集,要素数据集里面可以由多个要素类、关系、拓扑、网络等;
(4)要素命名规范,符合大类标准,细分到具体要素类,字母表达容易理解;
(5)数据结构建立,在CAD数据结构的基础上更改和扩展属性数据结构;
(6)CAD符号在GIS中表达,满足空间入库符号化制图表达要求;
(7)对应于相应的空间分析,有专项规划空间分析和三维分析,保证数据可以满足对应的空间分析条件,以发挥数据规划分析功能。
3、质量检测体系框架
在FME支撑下,针对CAD规划成果的数据问题提出满足GIS入库标准的质量体系框架,描述质量检测内容与流程,为数据GIS入库提供前提检测。
图1 质量体系
质量检测体系的每个检测内容都包含若干个需要检测的子项,而且检测内容之间也相互嵌套支持,其中核心检测内容为图形检测盒数据检测,上图中列出主要检测类别,更多细项需要根据需求而定。每个检测内容在FME中或单独或联合几个转换函数Transformer使用,配置需求的参数和选项以及设置工作流程。
1)整体性检测
整体性检测涵盖整个数据检测入库过程,要素组织可以从大类分小类,进行对应的要素组合和命名,ListBuilder和ListRenamer提供支持;空间参考从整个要素库到单个要素、属性都扮演着重要角色,不同的要素要想在一起使用需进行空间投影,可CoordinateSystemSetter 、ESRIReprojector 、Reprojector来进行设置;检测结果包括成功的、失败的,同时又需要输出为报告或图形,可StatisticsCalculator、Counter等。
2)完整性检测
完整性可有空间属性逻辑一致性,空间图形的拓扑一致性,文档表格的存在规范性,工作流程的设计合理性,记录描述的有效性,日志记录等。属性完整性检测属性是否正确对应,PointOnAreaOverlayer点面叠加操作判断注记是否在地块内,Tester属性条件判断;空间拓扑描述点、线、面已经复合要素的空间关联,TopologyBuilder建立拓扑,SpatialRelator确定要素间的拓扑关系;Logger记录详细的流程操作信息。
3)标准性检测
对内容符合一些规范、国家地区标准内容与否进行相关判定操作并作出对应的纠正,要素内容是否符合地区建设内容,要素结构是否满足实际需求,需要在逐步考察对比分析的基础上进行,Matcher内容匹配检测,Sampler抽样检测,Tester和TestFilter进行实际测试。
4)属性检测
表达要素基本信息的核心内容之一,CAD数据一般没有具体的属性结构,而且表达意义不迫切,但GIS中是必备的。不易识别的属性需改名AttributeRenamer,空值属性或修改或创建AttributeCreator,暴露出属性供其他要素选择所需AttributeExposer,过滤属性内容或选择一定的属性范围AttributeRangeFilter,组合其他要素的属性AttributeAccumulator,还有对属性进行裁剪、增加扩展、分隔、计数等,这些组成属性检测必备函数。
图2 常规属性处理过程
5)空间检测
表达要素空间关联的核心内容之二,基于CAD内容的各种空间关联问题,在入库GIS前,分别从CAD和GIS角度进行拓扑检测,包括一般的常规拓扑检测和空间分析拓扑检测。常规拓扑就是点、线、面、复杂聚合要素的空间关联,而空间分析拓扑则是在经过缓冲、叠置、网络甚至三维分析后进行的拓扑。
针对CAD是个多图层的综合体,需要进行图形要素分类检测,GeometryFilter分裂成GIS多种几何类型,使用FeatureFilter/AttributeFilter/ DuplicateRemover完成图形分类;
针对点、线、面、复合要素,有点点、点线、点面、线线、线面、面面、环(Donut)和岛(Hole)这些基本几何拓扑关系,具体描述方式依照GIS拓扑9-交拓扑模型和四叉树八叉树表达,这些关系主要有:点点叠加,点线叠加,点面叠加,线线叠加,线面叠加,面面叠加,在FME函数表达中为:【类型】On【类型】Overlayer;要素环建立DonutBuilder,岛提取,相交Intersect,自相交SelfIntersect,空间擦除Clipper,空间合并Dissolver/FeatureMerge等; 针对空间分析,可综合多个空间拓扑进行,有缓冲分析、叠置分析、网络临近、网络最优、网络选址,在三维方面表现在DEM和表面Surface。其中缓冲分析Bufferer函数,网络临近ShortestPathFinder,三维DEM创建DEMGenerator/ TINGenerator/ ContourGenerator等。
5)工作流程
质量检测对空间要素进行空间非空间的检测,以《质量体系》为检测引擎,在对数据进行预处理的基础上执行检测,对检测结果进行图形和报告输出,最终目的是GIS入库和数据更新,保证数据质量支撑GIS应用。工作流程作为质量体系建模的“外部”部分,建立FME WorkBench的WorkSpace为存储介质,图形化可拖动配置性界面来操作。
最后,传统转换都直接以实际例子来说明,没有具体描述整个过程,本文针对检测质量体系提出相关内容,当然内容是大体上,还有更多内容需要考虑,当做一种研究学习方法和推进思路,共勉。