如何描述空间数据质量

如何描述空间数据质量,第1张

空间数据质量应该从以下5点来描述:

1定位是否精确

2,属性是否准确

3现势性情况如何

4逻辑是否一致(例如地图综合后,空间关系表达是否正确)

5数据是否完整

(本人wuce的,就不知道,你运气好不好,还有两个星期就考试了,你会上网看到这个不,哈哈)

耕地质量等别更新评价的工作对象是指近年来由于建设占用、灾害损毁、农业结构调整、生态退耕、耕地开发、土地整治等活动,数量、质量、权属状况等发生变化的耕地。耕地质量等别监测的工作对象是指耕地质量等别渐变区域的耕地,也可理解为主要受自然环境因素和宏观经济政策因素

数据质量管理的定义和目的

数据质量管理是指对是指对数据从产生、获取、存储、共享、维护、应用等数据全生命周期可能出现的各类数据质量问题,进行识别、检测、度量、预警以及处理等一系列管理活动。

数据质量管理的目的是通过提升数据的完整性、准确性和真实性,为企业提供坚实、可靠的数据基础,提升数据的使用价值,对企业的日常经营、精准营销、管理决策、风险管理等领域发挥积极有效作用。

数据质量的评估维度

如何判断数据质量的优劣?从哪些方面可以评估数据质量?在实践中,我们认为一般可以通过数据质量评估维度进行评估。数据质量评估维度是数据质量的特征之一,它们为度量和管理数据的质量提供了一种途径和标准。在一个具体的数据质量项目中,要选择最适用于业务需求的数据质量维度进行测量,以评价数据的质量。

在《GB/T36344-信息技术数据质量评价指标》中,国家标准化管理委员会明确了数据质量评价指标框架。

规范性:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。

完整性:按照数据规则要求,数据元素被赋予数值的程度。

准确性:数据准确表示其所描述的真实实体(实际对象)真实值的程度。

一致性:数据与其他特定上下文中使用的数据无矛盾的程度。

时效性:数据在时间变化中的正确程度。

可访问性:数据能被访问的程度。

国际数据管理协会(DAMA)在其发布的《DAMA数据管理知识体系指南》提出了其数据质量评估框架:

对于数据质量的评估指标在国家标准、国际实践中存在一定的差异,企业应根据自身业务实际情况,在内部管理要求下建设适合的数据质量评估体系、维度和指标。

数据质量问题产生的原因

数据质量问题导致的后果是显而易见的,那么导致数据质量问题的根本原因是哪些呢?影响数据质量的主要因素是技术、业务和管理三个方面,以下从这三个方面来分析产生的原因。

技术方面

数据源存在数据质量问题,例如:有些数据是从生产系统采集过来的,在生产系统中这些数据就存在重复、不完整、不准确等问题,而采集过程有没有对这些问题做清洗处理,这种情况也比较常见。

数据采集过程质量问题, 例如:采集参数和流程设置的不正确,数据采集接口效率低,导致的数据采集失败、数据丢失、数据映射和转换失败。

数据传输过程的问题,例如:数据接口本身存在问题、参数配置错误、网络不可靠等都会造成数据传输过程中的发生数据质量问题。

数据装载过程的问题,例如:数据的清洗、转换、装载规则配置有问题。

数据存储的质量问题,例如:存储设计不合理,存储能力有限,人为后台调整数据,引起的数据丢失、数据无效、数据失真、记录重复。

业务系统存在数据孤岛,烟囱式建设,系统间的数据不一致问题严重。

业务方面

业务端数据录入不规范,一些常见的数据录入问题,如大小写、全半角、单位等。业务端输入时,系统没有嵌入相关数据校验规则,导致录入受人为因素影响大,如应输入合同金额,100000元、十万元、拾万元等。人工录入的数据质量与录数据的业务人员密切相关,录数据的人工作严谨、认真,数据质量就相对较好,反之就较差。

管理方面

企业管理思维层面没有认识到数据质量的重要性,重系统而轻数据,认为系统是万能的,存储在系统中的数据就应该是质量过硬的。

企业内部没有明晰数据的认责管理制度,没有设定相应的归口管理部门,出现数据质量问题找不到对应的负责人。

数据录入规范不统一,同一业务部门在处理相同业务时,因为规范不统一,人为因素造成数据冲突或者矛盾。

缺乏从上至下的数据规划,没有设定相应的数据质量管理目标,没有制定数据质量相关的政策、管理和考核制度。

缺乏有效的数据质量问题处理机制,从数据质量问题的发现、指派、处理、优化没有统一的流程和制度支撑,数据质量问题无法做到闭环管理和考核。

数据质量管理解决方案

针对以上从技术、业务、管理三个方面产生数据质量问题的原因剖析,有必要从事前预防控制、事中过程监控、事后监督管理三个方面进行数据质量监控以持续改进数据质量。

事前控制预防

建立企业内涵盖各业务主题的数据标准,统一指标定义、指标口径、涵盖每个业务字段的录入规范。对于手动录入的数据,尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等,必须开放的输入部分,进行必要的及时校验。另外对于系统原因造成的数据质量问题,我们需要建立数据标准体系,对于可以改造的生产系统,在数据标准的指导下进行改造,对于不能改造的系统,通过一些技术手段进行清洗转换,在数据产生的环节把控数据质量,这样效率必然是最高的。

建立企业内部的数据认责制、数据质量管理部门,制定数据质量监控流程和考核办法亦有助于数据质量的事前控制预防机制的完善。

事中过程监控

事中数据质量的控制,即在数据的维护和使用过程中去监控和处理数据质量。通过建立数据质量的流程化控制体系,对数据的新建、变更、采集、加工、装载、应用等各个环节进行流程化控制。在这个过程中可以借助数据质量管理工具中的相关模块对数据流向的各个节点进行数据质量监测,可以实时预警数据质量,从数据的源头端控制好数据质量,支持系统自动化校验和人工审核相结合的方式进行管理。在这个过程中,亦可将在数据质量管理工具中嵌入企业的数据质量问题处理机制相关流程和审批流,有效辅助和监控数据质量。

事后监督管理

对于已经存储在 数仓 中的数据,发现质量问题,就得使用数据质量管控工具了。在数据仓库或数据中心建立时,就按照数据标准对关键字段进行统一命名、格式、精度等,排除数据的歧义。根据数据标准,在数据质量管理工具中建立相应的规则模型,对于导入的历史数据,可以借助运行规则模型发现数据质量问题,并在平台中对于数据质量问题进行全流程的追踪。

结语

数据质量管理是企业数据治理一个重要的组成部分,企业数据治理的所有工作都是围绕提升数据质量目标而开展的。要做好数据质量的管理,应抓住影响数据质量的关键因素,设置质量管理点或质量控制点,从数据的源头抓起,从根本上解决数据质量问题。

数据质量问题对于很多企业已经是迫在眉睫需要解决的问题了,是时候开展 数据治理 了。数据质量的提升并不是一蹴而就的,做一次数据整改就能解决所有数据质量问题。对于已有数据,通过数据质量管理工具进行校验和清洗,另外需要通过数据标准和数据质量建立起完善的数据质量管控体系,在各个环节进行监控,定期检查数据质量,确定解决方案,并加以改进,不断地提升数据质量。

一、属性数据内容

属性数据主要包括野外调查资料、钻孔资料、水土分析测试数据等。目前,数据库共录入基地数据表7720个、水文地质钻孔1886个(其中本次施工33个、收集以往钻孔1853个)、地层描述17 944条、水质分析样品2408个、同位素测试样品216组、地下水统测点2431个、地下水水位统测野外记录9691个、机民井调查点2346个、抽水试验综合成果表1185个、地表水点综合调查点129个、土地荒漠化盐渍化调查点88个、试坑渗水试验数据表9个、土壤易溶盐分析样194个、野外路线调查表119个(见属性数据工作量表14—2)。

表14—2 数据库属性数据工作量一览表

续表

二、空间数据内容

空间数据包括基础地理信息、野外调查、施工类和综合研究成果类。本次所提交的图形数据主要是设计书中所要求提交的成果图件,根据数据库系统对空间数据图层文件的设置,完成的图层空间数据见表14—3。

表14—3 空间数据工作量一览表

三、数据库综合质量分析

(一)属性数据质量

数据库在建设过程中,始终注意数据质量的检查和控制,数据库数据质量总体较好,数据可用性较高。水质分析综合成果表、土壤分析成果表、同位素测试成果表等录入质量好。野外调查表、统测数据等均符合要求,对检查过程中发现的漏项和错误均进行了补充和修改。在录入的1886个钻孔中,平均深度为1931 m,其中867%的钻孔孔深在200 m以内,124%的钻孔孔深在200~500 m 之间(表14—4),钻孔深度分段合理,可以控制以第四系含水层为主,兼顾新近系泰康组、大安组含水层的结构;钻孔地层描述填表率达到933%,钻孔分布均匀,仅在工作区中北部一小范围内钻孔密度略小,这是本区的实际情况。

表14—4 水文地质钻孔深度分段统计表

(二)图层数据质量

空间数据库建立严格执行了作业流程及质量保证措施,每个作业环节都进行了自检、互检,保证了空间数据库的质量。各类图元参数均符合《全国地下水资源及其环境问题调查评价技术要求》;图元录入精度较高,面图元拓扑关系正确,无悬挂弧段;各类专业图层均按《地下水资源调查数据库标准》存放,图层数据完整,投影参数准确。每个图层所赋属性均执行上述标准,属性结构正确,属性表数据项内容完整,图元代码引用恰当,符合数据库建库要求。图元与属性一一对应,联接准确无误。

储量统计质量评价指标主要包括以下几个方面:

1 储量估算方法:储量估算方法是衡量储量统计质量的重要指标之一。常见的储量估算方法有直接测定法、间接推断法和综合分析法等,不同的方法适用于不同类型和规模的油气田。

2 数据可靠性:数据可靠性是评价储量统计质量的关键因素之一。数据来源应该具有权威性和可信度,并且需要经过充分验证和审查,以确保其准确性和完整性。

3 技术水平:技术水平是评价储量统计质量的另一个重要因素。在进行油气勘探开发时,需要采用先进的技术手段来提高勘探效率和精度,并且对新技术进行及时跟踪与应用。

4 经济效益:经济效益也是衡量储备资源价值及其开发潜力的重要指标之一。通过对油气田产能、成本、市场需求等多方面因素进行综合考虑,可以得出相应区块或井位是否具有商业开发前景等结论。

5 管理体系:管理体系也会影响到油气田资源管理工作中各项决策结果以及后期生产运营情况。建立健全科学有效地管理制度与流程将为企业提供更好地支持与保障,在实现长远利益最大化上起到至关重要作用。

总之,在进行油气田资源调查与评估时,以上这些指标都需要被充分考虑并加以综合分析才能得出较为准确可靠地结论。

以上就是关于如何描述空间数据质量全部的内容,包括:如何描述空间数据质量、耕地质量等别更新评价数据库包括哪些内容、数据治理周周谈(三):数据质量管理等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/sjk/9671869.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-30
下一篇 2023-04-30

发表评论

登录后才能评论

评论列表(0条)

保存