MySQL数据库性能优化之分区分表分库

分表是分散数据库压力的好方法。

分表，最直白的意思，就是将一个表结构分为多个表，然后，可以再同一个库里，也可以放到不同的库。

当然，首先要知道什么情况下，才需要分表。个人觉得单表记录条数达到百万到千万级别时就要使用分表了。

分表的分类

1、纵向分表

将本来可以在同一个表的内容，人为划分为多个表。（所谓的本来，是指按照关系型数据库的第三范式要求，是应该在同一个表的。）

分表理由：根据数据的活跃度进行分离，（因为不同活跃的数据，处理方式是不同的）

案例：

对于一个博客系统，文章标题，作者，分类，创建时间等，是变化频率慢，查询次数多，而且最好有很好的实时性的数据，我们把它叫做冷数据。而博客的浏览量，回复数等，类似的统计信息，或者别的变化频率比较高的数据，我们把它叫做活跃数据。所以，在进行数据库结构设计的时候，就应该考虑分表，首先是纵向分表的处理。

这样纵向分表后：

首先存储引擎的使用不同，冷数据使用MyIsam 可以有更好的查询数据。活跃数据，可以使用Innodb ,可以有更好的更新速度。

其次，对冷数据进行更多的从库配置，因为更多的 *** 作时查询，这样来加快查询速度。对热数据，可以相对有更多的主库的横向分表处理。

其实，对于一些特殊的活跃数据，也可以考虑使用memcache ,redis之类的缓存，等累计到一定量再去更新数据库。或者mongodb 一类的nosql 数据库，这里只是举例，就先不说这个。

2、横向分表

字面意思，就可以看出来，是把大的表结构，横向切割为同样结构的不同表，如，用户信息表，user_1,user_2等。表结构是完全一样，但是，根据某些特定的规则来划分的表，如根据用户ID来取模划分。

分表理由：根据数据量的规模来划分，保证单表的容量不会太大，从而来保证单表的查询等处理能力。

案例：同上面的例子，博客系统。当博客的量达到很大时候，就应该采取横向分割来降低每个单表的压力，来提升性能。例如博客的冷数据表，假如分为100个表，当同时有100万个用户在浏览时，如果是单表的话，会进行100万次请求，而现在分表后，就可能是每个表进行1万个数据的请求（因为，不可能绝对的平均，只是假设），这样压力就降低了很多很多。

延伸：为什么要分表和分区？

日常开发中我们经常会遇到大表的情况，所谓的大表是指存储了百万级乃至千万级条记录的表。这样的表过于庞大，导致数据库在查询和插入的时候耗时太长，性能低下，如果涉及联合查询的情况，性能会更加糟糕。分表和表分区的目的就是减少数据库的负担，提高数据库的效率，通常点来讲就是提高表的增删改查效率。

什么是分表？

分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，我们可以称为子表，每个表都对应三个文件，MYD数据文件，MYI索引文件，frm表结构文件。这些子表可以分布在同一块磁盘上，也可以在不同的机器上。app读写的时候根据事先定义好的规则得到对应的子表名，然后去 *** 作它。

什么是分区？

分区和分表相似，都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表，而分区是将数据分段划分在多个位置存放，可以是同一块磁盘也可以在不同的机器。分区后，表面上还是一张表，但数据散列到多个位置了。app读写的时候 *** 作的还是大表名字，db自动去组织分区的数据。

MySQL分表和分区有什么联系呢？

1、都能提高mysql的性高，在高并发状态下都有一个良好的表现。

2、分表和分区不矛盾，可以相互配合的，对于那些大访问量，并且表数据比较多的表，我们可以采取分表和分区结合的方式（如果merge这种分表方式，不能和分区配合的话，可以用其他的分表试），访问量不大，但是表数据很多的表，我们可以采取分区的方式等。

3、分表技术是比较麻烦的，需要手动去创建子表，app服务端读写时候需要计算子表名。采用merge好一些，但也要创建子表和配置子表间的union关系。

4、表分区相对于分表， *** 作方便，不需要创建子表。

我们知道对于大型的互联网应用，数据库单表的数据量可能达到千万甚至上亿级别，同时面临这高并发的压力。Master-Slave结构只能对数据库的读能力进行扩展，写 *** 作还是集中在Master中，Master并不能无限制的挂接Slave库，如果需要对数据库的吞吐能力进行进一步的扩展，可以考虑采用分库分表的策略。

1、分表

在分表之前，首先要选中合适的分表策略（以哪个字典为分表字段，需要将数据分为多少张表），使数据能够均衡的分布在多张表中，并且不影响正常的查询。在企业级应用中，往往使用org_id(组织主键)做为分表字段，在互联网应用中往往是userid。在确定分表策略后，当数据进行存储及查询时，需要确定到哪张表里去查找数据，

数据存放的数据表 = 分表字段的内容 % 分表数量

2、分库

分表能够解决单表数据量过大带来的查询效率下降的问题，但是不能给数据库的并发访问带来质的提升，面对高并发的写访问，当Master无法承担高并发的写入请求时，不管如何扩展Slave服务器，都没有意义了。我们通过对数据库进行拆分，来提高数据库的写入能力，即所谓的分库。分库采用对关键字取模的方式，对数据库进行路由。

数据存放的数据库=分库字段的内容%数据库的数量

3、即分表又分库

数据库分表可以解决单表海量数据的查询性能问题，分库可以解决单台数据库的并发访问压力问题。

当数据库同时面临海量数据存储和高并发访问的时候，需要同时采取分表和分库策略。一般分表分库策略如下：

中间变量 = 关键字%（数据库数量单库数据表数量）

库 = 取整（中间变量/单库数据表数量）

表 = （中间变量%单库数据表数量）

实例：

1、分库分表

很明显，一个主表（也就是很重要的表，例如用户表）无限制的增长势必严重影响性能，分库与分表是一个很不错的解决途径，也就是性能优化途径，现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢，同事的做法是将其散列到100个表中，分别从members0到members99，然后根据mid分发记录到这些表中，牛逼的代码大概是这样子：

复制代码 代码如下:

<php

for($i=0;$i< 100; $i++ ){

//echo "CREATE TABLE db2members{$i} LIKE db1members

";

echo "INSERT INTO members{$i} SELECT FROM members WHERE mid%100={$i}

";

}

>

2、不停机修改mysql表结构

同样还是members表，前期设计的表结构不尽合理，随着数据库不断运行，其冗余数据也是增长巨大，同事使用了下面的方法来处理：

先创建一个临时表：

/创建临时表/

CREATE TABLE members_tmp LIKE members

然后修改members_tmp的表结构为新结构，接着使用上面那个for循环来导出数据，因为1000万的数据一次性导出是不对的，mid是主键，一个区间一个区间的导，基本是一次导出5万条吧，这里略去了

接着重命名将新表替换上去：

/这是个颇为经典的语句哈/

RENAME TABLE members TO members_bak,members_tmp TO members;

就是这样，基本可以做到无损失，无需停机更新表结构，但实际上RENAME期间表是被锁死的，所以选择在线少的时候 *** 作是一个技巧。经过这个 *** 作，使得原先8G多的表，一下子变成了2G多。

大余县人民政府

您当前所在位置： 首页 > 部门信息公开目录 > 县供销社 > 工作动态

索 引 号：

B23000-2022-5095849

文件编号：

分类：

生成日期：

2022-07-25

公开方式：

主动公开

公开时限：

常年公开

公开范围：

面向全社会

责任部门：

用数字化推动果蔬冷链物流变革

访问量：49

来源：江西省供销集团

近年来，随着信息技术的快速发展，大数据作为其中的一部分，被广泛应用到一些高新技术产业，也已经深入到包括农业在内的各个行业。根据农业的产业链条划分，目前农业大数据主要集中在农业资源与环境、农业生产、农业市场及农业管理等领域。农业大数据是农业不可或缺的支持，也必将成为农业现代化的助推器。将大数据融入到农产品冷链物流中，不仅可以高效整合物流资源，降低供应链各环节企业的物流成本，还有利于搭建农产品流通平台，保障农产品的配送质量。

2014年，国家就印发了《关于进一步促进冷链运输物流企业健康发展的指导意见》，指出要加强物联网、云计算、大数据、移动互联等先进信息技术在冷链运输物流领域的应用。

2020年的中央一号文件也指出，要依托现有资源建设农业农村大数据中心，加快物联网、大数据、区块链、人工智能、第五代移动通信网络、智慧气象等现代信息技术在农业领域的应用。水果冷链供应链是农产品冷链供应链的重要组成部分，不断优化供应链，对保障果品质量安全至关重要。

探究大数据在我国水果冷链供应链中的应用，以此提出针对性发展建议，具有重要的现实意义。

冷链物流及大数据应用

01

冷链物流的定义

冷链物流一般指冷藏或冷冻类食品在生产、贮藏、运输及销售的各个环节中始终处于规定的低温环境下，以保证食品的新鲜和质量，减少损耗的一项系统工程。冷链物流是一项复杂的系统工程，需要供应链各环节之间的高度协调、高效运作。随着经济发展水平和消费者健康意识的提升，对水果的品质和新鲜度的要求也越来越高，水果冷链物流也已引起人们的普遍关注。作为一个食品消费大国，水果冷链物流在我国拥有广阔的发展前景。

02

水果冷链物流的产生

我国长期以来就是水果生产大国，苹果、柑橘、梨等果树产量均居世界首位。数据显示，近年来，水果总产量由2003年的148亿t提高到了2018年的244亿t，占世界总产量的比重由2387%提高到了2807%。苹果、柑橘和梨的产量及所占比重整体呈增长趋势，至2018年，苹果、柑橘和梨的产量分别达到039亿t、042亿t和016亿t，占世界总产量的比重分别为4555%、2749%和6824%。

由于新鲜水果含水量高、湿度大，易腐烂变质，常温贮藏时间较短，我国果蔬的产后流通损耗率为20%~30%。同时，我国水果流通规模较大，除了出口至其他各国以外，在国内的流通量非常大。冷链物流有利于减少水果产后损失，带动水果随季节均衡销售和促进农民增收。因此，我国果树产业可持续健康发展需要冷链物流的支持。

03

水果冷链物流对大数据应用的需求

近年来，随着生鲜电商平台的大量涌现，尽管有RFID、GPS等技术为支撑，仅冷链物流单一业态已经无法满足消费者对生鲜农产品品质保障的更高要求，因此冷链物流融入大数据分析的多业态模式应运而生。

水果作为重要的生鲜农产品之一，其冷链供应链对大数据应用的需求尤为突出。一方面，水果配送条件极为苛刻，光照、温度、湿度等细微变化将直接影响果实品质及腐损率，而基于海量实时反馈的大数据分析能不断优化配送环境，直至最佳。另一方面，因大部分水果产地局限于小范围地区，导致配送距离较远，而基于路径优化的大数据分析能将水果快速、准确地送达目的地，以确保水果品质几乎不变。此外，水果冷链供应链的后台 *** 作、人员调配及运营管理等环节的大数据应用，还将带来溢出效益及工作效率的进一步提高。

04

我国水果冷链供应链发展现状

我国现代果蔬冷链物流技术起步于20世纪80年代，至今发展还比较缓慢，国际竞争力较弱，与水果生产大国的地位极不相称。2017年，我国果蔬的冷链流通率为22%，冷藏运输率为35%，而在欧美、日本等发达国家易腐食品冷链流通率为95%~98%，冷藏运输率也已超过90%，差距较大。

基础设施落后

完备的冷链基础设施是保障水果跨地域流通的关键，目前我国各项冷链设施还比较落后，这也是制约水果流通率和运输率低的主要原因。

2015—2019年，我国冷库的总量呈逐年上升的趋势。2019年，冷库总量约6053万t，新增库容8145万t，但与实际需求量差距较大。从冷藏车的数目来看，区域差异比较明显。2017年，华东、华南、华中和华北地区的冷藏车分别为268万、140万、162万、110万辆，而西北、西南和东北地区分别为022万、027万、017万辆。

目前，我国已有的冷藏容量仅占货物需求的20%~30%，商用的冷藏库主要集中在农产品资源较集中的区域或经济较发达的地区。

冷链供应链体系不健全

冷链供应链是通过最大化的标准化和集约化来降低成本、实现利润的。目前，我国水果冷链供应链的体系还不够健全。一方面，缺乏系统规范化的管理，相关法律法规和规范化体系不够健全甚至缺失。如冷链供应链各环节温度调控和产品质量检测标准缺失，无法保障水果品质，降低了产品价值。另一方面，各物流企业之间缺乏交流和合作，导致冷链技术和资源利用率低，增加了冷链物流成本。

冷链信息化程度低

水果的冷链物流不仅需要科学有效的保鲜措施，更需要快速响应消费市场动态的信息系统，以满足冷链物流时效性高的特点。目前，我国冷链物流还未建立起统一的信息化系统，信息的不对称导致水果的供需矛盾，长期以来，极易造成水果“滞销”。解决线上和线下的信息交流是化解供需矛盾的关键所在。

05

大数据在水果冷链供应链中的应用

随着我们农业供给侧结构性改革的提出，各行业都在转变生产方式，种植业也是如此。大数据以及互联网元素的应用，让水果的冷链物流供应链有了更多优化的空间，这也是现阶段破解我国水果冷链物流发展缓慢的重要途径之一。

利用大数据进行果品质量安全控制

水果冷链物流不仅要提升运输效率，还要保障物流过程中果品的质量及安全。利用物联网、智能追溯等技术，收集水果生产数据源。在果品进入冷藏仓库时，再利用射频识别技术根据RFID标签携带的全部产品信息，监控果品的贮存环境。以此为依据建立农产品质量和安全信息数据库，从而将水果生产信息和物流信息相关联，构建一体化的信息链。

以陕西省苹果为例，该省苹果产业规模大，市场化程度高，具有应用大数据的基础。2019年初，国家级苹果产业大数据中心落户陕西省。目前，苹果产业大数据平台已覆盖了苹果生产资料投入到贸易等全产业链环节，能够实现对苹果种植的精准化管理，提高果品质量。通过该平台也能够对陕西省苹果进行品牌认证和质量分级，及时剔除不合格产品，保障冷链流通产品的质量和安全。同时，利用区块链技术可解决品牌认证的数据可信问题，快速提升品牌价值。陕西省也将建设苹果数字试验站和智慧果园，对果库进行数字化改造，实现生产智能化、管理高效化、经营网络化和服务多元化。

利用大数据优化仓储

仓储物流是冷链物流运作中的一个重要环节，随着物流的智能化发展，大数据技术在仓储物流中的作用也日益凸显。依据大数据及其他先进的科学技术构建的农产品仓储物流管理系统，极大地促进了农产品一体化的发展。这一系统能够实现对物流信息的快速检索和上传，为物流整体的运作提供技术支持，不仅工作效率高，还有效节省了企业物流环节中的运作成本。

利用大数据优化水果物流运输

利用GPS技术、车载移动终端构建水果智能运输系统，实现对冷藏车辆的配送和动态管理，从而提升物流效率，减少浪费。在果品配送之前，建立包括载重、容量、贮存条件等信息在内的冷藏车辆数据系统。在此基础上，将每辆车与对应的司机相关联，进行“一对一”匹配，通过车辆与司机身份的绑定，能够为果品运输安全提供一定的保障，也为物流企业降低了运营风险。在配送中，利用GPS定位和可视化技术对冷链运输中车辆的位置、运行速度、运行轨迹及人员进行远程监控，为物流企业进行车辆调度和指挥提供及时有效的反馈信息。

贵州省是全国大数据创新创业的“试验田”，为加快实施智慧农业工程，该省积极推进物联网、大数据、3S技术等信息技术的融合及在农业全产业链中的应用，农业智能化水平不断提高，并充分运用大数据，加快冷链信息平台建设。

以修文县的猕猴桃为例，过去一直受易软易腐、不耐贮藏的困扰。但目前，通过大数据调度“冷链运输体系”，72h内就能将猕猴桃运送至北京、上海等地。从黔北现代物流新城物流大数据中心的显示屏上，就可以看到猕猴桃从采摘到消费者手中的全过程。

利用大数据实现果品信息的实时动态反馈

冷链物流对水果的温度、湿度、光照等有着严格的要求，这些因素对保证水果的品质至关重要。如何保障果品在运输过程中始终处于低温状态，是整个冷链体系的重点与难点。传统的冷藏车无法实现对果品在运输中的情况进行实时监控。通过在物流车辆内安装温度、湿度传感器和光照传感器，及时将相关信息传送至控制中心，就能够根据实时情况作出调整，达到降低果品损耗的目的。

截至2017年底，山东省有80%以上的冷链物流企业在冷库、冷藏车等冷链设施中安装了温湿度传感器、记录仪等监控设备，所有温湿度信息实现了在山东省级农产品冷链物流公共信息服务平台的实时监控。

利用大数据推动冷库果品精准化销售

利用大数据技术可实现对全国水果价格、成本以及市场供需开展动态监测，进行供需匹配，可避免因供需失衡和价格剧烈波动导致市场混乱，实现冷库与市场的有效对接。

利用大数据技术还可了解客户的行为和反馈，深刻理解客户的需求，根据所获取的信息不断调整不同果品的方向，制定科学的销售策略。不断推进目标市场的精确定位、销售价格的精确评估和销售数量的精确预报。

06

大数据背景下水果冷链供应链发展建议

（1）

重视顶层设计

大数据时代，水果冷链物流的发展离不开农业部门、质检部门、交通运输部门和互联网各行业的协调与合作。因此，各地区需要统筹规划，建立政府-行业协会-龙头企业相联动的机制，促进各种运输方式和企业之间的公平竞争和发展。

（2）

加强水果冷链供应链基础设施建设

冷链物流水平是农业现代化的重要标志，是现代农业综合效益最大化的有效载体。大数据的应用也是建立在完备的供应链基础之上的，因此，加快冷链供应链基础设施建设是当务之急。

一方面，加快冷库的建设，尤其是西部、偏远山区和贫困区域。在这方面，政府可提供一定的财政和技术支持，可通过设立农村物流发展专项资金，并引导社会资本投入到农村冷链物流领域，适度扩大对农村物流用地、用电等政策的支持力度。

另一方面，加大对铁路、公路、航运等冷链运输设施和冷藏车、冷藏箱等冷链设备的投入，确保冷链运输的可能性。

（3）

做好大数据收集工作

完备的数据存储是进行利用高新技术的前提，也是建立水果质量可追溯体系的必然要求。因此，必须积极做好水果从生产、包装、仓储、运输到销售等环节的数据搜集工作，构成果品的生产、仓储、销售、流通和服务的一个全生命周期管理。

（4）

培养和引进高科技人才

人才是农业现代化的重要基础，为乡村振兴提供内在动力。由于大数据本身有较高的科技水平和技术含量，对人才的要求也相对较高，既需要掌握生产知识、物流知识，还需要具备一定的信息技术能力，因此应当加强这类复合型人才的培养。

一方面，高等教育应该注重加强水果冷链物流、农产品存储、电子商务、互联网技术等领域人才的培养，为冷链物流的现代化发展储备人力资源。

另一方面，应重视对直接参与水果冷链物流的公司职员、农民、货运司机等进行专业化技术培训，内容包括水果保鲜知识、信息技术利用、数据分析和设备维护等。同时，还可引进国外高技术人才，为大数据在我国冷链物流中的应用提供帮助，以实现资源的共享。

相关文章

主办：大余县人民政府  承办：大余县大数据中心  ICP备案号：赣ICP备2022005155号-2

公网安备 336072302000001  政府网站标识码：3607230023  ****：0797-8711398   网站地图

这个方法可就多了，一个是需要做集群处理，也就是多台设备并发处理数据

还有就是讲究插入方法，比如这个insert into 不要一条条的插入，要以表的形式插入

还有比如在数据仓库中应用的多得是，建立分区表来插入数据

或者使用存储过程sql语句来实现表插入还有利用数据插入规律的算法优化和代码优化来处理等待，这些都是可以数据库程序员来做的。

过程中为SQL Server数据表划分为三个步骤：

1）建立分区函数

2）建立分区方案

3）对表的分区

第一步：建立分区函数

分区函数定义[U]如何[/ U]，也就是你想怎么SQL Server数据分区。这里不是一个特定的表作为一个例子，但总的技术部门总结的数据。

分区指定为每个分区用分区边界来实现。例如，假设我们有一个客户表，其中包含所有的企业客户信息，客户信息与客户的唯一标识号，客户编号从1到100万。我们可以使用下面的分区功能（这里称为customer_Partfunc）把这个表分为四个分区：

CREATE PARTITION FUNCTION customer_partfunc（INT）

AS RANGE RIGHT

输入值（ 250000，500000，750000）

这些边界划分指定了四个分区。第一个分区包含所有值？少于25万的记录。第二个分区包含所有值？之间250,000和499,999的记录。第三个分区包含所有值？500,000至749,999记录。大于或等于750,000的所有其他记录都包含在第四个分区中。

请注意，此示例使用“RANGE RIGHT”条款。这表明，该边界值是分区的右侧。同样，如果您使用“RANGE LEFT”条款，那么第一个分区将包含所有的值小于或等于25万条记录;？第二个分区将包含所有的值250001和500000之间的记录，等等？？

第二步：创建

分区方案

一旦如何分区功能分区后的数据完整的定义，下一步是创建一个分区方案，定义[ U]，其中[/ U]，这就是你要分区的数据。这是一个非常简单的过程，例如，如果我有四个文件组，从“FG1”到“FG4”的名字，那么你可以使用下面的分区方案：

创建分区计划customer_partscheme

作为间隔customer_partfunc

要（FG1，FG2，FG3，FG4）

请注意，我们现在把一个分区函数连接到分区规划，但我们还没有连接在分区方案的任何具体的数据库表。这是重复使用的功能函数时。我们可以利用这个功能来分区方案（或只是一个分区函数）对数据库表的任何数据。

第三步：表已分区

建立良好的分区方案后，就可以开始对表进行分区。这是最简单的一步，只需加上“ON”子句中的表创建语句指定表的分区方案，并申请表列的分区方案。你不需要指定分区函数，分区方案已经因为分区函数定义。

例如，假设你想使用上述的分区方案来创建一个客户表，您需要使用以下Transact-SQL语句：

CREATE TABLE客户（姓数据类型为nvarchar（40），姓氏为nvarchar（40），CUSTOMERNUMBER INT）

开customer_partscheme（CUSTOMERNUMBER）

四大主流数据库比较

一、开放性

1SQLServer

只能在windows上运行，没有丝毫的开放性， *** 作系统的系统的稳定对数据库是十分重要的。Windows9X系列产品是偏重于桌面应用，NTserver只适合中小型企业。而且windows平台的可靠性，安全性和伸缩性是非常有限的。它不象unix那样久经考验，尤其是在处理大数据库。

2Oracle

能在所有主流平台上运行（包括windows）。完全支持所有的工业标准。采用完全开放策略。可以使客户选择最适合的解决方案。对开发商全力支持。

3SybaseASE

能在所有主流平台上运行（包括windows）。但由于早期Sybase与OS集成度不高，因此VERSION1192以下版本需要较多OS和DB级补丁。在多平台的混合环境中，会有一定问题。

4DB2

能在所有主流平台上运行（包括windows）。最适于海量数据。DB2在企业级的应用最为广泛，在全球的500家最大的企业中,几乎85%以上用DB2数据库服务器，而国内到97年约占5%。

二、可伸缩性，并行性

1SQLserver

并行实施和共存模型并不成熟，很难处理日益增多的用户数和数据卷，伸缩性有限。

2Oracle

并行服务器通过使一组结点共享同一簇中的工作来扩展windownt的能力，提供高可用性和高伸缩性的簇的解决方案。如果windowsNT不能满足需要，用户可以把数据库移到UNIX中。Oracle的并行服务器对各种UNIX平台的集群机制都有着相当高的集成度。

3SybaseASE

虽然有DBSWITCH来支持其并行服务器，但DBSWITCH在技术层面还未成熟，且只支持版本125以上的ASESERVER。DBSWITCH技术需要一台服务器充当SWITCH，从而在硬件上带来一些麻烦。

4DB2

具有很好的并行性。DB2把数据库管理扩充到了并行的、多节点的环境。数据库分区是数据库的一部分，包含自己的数据、索引、配置文件、和事务日志。数据库分区有时被称为节点安全性。

三、安全认证

1SQLserver

没有获得任何安全证书。

2OracleServer

获得最高认证级别的ISO标准认证。

3SybaseASE

获得最高认证级别的ISO标准认证。

4DB2

获得最高认证级别的ISO标准认证。

四、性能

1SQLServer

多用户时性能不佳

2Oracle

性能最高，保持开放平台下的TPC-D和TPC-C的世界记录。

3SybaseASE

性能接近于SQLServer，但在UNIX平台下的并发性要优与SQLServer。

4DB2

性能较高适用于数据仓库和在线事物处理。

五、客户端支持及应用模式

1SQLServer

C/S结构，只支持windows客户，可以用ADO、DAO、OLEDB、ODBC连接。

2Oracle

多层次网络计算，支持多种工业标准，可以用ODBC、JDBC、OCI等网络客户连接。

3SybaseASE

C/S结构，可以用ODBC、Jconnect、Ct-library等网络客户连接。

4DB2

跨平台，多层结构，支持ODBC、JDBC等客户。

六、 *** 作简便

1SQLServer

*** 作简单，但只有图形界面。

2Oracle

较复杂，同时提供GUI和命令行，在windowsNT和unix下 *** 作相同。

3SybaseASE

较复杂，同时提供GUI和命令行。但GUI较差，常常无法及时状态，建议使用命令行。

4DB2

*** 作简单，同时提供GUI和命令行，在windowsNT和unix下 *** 作相同。

七、使用风险

1SQLserver

完全重写的代码，经历了长期的测试，不断延迟，许多功能需要时间来证明。并不十分兼容。

2Oracle

长时间的开发经验，完全向下兼容。得到广泛的应用。完全没有风险。

3SybaseASE

向下兼容,但是ct-library程序不益移植。

4DB2

在巨型企业得到广泛的应用，向下兼容性好。风险小

潘振祥

（河南省国土资源厅信息中心 郑州 450016）

摘 要：通过对 SPOT 5_25 m 高分辨率卫星影像数据校正采用的各类控制资料的分析，阐述了 GPS 像控点数据库建设的必要性，通过对像控点的选取、外业施测、精度评价及 GPS 像控点数据库建设等论述，提出了选用 GPS 控制点作为 SPOT5_25 m 高分辨率卫星影像数据校正控制资料，可保证影像校正精度、节省时间和减少投资。

关键词：卫星遥感 控制点 影像校正 数据库

0 引 言

随着信息技术的快速发展，卫星遥感技术得到了突破性进展，特别是 2002 年 5 月 4 日法国SPOT 5 号地球遥感卫星进入预定轨道，极大地促进了各应用行业的科技进步和管理水平。高分辨率卫星遥感在国土资源调查评价、土地利用动态监测、土地更新调查以及大中比例尺地形图测绘等方面已取得显著成绩。

针对 SPOT 5_25 m 高分辨率卫星影像数据，其几何校正主要采用二维多项式和三维数字微分纠正两种模型，采用的校正控制资料主要有 1∶1 万或更大比例尺数字栅格地形图（DRG）、土地利用数字栅格图（LUDRG）等。笔者通过相关研究，认为高分辨率卫星影像数据的校正控制资料选用像控点更合适。针对这一思路，项目组进行了一系列探讨和研究，并基于 MapGIS 平台建立了河南省部分地区 GPS 像控点数据库，为今后相关工作的开展奠定了基础。

1 现 状

目前，各种分辨率卫星影像校正基本上都是参照“满足”相关精度要求的地形图、数字栅格地形图或土地利用数字栅格图等，针对 SPOT 5_25 m 数字正射影像图的制作，国土资源部地籍司专门制定了《SPOT 5_25 m 数字正射影像图制作技术规定》，明确规定 SPOT 5_25 m 数字正射影像图要“以 1∶1 万（或更大比例尺）数字栅格地形图、土地利用数字栅格图或高精度外业控制点为控制资料”，笔者通过近年相关工作，认为目前采用的校正控制资料，尤其在河南省存在以下问题。

11 河南全省现有 1∶1 万地形图尚未全覆盖，地形图精度存在差异，现势性差

覆盖河南省的 1∶1 万地形图共计 6565 幅，而目前成图仅 5600 余幅，尚有约 15% 未成图。已有地形图大部分是 20 世纪 60～80 年代分别由测绘部门、地矿测绘单位和煤田地质测绘单位施测，成图精度存在差异，且由于纸图变形，经部分抽查，个别地形图公里格网连线与图上公里网十字点的实际偏差达 1～3 mm，极个别超过 3 mm，如果拿这些地形图作为控制资料对 SPOT5_25 m 高分辨率卫星影像进行校正，其校正精度难以满足规范要求；其次，已有地形图距今已三四十年，局部地表要素早已面目全非，寻找同名地物点较困难，即使是更新过的地形图，也仅仅对主要地物如主要道路、建制镇以上居民地等进行更新，其他大部分地物、等高线等均沿用原图。

12 土地利用现状图（数据库）难以满足精度要求

河南省土地利用现状调查于 20 世纪 80 年代末起步，90 年代中期结束，调查方法基本上采用 1∶1 万航空影像平面图或 1∶35 万彩红外航片放大片及 1∶1 万地形图进行外业调绘，然后进行室内转绘及面积量算、平差等，所有过程均人工 *** 作，受各种因素干扰，成图质量差别较大，如果用土地利用现状图（数据库）作为控制资料校正 SPOT 5_25 m 高分辨率卫星影像数据，其校正精度难以满足规范要求。

2 像控点选取

本次试验研究涉及河南省平顶山、许昌、漯河三市的八景 SPOT 5 卫星影像和覆盖试验区的1∶5 万比例尺的 DEM，共选取影像校正控制点 152 个。

像控点选取原则是点位分布相对均匀，特征明显，交通便利，数量足够，尽可能在全色光谱上选取，尽量避开高压线、大面积水域等。

为提高外业测量效率及精度，选取像控点后，将选取的像控点制作成便于携带和保存的“像控点外业测量成果表”，分别记录像控点编号、点位及放大的示意图、WGS84、1954 北京、1980年西安三套坐标和点位说明等，作为建立 GPS 像控点图形图像数据库的基础数据。

3 像控点外业施测

像控点外业测量采用附合路线法，各像控点平均间距约 13 km，顺序号前加“P”的点位表示本次测量的像控点，前面加“C”的为 C 级 GPS 控制网点，像控点与 C 级点共同组成 GPS 控制网（图 1）。

图1 像控点及所参照的 C 级 GPS 控制点分布示意图

本次 GPS 控制测量利用河南省大地控制数据 C 级 GPS 控制网点成果的三套数据（分别为WGS 84、1954 北京和 1980 年西安坐标）作为起算数据，依据《全球定位系统（GPS）测量规范》，采用静态方式同步进行观测，三台套 GPS 接收机为一组，观测时段长度为 45 分钟，卫星高度角≥ 15°，有效观测卫星总数≥ 4 个，作业员现场填写外业测量记录表，并采用数码摄影和点之记的方式详细描述像控点点位情况。测量数据采用南方测绘软件进行基线解算及平差处理并进行高程拟合，分别解算出校正控制点基于三套坐标系统的三套数据和拟合高程，本次 152 个像控点的平面位置最弱点点位中误差为 68 cm，高程拟合内符合精度 0321 m，成果精度符合规范要求。

4 影像数据处理和 DOM 制作

影像数据处理主要包括影像的配准、融合、正射纠正、镶嵌和 1∶1 万正射影像图（DOM）的制作等。由于本次采用 SPOT 5_25 m 卫星影像是单景多光谱数据与全色数据同步接收的，其图形的几何相关性较好，多光谱数据与全色配准难度小、精度高，因此采用相对配准的方法。在影像数据融合时，考虑到获取完整项目区的数据接收时段不同，空中云雾干扰以及地面光线不均匀等因素，造成景与景之间存在差别，在数据融合前对数据进行了线性拉伸、纹理增强等预处理，使整景图像亮度适中、纹理清晰、细节突出，以提高目视解译精度。图像融合处理主要采用了最基本的乘积组合算法直接对两种空间分辨率的遥感数据进行融合，融合后图像则采用直方图调整、USM 锐化、彩色平衡、色度饱和度调整和反差增强手段，以使整景图像色彩真实均匀、明暗程度适中、清晰，增强专题信息，特别是加强纹理信息。

遥感影像正射纠正是采用专业遥感影像处理软件 ERDAS 中的 LPS 正射模块进行的。本次纠正采用 SPOT 5 物理模型，控制点均匀分布于整景影像，每景 25 个控制点，对相邻景影像重叠区有 2 个以上公共控制点。正射纠正以实测 GPS 控制点和 1∶5 万 DEM 为纠正基础 , 以景为单位，对 SPOT 5_25 m 融合数据进行纠正，采样间隔为 25 m。

影像镶嵌采用的是 ERDAS 中的 LPS 正射模块批量处理模块，相邻两幅影像，均采集了两个以上的公共控制点，保证了影像镶嵌精度。

DOM 制作采用 Image Info 工具，按照国家 1∶1 万分幅标准进行裁切，覆盖完整的县级行政辖区，图幅整饰依据《高分辨率影像数据处理及数据库建设技术要求》，采用 MapGIS 软件，投影参数按照高斯－克吕格投影、1954 北京坐标系、1985 年国家高程基准的方式生成 1∶1 万标准分幅图幅整饰。

5 DOM 精度评定

DOM 精度评定采用外业实测检查点作为评定参考，评定方法为检查点选取法：通过选取DOM 影像与外业实地测量检查点的同名特征地物点，计算其校差和中误差。

51 检查点的选取和外业测量

检查点选取：随机抽取一景影像作为评定单元，选取不同于校正控制点的 30 个相对均匀分布的检查点，点位的选取原则与像控点一致，选点时尽量避开高压线、大面积水域等影响因素区域。

检查点测量：检查点的外业实地测量与像控点的测量方法一致，即采用附合路线法形成一个整体的 GPS 控制网，采用静态方式同步、同精度进行测量。

52 校正精度计算

精度评定公式如下：

河南省遥感影像规模化高效率处理技术及数据建库综合研究

式中：rms——点位中误差；

n——检查点个数；

ui——DOM影像上检查点的x、y坐标；

vi——GPS外业检查点的x、y坐标。

按照《SPOT5_25m数字正射影像图制作技术规定》1∶1万DOM的制作精度指标：平原、丘陵区点位中误差不大于±5m；山区不大于±75m；高山区不大于±10m。本次精度评定所选地区主要为平原区，局部为丘陵区，经测算，所取点位中误差为±262m，完全满足1∶1万DOM制作精度要求。校正精度评定计算表见表1。

表1 校正精度评定计算表

续表

6 GPS 像控点数据库的建立

为实现精确地理编码中的几何控制及成果检查的高效率与高精度，建立GPS像控点数据库，以满足影像纠正与配准的要求。

GPS像控点数据库建立，以河南省1∶50万地理底图作为工作底图，输入控制点空间坐标文件，并采集属性与图形文件，建立数学基准的统一像控点文件。

采集的像控点图像信息，除包括一般像控点所具有的地理坐标信息之外，还包含与待纠正影像相关的特征地物的纹理信息、分辨率信息、比例尺信息等。

采集控制点属性信息。采集控制点属性记录每个控制点的分辨率、比例尺、范围、椭球体信息、投影信息、坐标系信息（北京1954年坐标、西安1980年坐标、WGS84坐标）、数据库的生产单位、生产日期等。

图2 像控点图形图像数据库示意图

7 结束语

土地更新调查、土地利用遥感动态监测及土地违法案件执法检查等不仅要考虑遥感影像的校正精度，同时要考虑其现势性、影像处理时间和投入成本等。GPS 像控点数据库的建立，不仅满足 SPOT 5_25 m 卫星影像的校正精度要求，同时为今后同地区、同类工作的开展奠定了基础，极大地降低了投入成本，节省了影像处理时间，起到了“一劳永逸”的作用。

参 考 文 献

党安荣，等2003ERDAS IMAGING 遥感图像处理方法［M］北京：清华大学出版社

王之卓1990摄影测量原理［M］武汉：武汉测绘科技大学出版社

尤淑撑，刘顺喜2002GPS 在土地变更调查中的应用研究［J］测绘通报（5）：1～3

张继贤，等2000图形图像控制点库及应用［J］测绘通报（1）

（原载《国土资源信息化》2007 年第 3 期）

以上就是关于MySQL数据库性能优化之分区分表分库全部的内容，包括:MySQL数据库性能优化之分区分表分库、总部数据大数据中心是冷链物流的什么分区、数据库怎么处理每秒上千上万条数据，面试时候问的，GPS终端传数据，接受方怎么秒存等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！