如何保证数据库在大批量插入和高并发查询时的性能

如何保证数据库在大批量插入和高并发查询时的性能,第1张

1、如果硬件允许搞个读写分离。

2、读取数据的时候采用脏读方式,有效提高读取性能

3、插入的时候大批量比如10W条,可以分开10次1W插入,有效提高写入性能,但尽量不要1条1条来,会造成大量事务日志

另外一个回复是简单的建议,限于代码层面跟计算资源紧张的情况。

说说我的理论:

1、想要这么大的并发量,申请买几台比较好的机器,带宽加到足够大应该不是问题。

2、网络层的负载均衡考虑一下,这应该也不是啥问题,这么大并发量,别告诉我客户网络设计很垃圾。高端点的网络设备都没有。

3、软件层的结构,看用户给什么样的机器,如果经济型的机器,考虑分布式运算,分布式再从软件层面做集群或主从。根据计算密集型还是IO密集型选择适合的设备。计算密集型的业务,需要强悍的CPU(可以用多C,未必是频率高的)+内存。IO密集型的业务需要,速度快的存储,越快越好。有极致要求的考虑固态存储设备。

4、并发设计,java中主要是线程的应用。能拆分成多任务的运算一定拆成多任务。尽量压榨cpu资源,现在的工作站不会写并发程序,真浪费cpu资源。

5、数据库并发的考量,以前说mysql不如oracle现在还有人有这论调。使用的时候把参数调整到最优状态。如缓存到内存中数据大小,内存要够,就把全部表数据加载到内存中。mysql的innodb调整两三个参数就行。数据库IO访问,mysql有测算IO能力的参数,存储够好,可以调整到很大。

6、这么大的并发量,选择适合的缓存器,可以用来缓存热点数据,或加快分布式运算的IO访问能力。(磁盘肯定没内存块,包括固态)

7、代码编写完后,对系统整体进行测试,评估,分析性能瓶颈,优化代码。

能做到以上标准,tomcat+mysql跑一堆集群也不会慢。

MySQL服务器的最大并发连接数是16384。

受服务器配置,及网络环境等制约,实际服务器支持的并发连接数会小一些。主要决定因素有:

1、服务器CPU及内存的配置。

2、网络的带宽。互联网连接中上行带宽的影响尤为明显。

扩展资料:

优化数据库结构:

组织数据库的schema、表和字段以降低I/O的开销,将相关项保存在一起,并提前规划,以便随着数据量的增长,性能可以保持较高的水平。

设计数据表应尽量使其占用的空间最小化,表的主键应尽可能短。·对于InnoDB表,主键所在的列在每个辅助索引条目中都是可复制的,因此如果有很多辅助索引,那么一个短的主键可以节省大量空间。

仅创建需要改进查询性能的索引。索引有助于检索,但是会增加插入和更新 *** 作的执行时间。

InnoDB的ChangeBuffering特性:

InnoDB提供了changebuffering的配置,可减少维护辅助索引所需的磁盘I/O。大规模的数据库可能会遇到大量的表 *** 作和大量的I/O,以保证辅助索引保持最新。当相关页面不在缓冲池里面时,InnoDB的changebuffer将会更改缓存到辅助索引条目。

从而避免因不能立即从磁盘读取页面而导致耗时的I/O *** 作。当页面被加载到缓冲池时,缓冲的更改将被合并,更新的页面之后会刷新到磁盘。这样做可提高性能,适用于MySQL55及更高版本。

参考资料来源:百度百科-MySQL数据库

以上就是关于如何保证数据库在大批量插入和高并发查询时的性能全部的内容,包括:如何保证数据库在大批量插入和高并发查询时的性能、只通过java代码,保证并发量过万的方法有哪些、mysql数据库最大能支持多少并发量等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: https://www.outofmemory.cn/sjk/9312183.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存