MySQL Proxy怎样配置lua脚本来实现对SQL语句的拦截和修改?

MySQL Proxy怎样配置lua脚本来实现对SQL语句的拦截和修改?,第1张

Mysql Proxy Lua读写分离设置是本文要介绍的内容,主要是来了解Mysql Proxy的Mysql 分离设置,为了未来MySQL读写分离的需要, 先行对MySQL官方的Mysql Proxy产品进行了初步测试 以下是测试过程,二进制版Mysql Proxy可以去下载。
1、设置说明
Master服务器: 19216841196 Slave服务器: 19216841197 Proxy服务器: 19216841203
2、安装Mysql Proxy
在Proxy服务器上安装即可 如果源码方式安装, 需提前安装pkg-config,libevent,glibc,lua等依赖包, 非常麻烦, 建议直接使用二进制版
# cd /u01/software/mysql # tar -zxvf Mysql Proxy-081-linux-rhel5-x86-32bittargz -C /usr/local # cd /usr/local # ln -s Mysql Proxy-081-linux-rhel5-x86-32bit Mysql Proxy # vi + ~/bash_profile export PATH=$PATH:/usr/local/Mysql Proxy/bin/ # ~/bash_profile
3、Mysql Proxy选项说明
# Mysql Proxy help-all
管理功能选项:
admin-address=host:port 指定一个mysqo-proxy的管理端口, 缺省是4041; admin-username=<string> username to allow to log in admin-password=<string> password to allow to log in admin-lua-script=<filename> script to execute by the admin plugin
代理功能选项:
-P, proxy-address=<host:port> 是Mysql Proxy 服务器端的监听端口, 缺省是4040; -r, proxy-read-only-backend-addresses=<host:port> 只读Slave的地址和端口, 缺省为不设置; -b, proxy-backend-addresses=<host:port> 远程Master地址和端口, 可设置多个做failover和load balance, 缺省是127001:3306; proxy-skip-profiling 关闭查询分析功能, 缺省是打开的; proxy-fix-bug-25371 修正 mysql的libmysql版本大于5112的一个#25371号bug; -s, proxy-lua-script=<file> 指定一个Lua脚本来控制Mysql Proxy的运行和设置, 这个脚本在每次新建连接和脚本发生修改的的时候将重新调用;
其他选项:
defaults-file=<file>配置文件, 可以把Mysql Proxy的参数信息置入一个配置文件里; daemon Mysql Proxy以守护进程方式运行 pid-file=file 设置Mysql Proxy的存储PID文件的路径 keepalive try to restart the proxy if it crashed, 保持连接启动进程会有2个, 一号进程用来监视二号进程, 如果二号进程死掉自动重启proxy
4、数据库准备工作
(1)安装半同步补丁(建议)
读写分离不能回避的问题之一就是延迟, 可以考虑Google提供的SemiSyncReplication补丁
(2)给用户授权
在Master/Slave建立一个测试用户, 因为以后客户端发送的SQL都是通过Mysql Proxy服务器来转发, 所以要确保可以从Mysql Proxy服务器上登录MySQL主从库
mysql> grant all privileges on to 'u_test'@'19216841203' identified by 'xxx' with grant option;
(3)在Master建立测试表
mysql> create table db_testt_test (col varchar(10)); mysql> insert into db_testt_test values ('testA'); mysql> select from db_testt_test; +-+ | col | +-+ | testA | +-+
5、Mysql Proxy启动
(1)修改读写分离lua脚本
默认最小4个最大8个以上的客户端连接才会实现读写分离, 现改为最小1个最大2个:
# vi +40 /usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splittinglua connection pool if not proxyglobalconfigrwsplit then proxyglobalconfigrwsplit = { min_idle_connections = 1, max_idle_connections = 2, is_debug = true } end
这是因为Mysql Proxy会检测客户端连接, 当连接没有超过min_idle_connections预设值时, 不会进行读写分离, 即查询 *** 作会发生到Master上
(2)启动Mysql Proxy
建议使用配置文件的形式启动, 注意配置文件必须是660权限, 否则无法启动 如果有多个Slave的话, proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表
# killall Mysql Proxy # vi /etc/Mysql Proxycnf [Mysql Proxy] admin-username=wangnc admin-password=iamwangnc admin-lua-script=/usr/local/Mysql Proxy/lib/Mysql Proxy/lua/adminlua proxy-backend-addresses=19216841196:3351 proxy-read-only-backend-addresses=19216841197:3351 proxy-lua-script=/usr/local/Mysql Proxy/share/doc/Mysql Proxy/rw-splittinglua log-file=/var/tmp/Mysql Proxylog log-level=debug daemon=true keepalive=true # chmod 660 /etc/Mysql Proxycnf # Mysql Proxy defaults-file=/etc/Mysql Proxycnf # ps -ef | grep Mysql Proxy | grep -v grep root 1869 1 0 18:16 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxycnf root 1870 1869 0 18:16 00:00:00 /usr/local/Mysql Proxy/libexec/Mysql Proxy defaults-file=/etc/Mysql Proxycnf # tail -50f /var/tmp/Mysql Proxylog
6、客户端连接测试
(1)先停止Slave的复制进程
mysql> stop slave;
(2)连接Proxy端口, 插入数据
# mysql -uu_test -pxxx -h19216841203 -P4040 -Ddb_test mysql> insert into db_testt_test values ('testB'); mysql> select from db_testt_test; +-+ | col | +-+ | testA | | testB | +-+
(3)多开几个客户端, 连接Proxy端口, 查询数据
# mysql -uu_test -pxxx -h19216841203 -P4040 -Ddb_test mysql> select from db_testt_test; +-+ | col | +-+ | testA | +-+
如果查询不到上步新插入的数据, 说明连接到了Slave, 读写分离成功 在同一线程再插入数据并验证:
mysql> insert into db_testt_test values ('testC'); mysql> select from db_testt_test; +-+ | col | +-+ | testA | +-+
发现insert *** 作成功, 但是select不出刚插入的数据, 说明同一线程也读写分离成功 从日志中可以验证:
# tail -50f /var/tmp/Mysql Proxylog [read_query] 19216841203:45481 current backend = 0 client default db = db_test client username = u_test query = select from db_testt_test sending to backend : 19216841197:3351 is_slave : true server default db: db_test server username : u_test in_trans : false in_calc_found : false COM_QUERY : true [read_query] 19216841203:45481 current backend = 0 client default db = db_test client username = u_test query = insert into db_testt_test values ('testC') sending to backend : 19216841196:3351 is_slave : false server default db: db_test server username : u_test in_trans : false in_calc_found : false COM_QUERY : true
(4)测试完毕后, 启动Slave的复制进程
mysql> start slave;
7、正式环境说明
1、Mysql Proxy当前还只是个测试版, MySQL官方还不建议用到生产环境中;
2、Mysql Proxy的rw-splittinglua脚本在网上有很多版本, 但是最准确无误的版本仍然是源码包中所附带的rw-splittinglua脚本, 如果有lua脚本编程基础的话, 可以在这个脚本的基础上再进行优化;
3、Mysql Proxy实际上非常不稳定, 在高并发或有错误连接的情况下, 进程很容易自动关闭, 因此打开keepalive参数让进程自动恢复是个比较好的办法, 但还是不能从根本上解决问题, 因此通常最稳妥的做法是在每个从服务器上安装一个Mysql Proxy供自身使用, 虽然比较低效但却能保证稳定性;
4、Amoeba for MySQL是一款优秀的中间件软件, 同样可以实现读写分离, 负载均衡等功能, 并且稳定性要大大超过Mysql Proxy, 建议大家用来替代Mysql Proxy, 甚至MySQL-Cluster
小结:详解Mysql Proxy Lua读写分离设置的内容介绍完了,希望通过本文的学习能对你有所帮助!

lua上传到服务器的方法。
1、访问前端服务器。
2、修改restynginx的配置信息。
3、创建一个upfilelua,放到指定位置。
4、创建一个html文件测试即可上传到服务器。

Lua一般用于嵌入式应用,现在越来越多应用于游戏当中,魔兽世界,愤怒的小鸟都有用到。
Lua极易嵌入到其他程序,可当做一种配置语言。
还有很多需要性能的地方,比如:游戏脚本,nginx,wireshark的脚本
可以直接使用 C 代码写的函数。
比如corona 移动应用开发平台,跟PhonePap类似,不过使用Lua做开发语言,应用可以build到iOS,Android,kindle fire,nook平台; 服务器端应该也是Lua。
moai 跟corona相似,免费。
在给软件提供嵌入式脚本编程能力上,Lua是绝佳选择。如果需要脚本语言功能强大,Python是绝佳选择。Ruby在网络方面的库比较多,而Perl长于字符串处理。可以说他们各有千秋。

在Redis中,使用Lua脚本可以实现多个命令的原子性 *** 作,即要么全部执行成功,要么全部执行失败。这是因为Redis将Lua脚本作为一个整体来执行,而不是将脚本中的每个命令分别执行。因此,如果在Lua脚本中包含多个Redis命令,这些命令将会作为一个事务来执行,要么全部成功,要么全部失败回滚。
在Redis事务中,使用MULTI命令开启事务,在事务中使用EXEC命令来提交事务。如果在事务执行期间出现错误,Redis将自动回滚事务中的所有命令,保证数据的一致性。
需要注意的是,Lua脚本的原子性 *** 作只在脚本执行期间起作用,如果在脚本执行期间发生了网络中断、服务器宕机等异常情况,Redis无法保证事务的原子性。因此,在使用Lua脚本进行事务 *** 作时,需要考虑数据的可靠性和异常情况的处理。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://www.outofmemory.cn/zz/13490947.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-17
下一篇 2023-08-17

发表评论

登录后才能评论

评论列表(0条)

保存