mysql 如何动态修改复制过滤器
MySQL动态修改复制过滤器
说说今天遇到的问题吧,今天在处理一个业务方的需求,比较变态,我大概描述一下:
1、线上的阿里云rds上面有个游戏的日志库,里面的表都是日表的形式,数据量比较大了,每次备份的时候,都会导致线上的rds报警,报警内容是IO资源占用过多。
2、这个rds上有一个本地的ECS只读从库,这个只读从库会实时同步线上的rds数据库中的数据,这个只读从库供业务方查询使用
3、业务方说这些数据都还有用,只读从库上的数据必须有,线上rds上的数据可以删除,保留两个星期即可。
场景就是这么个场景,DBA想要解决报警这个问题,业务方想要保证拥有完整的数据。请问,怎么解决?
当时看到这个问题,我想骂人,这需求一看就不合理,哪儿有删除一个库,另外一个库上还保留的道理,况且都是些日志数据,不直接搞个冷备份,然后删除线上,搞这么一出干啥啊。但是啊,怎么说也没有缓和的余地,于是就开始思考这个问题应该怎么解决。我想到的解决办法有以下几个:
1、扩容,提升性能。数据量大,扩磁盘呗,IO使用率高,提升性能么,这是最直接的解决办法,也是最贵的解决办法,首先被砍掉。
2、先备份再删除再还原。rds主库上提前备份日表数据,然后删除数据,此时从库会同步删除数据,然后再将第一步备份的数据还原到从库上。这个办法从可行性上来讲是可以的,因为保证了没有数据丢失。但是操作起来比较麻烦,手续太多,不够方便。
3、使用replicate-ignore-table参数进行对于指定的表进行过滤。设置了这个参数,可以让你过滤指定数据表的所有操作。我们看看官方文档对这个参数的描述,给个链接:https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-ignore-table
描述如下:
Creates a replication filter which keeps the slave thread from replicating a statement in which any table matches the given wildcard pattern. To specify more than one table to ignore, use this option multiple times,
上面的意思是你可以使用这个参数创建一个过滤器,从而过滤掉匹配你制定的规则的特定表的操作(听着很绕口),就是说你可以制定过滤规则,加入规则中制定了表a,那么表a的操作就不会同步到从库中了。
这和我们的需求符合,也就是我们如果设置了要过滤的表,那么当我们进行删除表操作的时候,从库中不会对表进行删除,就实现了我们想要的结果。测试一下这个功能吧:
首先我们创建数据库test_ignore,然后在其中创建表:
主库上操作:
mysql :test_ignore >>show tables; Empty set (0.00 sec) mysql :test_ignore >>create table aaa (id int not null); Query OK, 0 rows affected (0.19 sec) mysql :test_ignore >>create table aab (id int not null); Query OK, 0 rows affected (0.01 sec) mysql :test_ignore >>create table aac (id int not null); Query OK, 0 rows affected (0.00 sec) mysql :test_ignore >>create table aad (id int not null); Query OK, 0 rows affected (0.01 sec) mysql :test_ignore >>create table aae (id int not null); Query OK, 0 rows affected (0.01 sec)
您可能感兴趣的文章
- 05-31MySQL中的 inner join 和 left join的区别解析(小结果集驱动大结果集)
- 05-31MySQL索引失效十种场景与优化方案
- 05-31MYSQL 高级文本查询之regexp_like和REGEXP详解
- 05-31MySQL获取binlog的开始时间和结束时间(最新方法)
- 05-31MySQL索引查询的具体使用
- 05-31基于MySQL和Redis扣减库存的实践
- 05-31关于MySQL的存储过程与存储函数
- 05-31MySQL实战文章(非常全的基础入门类教程)
- 05-31MySQL Flink Watermark实现事件时间处理的关键技术
- 05-31MySQL Flink实时流处理的核心技术之窗口机制
阅读排行
推荐教程
- 05-30Navicat for MySQL 11注册码激活码汇总
- 05-27Mysql误删数据快速恢复
- 05-31VS2022连接数据库MySQL并进行基本的表的操作指南
- 05-30解决seata不能使用mysql8版本的问题方法
- 05-30MYSQL字符集设置的方法详解(终端的字符集)
- 05-30解决MySQL启动报错:ERROR 2003 (HY000): Can't con
- 05-30关于Mysql-connector-java驱动版本问题总结
- 11-22mac下安装mysql忘记密码的修改方法
- 05-30MySQL中的隐藏列的具体查看
- 11-22mysql exists与not exists实例详解