将MySQL-mmm Master从REPLICATION_FAIL状态恢复

将MySQL-mmm Master从REPLICATION_FAIL状态恢复，网站突然不能访问了，页面上除了框架没有任何内容。从系统的运行日志看到的错误

总是先要交待一下背景。

几天前网站突然不能访问了，页面上除了框架没有任何内容。从系统的运行日志看到的错误信息有：

最后看到一句：

Caused by: java.sql.SQLException: The table 'message' is full

这个太不可思议了。在还没有当前用户量的情况不能出现数据库写满的情况。于是到数据库服务器Master1上查看，，通过df -h命令查看，发现/var/已经满了。这是才记起来：当时数据库创建时，所有的数据文件都放在了另外一个目录下，然后/var/lib/mysql/下面是softlink。现在这种情况，肯定当时建过表后，没有移动到那个目录下。接下来步骤就是：

1. service mysql stop停止MySQL服务

2. 将数据表文件移动到指定目录，建立softlink

3. service mysql start启动MySQL服务

4. 到MySQL-mmm上通过mmm_control set_offline db01，然后mmm_control set_online db01，将master01重新上线。

之后通过mmm_control show 查看状态，已经是ONLINE了。

这样就结束了，NO! NO! 按照糗百（我在为糗百做广告，绝对没有）的惯例这不是GC。

今天在听一个报告的时候，突然想上去看看MySQL-mmm的运行状态。mmm_control show，不愿意看到的一幕出现了，db01的状态是REPLICATION_FAIL，set_offline， set_online，重新启动MySQL服务统统失效。

到db01上查看错误日志，看到了下面的信息：

登录到数据库，执行:

mysql> start slave;

再查看错误日志，可以看到：

到MySQL-mmm监控服务器上查看状态，可以看到db01从REPLICATION_FAIL到REPLICATION_DELAY到ONLINE。等了一会儿，一直都是ONLINE状态，看来是稳定了。不过writer还是在db02。那么先把db02 set_offline，在把db02 set_online，可以看到writer切换到了db01。

有GC吗？呵呵，解决问题就好了 :-)