奇虎360Web平台部基础架构团队访谈：开源线上数据库中间件Atlas

近日，奇虎360Web平台部基础架构团队发布了最新开源项目——Atlas(代码托管地址)，一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很

近日，奇虎360Web平台部基础架构团队发布了最新开源项目——Atlas(代码托管地址)，一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。日前，CSDN记者联系到奇虎360Web平台部基础架构团队的王超，就Atlas、MySQL集群架构以及开源等一系列问题作了采访，以下是采访内容：

CSDN：请您介绍一下自己及奇虎360线上数据库中间件开发团队。

奇虎360王超：大家好，我是王超。我于2011年加入奇虎360，当前在Web平台部负责基础架构团队，我们团队的主要职责是给Web后端业务提供高可靠、高性能的基础服务支持。

我们团队开发、维护着许多系统，除了分布式数据库、消息队列这些居家必备的基础服务之外，我们还做了一些好玩的东西。这次开源的MySQL中间件Atlas就是其中一项，它能真正让业务实现访问MySQL集群的高可靠和高可用，并且将业务开发工程师和MySQL运维工程师的工作完全隔离，做到互相透明，互不影响。当前主要由两位工程师在做持续开发和维护。

CSDN：360为什么要单独设计这样一款线上数据库中间件？它具有哪些功能点?

奇虎360王超：MySQL集群化应用一直都很普遍，为了提高应用系统的性能，开发工程师往往使出浑身解数在应用代码层做读写分离、负载均衡、分库分表，需要对后端MySQL集群架构有清晰的掌握，一旦某台MySQL Server宕机，不仅运维工程师需要感知，开发工程师也需要及时作出响应。为了提高业务团队的开发效率、减少人力成本，并且让运维工程师更灵活的施展手脚，这样一款中间件的重要性是我们可以预见的。

除了上述提到的特点，Atlas还支持黑白名单，它可以让我们自定义危险语句，比如delete忘了加where这样的SQL，从而提高安全性。

同时，它能让MySQL集群应用更加可靠和便捷，大家在实际使用中自然能感受到。

CSDN：为何选择把奇虎360线上数据库中间件开源？

奇虎360王超：第一、Atlas的广泛应用，为我们的业务开发效率、运维灵活性、集群可靠性带来了质的改变，所以我们希望它的开源同时能帮助到大家 

第二、取之开源，回馈开源，这是应该的。希望大家一起参与进来。

CSDN：与同类数据库中间件相比，它具有哪些特性？解决了哪些技术难点？

奇虎360王超：当前能够供大家用的数据库中间件很少，更不用说开源的了。相比同类开源软件，Atlas有以下特点：

a. 轻量级，只有三万多行C代码

b. 配置、管理简单

c. 使用原生MySQL协议，客户端无需作出额外的代码变动

CSDN：该数据库中间件使用了哪些开源技术？其架构是怎样的？

奇虎360王超：基于开源软件MySQL-Proxy进行开发，其使用了MySQL原生协议，也就是说使用Atlas无需对原有的应用代码逻辑进行变更。

架构同样延用了Proxy方式，运行在Client与Server之间，负责请求的调度。

CSDN：在设计过程中遇到了哪些难点？是如何解决的？

奇虎360王超：设计和开发过程是痛并快乐的，因为MySQL-Proxy一直是Alpha版本，我们在最初调研、选型阶段就意识到基于此版本开发，过程会非常曲折，事实证明确实如此，不支持多字符集、多线程崩溃、epoll惊群、Lua全局锁、伪连接池等，这仅仅是功能性问题，性能方面也不给力，比如几百的QPS、并发高时latency会恶化到十秒级。

基于开源软件做，优势是一些功能不用重头开发，比如MySQL协议解析模块，但也有局限，由于内部架构已经成型，有些功能想优化成本也很高。期间也跟MySQL官方提交过一些BUG，但基本都石沉大海，即使有回复确认也没有相应patch。当时国内有一家大型互联网公司也有类似的项目，一开始同样基于MySQL-Proxy去做，但中间因为一些原因换用Erlang重写了。

我们当时有点犹豫，也想放弃重头写，但后来还是坚持了。现在想想还是值得的，因为从MySQL-Proxy中我们也学到了很多。

对于问题的解决，除了要清晰掌握代码、软件内部结构之外，还要善用工具，及时变换思路

CSDN：该数据库中间件是什么时候开始投入使用的，现已应用到公司内部哪些产品中？ 

奇虎360王超：Atlas项目是2011年启动的，两个月后完成了第一版，并小范围上线。之后完成了三个比较大的改版，在2012年年底前覆盖了公司大多数MySQL应用。

CSDN：对该款数据库中间件，未来有什么规划吗？

奇虎360王超：我们发布的版本在内部已经是稳定版本，开源出来之后，由于大家运行环境各不相同，可能会产生编译或其他一些问题。我们收到反馈后，会及时解决。

另外，我们考虑是否给Atlas加入跨服务器的auto sharding功能，由于当前不乏一些分布式架构成熟的数据库，是否有必要做最终取决于需求。

CSDN：360公司内部对开源是怎样的态度？未来有什么计划？

奇虎360王超：拥抱开源！开源有助于我们提高代码质量，同时让我们受益，我们有责任、有义务回馈开源社区。未来将会有更多的项目加入进来。

CSDN：多谢王超和奇虎360Web平台部基础架构团队！希望未来有更多的好的产品实现开源！（付江、陈秋歌/文）