借助Canal实现数据的自动同步

[banyuankang9]

通过Canal同步数据，异构出多个维度的数据源。

Canal是用来获取数据库变更的中间件。伪装自己为MySQL从库，拉取主库binlog并解析、处理。处理结果可发送给MQ，方便其他服务获取数据库变更消息，这一点非常有用。下面介绍一些典型用途。

其中，Canal+MQ作为一个整体，从外界看来就是一个数据管道服务服务，如下图。

通过Canal自带的adapter，同步异构数据至ES、HBase，而不用自行实现繁琐的数据转换、同步操作。这里的adapter就是典型的适配器模式，把数据转成相应格式，并写入异构的存储系统。

当然，也可以同步数据至DB，甚至构建一份按不同字段分片路由的数据库。比如：下单时按用户id分库分表订单记录，然后借助Canal数据通道，构建一份按商家id分库分表的订单记录，用于B端业务（如商家查询自己接到哪些订单）。

缓存刷新的常规做法是，先更新DB，再删除缓存，再延迟删除（即cache-aside pattern+延迟双删），这种多步操作可能失败，而且实现相对复杂。借助Canal刷新缓存，使主服务、主流程无需关心缓存更新等一致性问题，保证最终一致性。