#分布式高性能日志复制服务DistributedLog

[caimiu49]

DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以及分布式队列。

DistributedLog会分类维护记录的序列（sequences of records），并将其称为Log（又叫做Log Stream），将记录写入到DL Log的进程称之为Writer，从Log中读取并处理记录的进程称之为Reader。

Log是有序的、不可变的日志记录（log record）。命名空间：属于同一组织的Log流通常会归类在同一个命名空间（namespace）下，并据此进行管理。Writer会将数据写入到它们所选择的Log中。Reader会从它们所选择的Log中读取记录，这会在一个给定的位置开始。

每条日志记录都是一个字节序列。日志记录会按照序列写入到日志流中，并且会分配一个名为DLSN（分布式序列号，DistributedLog Sequence Number）的唯一序列号。除了DLSN以外，应用程序还可以在构建日志记录的时候设置自己的序列号，应用程序所定义的序列号称为TransactionID（txid）。不管是DLSN还是TransactionID都能用来定位Reader，使其从特定的日志记录开始读取。

Log会被分解为Log分段，每个分段中包含了其记录的子集。Log分段是分布式的，应该放到Log分段存储中（如BookKeeper）。DistributedLog会基于配置好的策略来轮询每个Log分段，要么是可配置的时间段（如每两个小时），要么是可配置的最大规模（如每128MB）。所以Log的数据将会分为同等大小的Log分段，并且均匀分布到Log分段存储节点上。这样，Log的存储就不会局限于单台服务器的限制，同时，能够在集群中分散读取的流量。

Log的数据可以永远保存，直到应用程序显式地将其截断，也可以在一个可配置的时间段内保存。对于构建复制状态机来说，显式截断会非常有用，如分布式数据库。在数据何时能够截断这一点上，它们往往有着严格的控制。基于时间保留Log对于实时分析的场景更为有用，它们只关心一定时间内的数据。

项目地址： https://github.com/twitter/distributedlog