近实时大规模数据流式传输Brooklin

[yukang55599]

Brooklin 是一种近实时的大规模数据流分布式服务，LinkedIn 自 2016 年以来一直在使用这项服务，支撑每天数千个数据流和超过 2 万亿条消息。

由于对可扩展、低延迟数据处理管道的需求不断在增长，LinkedIn 的数据基础设施也一直在不断演化。以一种可信赖的方式高速传输大量数据并非易事，除此之外，他们还要解决其他问题——为快速增长的数据存储类型和消息系统提供支持同样是一个有待解决的大问题。为此，LinkedIn 开发了 Brooklin，满足了他们对在数据量和系统可变性方面具备伸缩能力的系统的需求。

Brooklin 致力于提供跨环境数据传输服务，只需要这一项服务即可应对所有复杂的情况，让应用程序开发人员可以专注于处理数据而不是移动数据。此外，这种中心化、托管式和可扩展的框架也方便各个企业实施策略和实现数据监管。例如，通过配置 Brooklin，可以在公司内部实施统一策略，比如要求任何流入的数据都必须采用 JSON 格式，或者任何流出的数据都必须加密。