使用 Citus 分片 PostgreSQL 数据库

[tarao616]

  当垂直扩展失败时，我们不得不开始水平扩展我们的报告数据库。这意味着我们需要在多个数据库服务器之间拆分数据和处理。我们还必须缩小包含每个单独数据库实例中统计数据的庞大数据库表。

  这种将数据库数据切片成更小单元的方法称为数据库分片。我们的团队决定使用 PostgreSQL Citus 插件来处理分片。这不是唯一的选择 — 我们考虑使用自定义应用程序级分片，但决定使用 Citus 插件，因为：
我们有大量复杂的查询，需要同时使用多个不同的分片。Citus 插件自动处理这些复杂的查询并在分片之间分配处理。 它还广泛支持我们运行复杂报告查询所需的 PostgreSQL 功能。该扩展使分片管理相对容易，因此我们不必花费太多精力来管理单独数据库实例中的分片表。

  Citus 基于 coordinator(协调器) 和 worker(工作器)PostgreSQL 数据库实例。worker 持有数据库表分片，coordinator 计划 SQL 查询，以便它们可以跨 worker 之间的多个分片表运行。 这允许将大型表分布在多个服务器上，并分布到更小、更易于管理的数据库表中。写入较小的表更有效，因为数据库索引维护成本降低。此外，写入负载是并行化的，并在数据库实例之间共享。Citus 解决了我们最大的两个痛点：写入效率低下和垂直扩展即将结束。

  Citus 的数据库分片带来了额外的好处，因为新架构加速了我们的报告查询。我们的一些查询命中了多个 worker 实例和分片，Citus 扩展可以对其进行优化以在不同的数据库实例中并行运行它们。 由于较小的表索引和更多资源可用于在单独的 worker 中进行查询处理，因此仅针对单个 worker 分片的查询也会加快速度。