MySQL数据库深分页查询优化

[q464824151]

MySQL 同步 ES 流程如下：
通过定时任务的形式触发同步，比如间隔半天或一天的时间频率
同步的形式为增量同步，根据更新时间的机制，比如第一次同步查询 >= 1970-01-01 00:00:00.0
记录最大的更新时间进行存储，下次更新同步以此为条件
以分页的形式获取数据，当前页数量加一，循环到最后一页
在这里问题也就出现了，MySQL 查询分页 OFFSET 越深入，性能越差，初步估计线上 MCS_PROD 表中记录在 1000w 左右
如果按照每页 10 条，OFFSET 值会拖垮查询性能，进而形成一个 "性能深渊"
同步类代码针对此问题有两种优化方式：
采用游标、流式方案进行优化
优化深分页性能

MySQL 耗费了 大量随机 I/O 在回表查询聚簇索引的数据上，而这 100000 次随机 I/O 查询数据不会出现在结果集中
如果系统并发量稍微高一点，每次查询扫描超过 100000 行，性能肯定堪忧，另外 LIMIT 分页 OFFSET 越深，性能越差