如何给Python做数据分块

[为情心迷茫]

  日前在做需求过程中有一个对大量数据分块处理的场景，具体来说就是几十万量级的数据，分批处理，每次处理100个。这时就需要一个分块功能的代码，刚好项目的工具库中就有一个分块的函数。拿过函数来用，发现还挺好用的，传入列表和分块大小，然后就能遍历取出分好的数据。调用方式如下：

  然后我就对这个分块函数产生了兴趣，想看看这个小功能是如何实现的。如果让我来写一个分块函数，我知道Python中range函数可以指定步长，用这个特性就完全可以优雅的实现分块功能。

  没想到看到源码竟然才用了3行代码就实现了分块，不仅支持列表等线性结构的分块，而且还支持集合这种非线性结构的分块。这让我感到震撼，这3行代码不是最优雅的分块方法，也是接近最优雅的分块方法了。废话不多说，先上代码：

  主要有两个知识点：迭代器切片islice+迭代器生成函数iter。通过这两个函数的配合，完成了分块功能。

  islice是python内置模块itertool中的一个函数，功能是对迭代器切片，传入一个迭代器，返回从迭代器中的start位置到stop位置的元素，可缺省起始位置。

  islice可以只传入步长参数，当没有start和stop时，默认从start为起点，stop为终点。

  iter()方法用来创建迭代器，iter()本质上就是调用可迭代对象的__iter__方法，返回一个迭代器对象。迭代的意思就是：迭代是一种行为，反复执行的动作。在python中可以理解为反复取值的动作。

  可迭代对象：顾名思义就是可以从里面迭代取值的对象，在python中容器类的数据结构都是可迭代对象，如列表，字典，集合，元组等。

  迭代器：类似于从可迭代对象中取值的一种工具，严谨的说可以将可迭代对象中的值取出的对象。