自动化测试工具Diffy

[caimiu49]

Diffy是一个开源的自动化测试工具，它能够自动检测基于Apache Thrift或者基于HTTP的服务。使用Diffy，只需要进行简单的配置，之后不需要再编写测试代码。

Diffy主要基于稳定版本和它的副本的输出，对候选版本的输出进行比较，以检查候选版本是否正确。因此，Diffy首先假设候选版本应该和稳定版本有“相似”的输出。即不论候选版本和稳定版本系统模块是否相同，他们的最终输出应该是“相似”的。

diff就是对比，在这里是对代码输出结果的对比，具体来说，就是通过对比相同输入，相同接口，不同代码的测试，对比其结果的差异，从而发现潜在的bug。

Diffy不同于我们常用的其他测试工具或框架从代码或接口的返回结果的正确性去验证，而是如其名：通过代码的差异去验证测试。

如下图所示，diffy能够比较primary（线上稳定版本）和secondary（线上稳定版本备份）的差异值，通过对这些差异值做减法来消除噪声；通过比较candidate（测试版本）和primary（线上稳定版本）得到基本的diff结果；最后通过比对基本的diff结果与消除噪声后的结果，得到最终的diff结果。

项目地址： https://github.com/twitter-archive/diffy