https://github.com/gaohao/hhdp
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
Select Language