V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 3931 days ago, the information mentioned may be changed or developed.
https://github.com/gaohao/hhdp
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
平时写好的hadoop job, 最烦的就是拿到cluster上面测试了，因为除了自己的job还有一群人在跑他们的job，所以就决定在本地测试，而且每次又懒得一个一个写driver, 所以就自己写了个工具来测。
而且我平时接触的数据大部分是avro format，所以也写了一些关于avro的util。
现在基本上是本地unit test完了，再去cluster上跑，出错率也大大降低。
下一步计划是希望可以方便的测试一个workflow。
Select Language