这是一个创建于 3677 天前的主题，其中的信息可能已经有所发展或是发生改变。
就想知道大家都如何测试的？
比如平常写好了一个pipeline，跑一次几个小时，为了避免逻辑错误之类的，都如何测试呢？
目前，我就自己写的一个driver，然后本地测。
比如平常写好了一个pipeline，跑一次几个小时，为了避免逻辑错误之类的，都如何测试呢？
目前，我就自己写的一个driver，然后本地测。
 |
1
monkeylyf 2014-10-17 07:03:09 +08:00
如果是用Java来调用Native API,个人现在的做法是把mapreduce写的尽量是纯函数调用而尽量避免mapper或者reducer里定义任何具体的逻辑. 这样外调函数可以用JUnit来测, Mapper/Reducer可以用MRUnit
总之是非常蛋疼的事情。。而且如果input数据比较脏的话一切皆有可能。。 |
 |
2
bbx OP @monkeylyf 你的做法也是我们组大部分其他人的做法. 但是有的时候想要测试一个pipeline的话，有很多个mr job，需要一个一个的运行，unit test总觉得不够好。
mrunit没试过，不知道真正用起来如何 |
|
3
monkeylyf 2014-10-17 07:14:59 +08:00
@bbx 做end-to-end unit test. 我自己写过脚本把这个pipeline的每个component都串起来然后测 这个脚本我自己写了半天 不知道有没有现成的工具 想想就蛋疼阿。。。
|
 |
4
wecoders 2014-10-17 08:25:48 +08:00
使用小数据量进行测试
|
|
7
monkeylyf 2014-10-17 12:08:26 +08:00
@bbx 私以为这种工作量比写这个pipeline还要大 如果抽象出来可以给公司级别的 提供testing framework 说不定是个好主意和机会噢
|
 |
8
sqrabs 2014-10-18 21:35:26 +08:00
都是写python代码通过hadoop streaming跑job，因为streaming是用stdin、stdout跟hadoop通信的，测试起来就直接通过stdin、stdout看输入输出就好，上层再封一层薄框架就更方便了
|
Select Language