这是一个创建于 2405 天前的主题，其中的信息可能已经有所发展或是发生改变。
有一个 rdd，里面的数据是(a,1)(b,2)(c,3)也就是相当于 hashmap 里 a=>1,b=>2,c=>3，如何往 rdd 里添加一条数据，比如添加(sum,6)?最终我想要的结果是 a=>1,b=>2,c=>3,sum=>6 目前想到两种做法，第一种是 rdd 转成标量，往标量里加，再转化成 rdd 第二种方法是统计出一个 sumRDD，然后 join 感觉 2 种都不好，所以来 v 社问问大牛
 |
1
hbsfxlz OP 没人么？顶一个
|
 |
2
kex0916 2018-04-09 18:04:01 +08:00
rdd 里面没有只添加一条记录的算子
你可以构造个 sumRDD,再把 rdd 和 sumRDD union 具体的最好根据你的数据量来确定方案 |
|
3
hbsfxlz OP 再顶最后一次，不然就沉了吧
|
 |
5
qfdk 2018-04-09 18:08:05 +08:00 via iPhone
rdd 现在不都是 df 么 记得特性是不能修改的 只能新建
|
 |
6
3a3Mp112 2018-04-09 18:09:03 +08:00
首先你的 RDD 出现这种格式的数据(a,1)(b,2)(c,3)，就代表你已经处理过一次了。
你想加入数据，也可以在这一次处理之前加入到源里面。 |
|
9
3a3Mp112 2018-04-09 18:19:40 +08:00
|
 |
10
zhusimaji 2018-04-09 18:37:39 +08:00 via iPhone
还是先 sum 然后++实现 union 操作
|
 |
11
kinge 2018-04-09 23:53:43 +08:00
mapValues
|
 |
12
startar 2018-04-10 09:59:31 +08:00 via Android
先创建一个只有一个项的 rdd (sum,6) ，然后跟原来的 union 得到一个 rdd
|
Select Language