学习 spark scala 的一些小细节

常见的两个 map 合并操作 demo

val map1 = Map("key1" -> 1, "key2" -> 3, "key3" -> 5)
val map2 = Map("key2" -> 4, "key3" -> 6, "key5" -> 10)
val mapAdd1 = map1 ++ map2.map(t => t._1 -> (t._2 + map1.getOrElse(t._1, 0)))
println(mapAdd1)

于是我就根据这个写了以下 demo （部分）

val res = rdd.reduceByKey((x,y) => {
  val map1 : Map[Long,String] = x
  val map2 : Map[Long,String] = y

  //以下常见写法，会遍历一次整个 all ？
  var all:Map[Long,String] = map2 ++ map1.map(t => {
    var names = map2.get(t._1) match { //模式匹配选择，map 的 get 方法返回的是 Option 类型
      case None => t._2                //当没又这个 key 的时候会返回 None 类型
      case Some(s) => t._2 + "," + s   //有只的时候会返回 Some 类型
    }
  t._1 -> names
  })
  
  all
})

然后查资料发现 reduceByKey 这个转换，实际上是逐个读取 rdd 里面的数据，把 data1 和 data2 f(x)之后的结果，继续和 data3 进行 f(x)，如此一直迭代下去。不知道我说的对不对，如果理解有误，麻烦指正下

所以我又有了以下改进

val res = rdd.reduceByKey((x,y) => {
  val map1 : Map[Long,String] = x
  val map2 : Map[Long,String] = y

  //把数据量少的 map 放前面，追加的 map 放后面，下面叠加的时候就能少操作一些
  var all:Map[Long,String] = map2 ++ map1   //因为 ++ 符号右覆盖左
  
  //循环新加入的 map(ps:这里实际只有一个)
  map2.keys.foreach(k =>{
    var names = map1.get(k) match { //模式匹配选择，map 的 get 方法返回的是 Option 类型
      case None => map2(k)               //当没又这个 key 的时候会返回 None 类型
      case Some(s) => map2(k) + "," + s   //有只的时候会返回 Some 类型
    }
    all += (k -> names)
  })
  
  all
})

不知道我这做法对不对。。。是不是能减少遍历？