请教一下在中国 AWS EMR 上使用 Spark2 的朋友一些问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

Recommended Services

› Amazon Web Services

› LeanCloud

› New Relic

› ClearDB

This topic created in 3495 days ago, the information mentioned may be changed or developed.

最近在折腾环境，希望能在 EMR 提供的 5.0 环境也就是 Spark2.0.0+Scala2.11+Hadoop2.7.2 环境下把自己的 Jar 包跑起来，但是在环境问题上踩了不少坑，看了不少帖子也没解决，要么是 hadoop 无法正常读写 S3 ，要么是本地一个空的 scala 文件打的包提到集群跑失败也没日志。
能不能提供一个脚手架项目，实现从 S3 读一个文件，做 WordCount ，写回 S3 ？另外需要 pom 到底需要倒依赖哪些包 /版本。
或者有没有一个很完整的无坑教程？
谢谢了！

Scala

emr

集群跑

环境

3 replies • 2016-10-12 10:21:51 +08:00

likuku

Oct 11, 2016

aws china / BJS 用户微信群(有多名 aws china 讲师助阵) ， aws 中文 telegram 讨论组，有兴趣加入么？

可 telegram 联系我，看我 V2EX 资料即可.

geralt0725

Oct 12, 2016

@likuku 谢谢！已经在 telegram 上联系您啦！

likuku

Oct 12, 2016

@geralt0725 已回应你了~