V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3080 days ago, the information mentioned may be changed or developed.
碰到的问题是没法正常链接 hive, 运行的方式是直接在 intellij 下 run, 而不是 命令行下 spark-submit.
-----------------------
其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.
-----------------------
其实本质问题就是直接在 intellij 下 run 的时候不会去读 mysql 的 metastore, 而是用了默认的 derby 的 metastore. 然后 mysql 的 metastore 的配置在 hive-site.xml 下, hive-site.xml 放在 SPARK_HOME/conf 下.
 |
1
suixn Dec 3, 2017 via Android
这样一般是因为 jar 包没提交上去，你用一下 setjars 试试
|
|
2
suixn Dec 3, 2017 via Android
另外就是 hive 配置文件也要放到项目资源目录，保证程序知道去哪读
|
 |
3
ufo22940268 OP 问题解决了,原来是 hive-site.xml 需要加到 classpath 里面去.这样子 spark 才会去读.
因为之前用的是 pyspark, 所以没有这个步骤 |
Select Language