最近我们公司的项目也差不多快接近尾声了, 所以从这个月开始我们公司要我们慢慢的转 hive,去做报表分析. 从我现在做的来看的话,公司已经把整个大数据的框架已经做好了,要我们做的东西就是让我们在平台上面写写 sql, 然后把报表用 hive 给做出来
所以我现在就在考虑要不要乘着个机会转大数据, 把大数据的各个框架都去研究一下,以后好找这方面的工作.
但是,问题来了, 万一到时候我在大数据上面浪费了半年, 甚至一年的时间去做大数据, 后来发现学了根本没有卵用, 去外面根本找不到好的工作,而目前的公司也只要我会写 hive 的 sql 就够了,那这我浪费了一年的时间去整这个没有什么用的东西不是很亏?
我是 16 年毕业的经济学专业的,自学的 java,做的 java 开发,平时对技术还是很热爱的,如果不加班就是在家里学技术了,也希望自己能成为一个像各位一样的精英.
所以对自己的未来究竟能怎么样还是很纠结的,希望各位能指点一下,谢谢
1
liprais 2018-11-30 00:16:44 +08:00
这俩不冲突
|
3
xiaoshenke 2018-11-30 01:28:49 +08:00 via Android
写 hive 和 sql 我并不认可为大数据开发,你还是先把 java 学好吧
|
4
noqwerty 2018-11-30 03:32:04 +08:00 via Android
公司工作不忙,不正好是学新东西提高自己的机会吗
|
5
CoderHugo 2018-11-30 03:57:27 +08:00
正好我软工刚毕业,有个风控老板让我做他贴身助理,老哥怎么看这类工作的啊。。。
我帮他办公还行,经济学知识完全没有,而且感觉助理啥也学不到,不像写代码跟着做了项目还能吹一吹。。 |
6
p2pCoder 2018-11-30 07:47:19 +08:00 via Android
这是数仓 BI 开发吧
|
7
myhot21 2018-11-30 08:13:01 +08:00 via Android
这两个并不冲突。
|
8
younfor 2018-11-30 08:28:25 +08:00
这个所谓的大数据开发,就是写 SQL。接触不到底层技术,说出来可能是 BI 开发 ,其实就是埋在业务量写 SQL。我之前写了半年逃出来了。哎。不过现在还是在做 Java 开发。人生啊,好艰难(想爆哭
|
9
neimenggudehai 2018-11-30 08:30:01 +08:00
支持 younfor,大数据最后还要落实到编码上,学好 java 是根基,然后大数据什么火,就去捞一下
|
10
luozhiyun OP @younfor 我也知道这单纯的写 sql 没啥意思,只是说,要不要自己把整个大数据体系学习一遍。但是就怕出现丢了西瓜,捡了芝麻这种情况,到头来啥都不精
|
11
VoidChen 2018-11-30 08:53:52 +08:00
给你说个实话,大数据的话 hive 只是冰山一角,我最近从 storm 转 spark,hive 花了 1 天就会用了(我是有用过 hdfs 和 hbase 所以比较快上手,算是一年大数据经验吧)
|
12
VoidChen 2018-11-30 08:56:06 +08:00
另外现在很多 java 也要会一点大数据的组件了,solr,hbase,redis 那些,自己有空得看一下
|
13
Bryan0Z 2018-11-30 08:59:50 +08:00 via Android
Java 是大数据开发的基础,hbase, influxdb,kafka,refis,hive 一大堆框架,虽然看着多,但是基本就是一天入门,没那么难学
|
14
dalieba 2018-11-30 10:02:44 +08:00 via Android
上 Kotlin
|
15
wqzjk393 2018-11-30 10:03:21 +08:00
大数据开发和 sql 这些关系不大,大数据开发岗大部分还是以搭建 hadoop 环境和 hivespark 等等插件和性能调优为主,而且多是 java 开发的。sql 这些更偏向数据处理方向的,分析挖掘这些,以后深入的话接触的是挖掘模型和算法,而不是 java 框架。所以还是看你自己想法了
|
16
ipwx 2018-11-30 10:17:19 +08:00
框架年年都有新。算法才是永恒的。
|
17
luozhiyun OP @dalieba 老铁 , Kotlin 现在普及不是很广唉, 我也看了语法, 让我去掌握的话,估计三天就可以搞个七七八八 ,问题不大
|
18
luozhiyun OP @wqzjk393 算法这些,当然是感兴趣的, 算法我在 leetcode 上也有没事就去做做的冲动 ,但是就我目前做 hive 来看, 和算法关系不大啊, 只是各种创建临时表, 数据倒来倒去, 函数调来调去, hive 也不能像存储过程一样 可以写 if else ,游标这些东西 ,还是比较无聊的, 我还是比较喜欢研究一样 netty , dubbo 这些源码来的有意思
|
19
cyspy 2018-11-30 10:32:43 +08:00
十分理解大家都爱造轮子,可是如果 BI 不算大数据的话什么叫大数据?参与框架的全国一共有多少人?
|
20
gaius 2018-11-30 11:05:33 +08:00
不冲突的吧
|
21
leiuu 2018-11-30 11:15:45 +08:00
这俩不冲突,hive 基于 hadoop、hadoop 是基于 JAVA 的。用的深入了可能需要 JVM 调优。这些都是 JAVA 的范畴。
说一个可怕的事,然后你可能还得顺便掌握其他编程语言:scala、python、bash。底层一点的就得 c、c++了。 所以可以保证先有的一定广度,比如 hive、spark、impala、redis、hbase、flume、kafka 等用熟悉,会调优(官网都会有 tuning guide )。楼上说一天入门我感觉太厉害了...这一套两三年用熟就厉害了。 |
22
luozhiyun OP @leiuu 他意思是会用吧, 我们这周一的时候 培训 hive ,两小时不到, 领导就过来拍拍我的肩膀说, 是不是可以开发了 ,哭笑不得 ~
|
24
laike9m 2018-11-30 12:30:10 +08:00 via Android 1
精英是不会被语言和技术绑死的
|
25
VoidChen 2018-11-30 13:33:59 +08:00
@leiuu 是会用 hive,其他我都用了 1 年了,正在学 scala,scala+spark 一周上手开发,全归功于 java 功底= =
|
26
wizardoz 2018-11-30 14:17:30 +08:00
深耕 Java 什么鬼?
|
28
binge 2018-11-30 17:09:27 +08:00
两者不冲突,要深耕的不是工具的使用,而是什么时候用什么技术解决什么样的问题
|
29
daimazha 2018-11-30 17:32:31 +08:00
现在后端基本上都会点 storm hbase 等大数据框架
|
30
jbiao520 2018-11-30 21:50:02 +08:00
这俩不冲突的,大数据框架就是 java 或者 scala 写的
|