最近正准备转型大数据方向，很好奇大数据码农们的日常工作都是干什么的？
sunzhenyucn · yai-dev · 2018-06-26 10:24:43 +08:00 · 8376 次点击这是一个创建于 2340 天前的主题，其中的信息可能已经有所发展或是发生改变。
不太了解，对大数据方向挺感兴趣的，
求各位在大数据领域进行讨生活的各位大佬给解解惑
 |
1
dif 2018-06-26 10:39:59 +08:00  1
刷 v2ex，看知乎，出去吹牛皮。。
|
 |
2
sunzhenyucn OP @dif lol，不会吧，这么闲的吗？？
|
 |
3
loryyang 2018-06-26 10:43:47 +08:00 1
工程方向就是维护下一些框架，做些升级，然后偏业务的就是开发业务相关逻辑，出个报表，出个数据什么的
或者给机器学习跑点数据和特征 |
|
4
sunzhenyucn OP @loryyang 万分感谢🙏
|
 |
5
tingyunsay 2018-06-26 10:54:37 +08:00 1
写他么的 hql(;´༎ຶД༎ຶ`)
|
 |
6
mkstring 2018-06-26 10:59:46 +08:00 2
写大量的 SQL，偶尔写 MR
|
 |
7
VoidChen 2018-06-26 11:00:22 +08:00
我只说我做的。。。搞下集群，部署搭建和问题检查什么的，然后跟某重本合作拿来一些业务类型的算法去做实现，优化校准，还有就是偶尔遇到一些问题（内存不够或者计算不够快或者统计数量大），去看开源拆算法搞来用，杂七杂八的。其实跟写 java 差不多啦，可能是因为毕业半年多，学的用的还比较浅（不过用的全，常用的基本都用过了）
|
 |
8
wwek 2018-06-26 11:08:52 +08:00
数据清洗 结构化 ETL 写 HQL
|
|
9
sunzhenyucn OP |
 |
10
liyer 2018-06-26 11:45:03 +08:00
爬数据，入库，去噪，打标签，分析
|
 |
11
deepreader 2018-06-26 12:33:05 +08:00
数据清理，做 PPT。
|
 |
12
wtf94666 2018-06-26 13:03:20 +08:00 via Android
我是设计 我感觉我公司的工程师们都在刷蔚蓝航线
|
 |
13
sudoz 2018-06-26 13:05:46 +08:00
总而言之就是没什么意思
|
 |
15
SuperMild 2018-06-26 13:53:34 +08:00
据说就是洗数据……不管哪个领域，都是站在高位置的人才有差别，底下全是搬砖，体力活。
|
 |
16
zynlp 2018-06-26 13:53:45 +08:00 via iPhone
纳尼？只有我这么忙吗，只能蹲坑的时候刷下 v2😭
搞了一个礼拜的 cuda 了，整个人都粗大了 |
|
19
VoidChen 2018-06-26 14:25:17 +08:00
回复的时候看了下，怎么好像基本都是数据清洗？我主要做的是 storm 流处理，基础的数据清洗就只是在源头那里架一个 bolt 过滤掉就好了（包括一些修正），怎么好像不太一样？朋友里面没有做大数据的，所以不是很清楚情况，借个楼问下。。。万一以后跳槽别人一问不知道就不好了😭
|
 |
21
chi1st 2018-06-26 14:27:44 +08:00
写后端。。。
|
 |
22
lastpass 2018-06-26 14:29:19 +08:00 via Android
清洗数据，造轮子。
|
 |
23
ren2881971 2018-06-26 14:29:23 +08:00 1
坐我旁边的就是搞数据的，各种 ETL 抽取、清洗 、转换 出报表。
自从有了他，报表错误的锅再也不是我背了。。。 |
 |
24
jasonchen168 2018-06-26 14:33:30 +08:00
怎么转的啊？必备基本技能是什么
|
 |
25
applehater 2018-06-26 15:54:22 +08:00 via iPhone
比一般业务少了“改”只有“增删查”。
|
 |
26
zhusimaji 2018-06-26 15:56:53 +08:00
sql 清洗数据---构造模型---spark 计算
|
 |
27
lius931115 2018-06-26 16:05:53 +08:00
写 spark SQL 和 spark Streaming 的多吗? 各位大佬们!
|
 |
28
hackpro 2018-06-26 16:38:18 +08:00
60%以上的时间在 Data Cleaning 俗称 Data Augument
|
 |
29
bk201 2018-06-26 17:06:05 +08:00 1
@applehater 你这理解有问题，和 CURD 无关，大多数都是统计计算，非要关联的话就是查
|
 |
30
superbiger 2018-06-26 17:34:43 +08:00
大量 sql，很多正则，说是计算全是过滤
|
 |
31
arctanx 2018-06-26 17:36:33 +08:00
爬虫->mongodb->elasticsearch->网站后端
...我都不知道我算不算大数据码农 |
 |
32
defunct9 2018-06-26 17:41:53 +08:00
吃饭，睡觉，打豆豆
|
 |
34
WinMain 2018-06-26 18:07:15 +08:00
我们组那位大数据童鞋用 spark 等工具处理 kafka 等地方的数据，出报表，比如 app 相关的点击率，转化率，时常统计等，还有给推荐算法搜索算法童鞋做点数据前期处理的工作。
|
 |
35
renzongxian 2018-06-26 18:24:10 +08:00 via iPhone
用 HQL、MR 处理数据，ETL，找 bug，改 bug
|
 |
36
fuyufjh 2018-06-26 21:49:39 +08:00 via Android
大部分是 ETL 工程师，少部分是写框架的
|
 |
37
z3jjlzt 2018-06-27 08:56:22 +08:00
sql curd 只有 r。
|
Select Language