这是一个创建于 747 天前的主题，其中的信息可能已经有所发展或是发生改变。
一亩三分地上面，从推特开始，好多公司的 DS 组都是被一锅端，想想一两年前，大数据是多么的热门，今天完全是另外一副景像了。
 |
1
Holmze 2022-11-05 16:51:37 +08:00  3
本科大数据，硕士在做网络中。
感觉大数据只有大厂玩得了，反正我本科就业的同学没几个是大数据岗位，大部分还是去了前后端开发之类的岗位。 当初也面过几个银行的科技子公司，聊天过程中了解到他们的大数据主要还是定制化外包，即开发一个平台，不同的项目选用模块化组件，而且就面试的过程来看，感觉还是比较依赖于目前的各种成熟方案，由于后来考研上岸了也没去工作，也不知道里面具体是咋样的。 |
 |
2
litguy 2022-11-05 16:53:32 +08:00
美帝大数据领头羊们的股票都跌成狗了
|
 |
3
charlie21 2022-11-05 17:02:27 +08:00 via iPhone
data engineer 都做什么
|
 |
4
qsmd42 2022-11-05 17:12:09 +08:00 1
大数据目前来看最大的用途还是对于超大量人口的自动精准行为监控
商业公司靠大数据想多赚点钱可能收获有限 反而金融行业和 gov 花钱买安心可能才更需要大数据 |
 |
5
shijingshijing OP @charlie21 SQL Boy
 |
 |
6
mengdodo 2022-11-05 17:26:08 +08:00
@shijingshijing SQL Boy super Boy 😂
|
 |
7
lovepplforever 2022-11-05 17:29:43 +08:00 via iPhone
搞 web3
|
 |
8
xieren58 2022-11-05 17:31:26 +08:00
虚的 感觉都不太行了. 软硬结合的, 反而火了.
|
 |
9
ijrou 2022-11-05 17:37:52 +08:00 1
@lovepplforever web3 就是一 bsh...
|
 |
10
lrigi 2022-11-05 17:48:23 +08:00 via iPhone
他按代码量裁员，那搞 ai 的没裁完算是好的了。
特斯拉 ai 搞自动驾驶，机器学习基础应该非常好，弄个基础模型放到推特就行了 |
 |
12
nikola 2022-11-05 20:10:40 +08:00
非 AI 从业人员，目前对 AI 应用场景的认知仅限人脸识别和推荐系统，其他没见到已经成熟的 AI 应用场景，所以对 AI 从业人员的高薪酬不是很理解。
|
 |
13
Aruen 2022-11-05 20:22:42 +08:00
大数据和 AI 要凉？
|
 |
14
Peek 2022-11-05 20:37:01 +08:00
AI 马上要淘汰一大群岗位了，是很多可被机器视觉代替的岗位马上要凉了而且估计还很快
|
 |
16
victorc 2022-11-05 21:17:48 +08:00
美国加息，总是要搞出危机来才会收手，破而后立
|
 |
18
FYFX 2022-11-05 21:33:45 +08:00 1
@charlie21
后端一般不方便跨多个项目组获取数据源权限吧，别人可能会开放简单的数据查询权限，但是重计算的我感觉一般不太会，数据组一般对接很多个后端项目组；还有就是一般涉及的数据量都挺大的基本都要用 spark/flink 来跑 |
 |
19
YDCHYD 2022-11-05 21:38:57 +08:00
如果你是做 AI 大数据关于社交平台内容审查的，未来几年肯定不会吃亏 前提是你技术过硬 国内这些年还靠着人力去审核，一个平台几千几万人的规模 光是开支就大得吓人
|
 |
20
Williamongh 2022-11-05 22:25:27 +08:00
AI 确实是饱和的，尤其是出现越来越多的大模型
|
 |
21
happylty 2022-11-05 22:48:29 +08:00
游戏适合搞这个，比如 GTA6
|
 |
23
pefan 2022-11-06 06:49:48 +08:00
DS 和 AI 还是有区别的，不过这两个方向本来就是很多所谓转行的目标方向。南郭先生们扎堆的部门，被裁了正常。
|
 |
24
xuanbg 2022-11-06 07:23:02 +08:00
不能创造价值，无法提供实实在在的利润，故事讲到老板的耳朵生茧……
其实不是大数据和 AI 没用，而是讲故事的人过于夸大大数据和 AI 的作用。踏踏实实地发展不好么？ |
 |
25
glfpes 2022-11-06 07:32:51 +08:00
大数据最终落地到生产的系统，无非是搜广推。只有大公司玩得开这种业务。大公司岗位有限。
大量从业人员只能去小公司，小公司甚至都没有这种数据与业务场景。 这个行业不需要这么多从业者。 |
 |
26
subing 2022-11-06 09:40:38 +08:00
@YDCHYD 语言博大精深，每天都有不同的变种词和黑话，对你而言如果错误 0.00001 ，对于平台就是 100%的损失，腾讯阿里大厂都在做，每天从各种 rh 媒体更新训练集，但效果依旧不如人工
|
 |
28
tairan2006 2022-11-06 11:26:36 +08:00 via Android
大数据和 ai 在 b 端业务上用处很大，能确切提高生产力的。c 端业务本来能做的也不多，多半还是搜广推。
|
 |
29
nightwitch 2022-11-06 11:44:14 +08:00
@YDCHYD https://main.qcloudimg.com/raw/document/product/pdf/1184_41710_cn.pdf
这种现成的方案太多了。。现在基本没有纯靠人力的审核了，都是先 AI 过一遍 |
 |
30
Torpedo 2022-11-06 14:09:52 +08:00
大数据最好还是去做广告系统。别的变现都很有问题
|
 |
32
fuxkcsdn 2022-11-06 15:52:38 +08:00
想起前公司大数据部门 10 来个人（最低工资 30K ），做的就是一个大数据运维的活，技术总监自己半桶水还不听劝，吃饭的时候旁及侧推跟他提过大数据部门水得很，不听。一年下来可能请一个大数据运维 2 ，3 个月就能搞定的事，结果最后大数据一年半的时间就整出了个数据同步方案。（同步 sql 还是我们整理给他们的）
最后大数据部门只留了 2 个人。这 2 个水货连 sql 批量插入和单个插入的优劣势都不懂，一个数据同步他们搞了半个多月，让他们改成批量插入半推半就的，最后给他们伪代码才愿意改，改完同步时间从 2 小时（期间 100%出现死锁报错）缩减到 4 分钟（基本不出现死锁） 一个部门耗费了技术部门 50%以上的经费还只做了 1 、2 个大数据运维该做的事，也就技术总监技术水平太次才能容许他们 P.S. 之所以要用批量插入同步而不是 binlog 同步，就是因为他们一用 binlog 同步就把 rds 给整到 cpu 100%，其他业务都被他们给搞垮了 |
 |
33
wa007 2022-11-06 20:40:09 +08:00
AI 算法调好之后，把人裁了算法依然能跑，AI 人才的边际效应变小了，所以大幅裁员。
相比之下，开发的边际效应没有变小很多，裁的比例就没那么高。 |
 |
35
sshang 2022-11-06 23:06:50 +08:00 5
大数据工程师其实是这波数据浪潮（ web2.0 以后）延伸出来的岗位，在『小数据』时代毫无疑问也是有很多数据工作岗位的，只是那时候大家可能都是玩 DBA ，玩 tableau 数分这些东西。
随着 2003 ~ Google 的三篇文论问世，基本上是开启了大数据时代，代表作品如 Hadoop 、HDFS 、HBase 等，以及后来催生出的 ES 、MongoDB 、TiDB 等一系列划时代的存储系统。这波开源真实太给力了，直接搞出来了相当多的生产级可用的 Information System ，也进一步催生了 AI 以及后来的推荐、搜索技术。 现在的问题是，由于这些软件太成熟了，很多大数据工程师也和和很多 AI 工程师一样，沦为『调参侠』了，改改 Hadoop 的系统参数，做些简单的系统运维（ Cloudera 提供了相当完善的大数据运维体系），或者写一些简单的 ETL Job 。 如果长期是这样的工作内容，大数据工程师很容易被替代，就像 AI 浪潮褪去一样。所以我的观点是，不论你是做 AI 还是做大数据，首先你得是个 Software Engineer ，要有相当过硬的工程技术，然后才是去谈所谓的大数据、算法，如果你连基本的计组、分布式、存储计算基本原理，Linux 、主流数据库、网络 IO 都没搞过关，就上来年复一年、日复一日地当个大数据 /AI 调参侠，那不淘汰你淘汰谁？ |
 |
38
shiyanfei5 2022-11-07 01:02:50 +08:00
针对大数据想说下，要看下大数据的需求方是情况的。。有些企业裁员运营、数据分析等业务人员都整组端，你的需求方没了不裁你裁谁，这无关乎技术。
|
|
40
subing 2022-11-10 20:53:58 +08:00
@YDCHYD 敏感词库是一方面，更多的是多个字组合起来的阴阳怪气效果。这种目前的模型识别率还是不行，当然为了 1%的错误，多夹 100 个人也无所谓，目前微博就这个状态
|
|
41
YDCHYD 2022-11-12 00:09:32 +08:00
@subing 所以我说技术过硬走 AI 研发的路子呀 就像 gfw 早年拦截技术也不怎么好使，现在各种进化，这背后启明星辰 360 出了很大力研发对吧
特殊国情自然值得催生特殊技术 |
 |
42
levelworm 2022-12-08 10:39:57 +08:00 via Android
DE 咋样。。。
|
 |
43
mythabc 2023-05-07 02:11:51 +08:00
来一记洛阳铲，CHATGPT 掀起了又一轮 AI 浪潮
|
Select Language