1
linoder 2020-12-11 10:52:16 +08:00
对于数据分析师或者 BI 团队来讲 …… 语言真的是工具 核心是 数据建模 数据建模 数据建模 ……
偏向运营分析得基本 Excel 足够,最多学学 SQL 自己导数据 实在是想自己编程用 pandas 、numpy 足够应付一般工作了 |
2
karatsuba 2020-12-11 13:29:52 +08:00 1
楼上说得对,给我点个赞吧
|
3
nthhdy 2020-12-11 17:53:33 +08:00
我觉得可以。做好遇到问题 hack 它的准备就行。
|
4
huzhikuizainali OP @linoder 谢谢回复。如果是数据挖掘呢?
|
5
huzhikuizainali OP @nthhdy 谢谢回复。请问你日常主要做什么工作。什么工具用的最多。可否分享一下体验。
|
6
jones2000 2020-12-11 21:58:44 +08:00
1. 了解算法,
2. 知道什么数据用什么算法来分析,建模. 3. 根据需要的算法找到对应的第 3 方库,计算结果. 1,2 是核心数据分析人员 3 工具人. |
7
huzhikuizainali OP @jones2000 谢谢解答!
刚才在其他地方也有老师向我强调数据结构和算法。请问这里的算法是指 K 临近,神经网络 这些“范式”的算法?还是针对一个一个具体需要解决的问题的针对性算法? pandas,numpy 这些库的构建本身也包含了很多算法,例如 pandas 可以“滚动”求平均值(例如计算价格的 5 日平均值)。这就比自己用循环语句去求数据的滚动平均值运行效率要高的多。这当然应该是库里面的算法优于一般的循环算法。 我猜,日常工作中“核心数据分析人员”的算法应该改不需要再为那些“范式”设计算法了,顶多改改参数?也不需要再去为类似“滚动”平均值涉及算法,因为这相当于重新造轮子。 那么“核心数据分析人员”需要在面对什么问题时自己设计算法呢?设计算法的首要目的是什么呢?提高程序运行效率? 不知道是否有适合数据分析人员阅读的算法相关数据推荐。 |
8
huzhikuizainali OP @jones2000 不知道是否有适合数据分析人员阅读的算法相关书籍推荐。-------------不好意思,最后一句打错字了。特此纠正
|
9
jones2000 2020-12-12 22:57:56 +08:00
核心数据分析人员,可以不是编程人员, 可以不懂编程,一般都是数学系的, 熟悉各个算法原理, 比如最基础的傅里叶变换,可以用在什么场景下, 在特定场景下通过叠加其他的算法, 来达到预测数据的准确性。出一个数据建模。
至于如何提交计算输出, 是单线程算,还是分布式计算那是开发人员的事。 一般要分析或测预数据,先去大学找数学 /物理等基础学科的老师或博士生, 让他们给一个初步的数据建模, 然后根据他们的建模由程序员开发系统。 |