请教各位 Python 爬虫工程师有什么好的转职方向吗？

小弟刚通过自学 python 找到一份爬虫工作，目前做了一个月了。
这一个月在摸清了工作后，自己写了简单的“框架”，每天就往里面填不同的 xpath 解析网页
要不就是用 scrapy，反正也是往里面塞 xpath，感觉如果继续下去对个人的技术水平提高也不大
而且爬虫也有一定的法律风险，未来想跳转到其他方向。

想学习一些新的技能，想请教各位大佬，应该学习一些什么技能比较好呢？

目前我的想法是：
1、python 后端的话，似乎是可以的，自己之前也写过一两个小网站，但市场需求似乎不是很多
2、大数据开发，这块并不十分了解，希望有大佬科普。
3、机器学习唯一接触到的就是用 cnn 识别了验证码搭了个服务返回识别后的验证码，个人也比较感兴趣，但因为对数学和学历有较高的要求，而我是个渣三本不说，高数还挂过，不确定自己是否有能力
4、学习其他语言 java、Golang，做 web 后端。我明白只掌握 python 一门语言是不够的，但似乎学习一门新语言的学习曲线更陡峭，比较担心因此找不到工作或者不能在短期（ 6-12 个月）之内换工作，而且我自己更喜欢 python 一些。
5、继续做爬虫。看了下招聘网站，高端的爬虫还是要求很多的，做起来也比我现在更有意思一些，但仍然存在法律和就业面狭窄的风险

写的有点碎，感谢各位看完，排名分先后，请大家用力滋我。感谢

Python

爬虫

xpath

学习

56 条回复 • 2019-06-14 15:44:08 +08:00

lasuar

2019 年 5 月 28 日

既然你喜欢 Python，那何不做个高级 Pyer 呢；
如果你所在的城市有不少的 python 岗，那就把 django 玩透，再熟悉一下 mysql/redis/mongo，再看点架构设计文档找后端岗不是轻松吗。

rogwan

2019 年 5 月 28 日 via Android

爬虫+数据分析的组合，还是前景广阔的。光爬回来，不会分析数据，也还欠缺了点。

janxin

2019 年 5 月 28 日

大数据工程师呀

fank99

2019 年 5 月 28 日

@lasuar 谢谢，请问架构设计具体指什么呢？是一套服务需要用到的各种技术吗？

@rogwan
@janxin
谢谢，请问大数据开发和数据分析是一回事吗？

wersonliu9527

2019 年 5 月 28 日

我也是自学了，入职爬虫一年出头，中途也去面了几次后端。基本上都问 mysql 优化问题，大量数据时怎么处理。我说了些理论上的查表优化，接口数据缓存。基本上没下文。还在继续写 xpath 0.0

andylsr

2019 年 5 月 28 日 via Android

把爬虫做成一个可扩展的系统呗~一个后台管理全部爬虫任务，基本功能：添加，暂停，删除爬虫，爬虫节点动态扩展，其中会涉及集群操作的很多知识~~

SleipniR

2019 年 5 月 28 日

对 Python 开发来说，大数据现在一般指 Hadoop/HDFS/ElasticSearch/Kafka/Spark 这个系列的技能，数据分析指 Nympy/Scipy/Pandas/Matploitlib 这个系列的技能。

fank99

2019 年 5 月 28 日

@wersonliu9527 握手

fank99

2019 年 5 月 28 日

@SleipniR 谢谢，您提到的对我非常有帮助。事实上我也在用 ElasticSearch 将爬到的数据进行搜索

fairyto2

2019 年 5 月 28 日

@SleipniR 数据分析更重要的是数学建模能力吧，那些只是工具，我会用 sql 会用 excel 也一样能完成任务，但是不会数学不行

QQ2171775959

2019 年 5 月 28 日

这个是需要一个多 IP 和站群服务器来支撑的，那样子的话优化才能起到作用。

binux

2019 年 5 月 28 日 via iPhone

去百度，google

tt67wq

2019 年 5 月 28 日

成为一个光荣的运维狗

BadReese

2019 年 5 月 28 日

转近战猎人

araraloren

2019 年 5 月 28 日

转职可以考虑大数据师，技能多，全是 AOE 伤害，就是有点耗蓝

abb1513

2019 年 5 月 28 日

成为一个光荣的运维狗 +1

Takamine

2019 年 5 月 28 日

要么继续走爬虫到 BI 的路，要么转 Web 吧。
我比较推荐前者，诶嘿嘿诶嘿嘿。:rocket:

YOOHUU

2019 年 5 月 28 日

成为一个光荣的运维狗 +2

tikazyq

2019 年 5 月 28 日

想要节省爬虫的编写时间，可以参考一下我的开源爬虫平台 Crawlab, https: // github.com/ tikazyq/crawlab

Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业。

最近开发的可配置爬虫正好解决你配置爬虫的问题，1-3 分钟编写好一个可运行的爬虫。

[我是如何在 3 分钟内开发完一个爬虫的]( https: // juejin.im /post/5ceb4342f265da1bc8540660)

qq976739120

2019 年 5 月 28 日

趁年轻,推荐转 java 或者前端 ----杭州 pyer 的忠告

collector

2019 年 5 月 28 日

我也是学习的 python，身边很多人都在用 python 做一些简单的数据分析，根据和他们的交流，他们工作的技术含量不是特别的高，但是目前招聘有提高要求的趋势，web 方面的需求不大，有个在 P2P 做过的，做 flask+数据分析来展示数据的平台，其他的都是不算太难的处理表格的，爬虫的说实话，也没有多少人在做，人在上海，希望和楼主多交流，python 市场还是有点小

collector

2019 年 5 月 28 日

@qq976739120 前端现在不是培训班批量生产吗？请问 python 在杭州的行情如何？

qq976739120

2019 年 5 月 28 日

@collector 我刚从上海来....来之前也觉得上海市场小,到了杭州发现上海好的多的多

collector

2019 年 5 月 28 日

@qq976739120 我曾经想过要去杭州发展呢。。。看来 python 做主力还是差点啊，快要换工作了，压力好大

la2la

2019 年 5 月 28 日

跟我现在的感觉一模一样，爬虫做多了没意思。简单的网站就是体力活，复杂的验证码涉及到机器学习搞不了。目前我打算学习一下 java，走大数据路线，不知道是否可行。数据分析我也尝试过，发现知道如何建模，比如何使用 pandas 等这些工具更重要，有点烦

lasuar

2019 年 5 月 28 日

@fank99 https://baike.baidu.com/item/大型分布式网站架构设计与实践 /15841699

collector

2019 年 5 月 28 日

@la2la 涉及建模就贴近机器学习那边了，对算法和数学要求就高了，间接的对学历要求就高了。。我也打算往大数据发展的。。

ksedz

2019 年 5 月 28 日

不建议转 web

可以考虑大数据、机器学习、转 golang
有机会的话转 Java、C++ 也行

tikazyq

2019 年 5 月 28 日

@collector 爬虫可以做很多事情，但感觉做得深的话会转算法和后端

la2la

2019 年 5 月 28 日

@collector 有没有什么学习路线什么的可以推荐一下

collector

2019 年 5 月 28 日

@tikazyq 反爬手段越来越多也越来越高级，做到后面必然涉及到机器学习了，而且爬虫只是获取数据的方式，有了数据又要分析，这又要到数据分析了，所以最后爬虫还是要转的，我是这样觉得的

collector

2019 年 5 月 28 日

@la2la 我没接触过大数据，java 也不懂，只是各种公众号存了很多的资料什么的，怎么开始我也很迷茫。。。

NaVient

2019 年 5 月 28 日

欢迎成为运维开发

fank99

2019 年 5 月 28 日

@qq976739120 谢谢，也考虑过 java。不过是不是 python 转 Golang 比 java 更顺滑一些？
@collector 人在成都，上海 Python web 应该比成都好找很多吧？
@la2la 同烦，苦恼
@lasuar 谢谢
@ksedz 可以具体说下不建议做 web 的原因吗？

fank99

2019 年 5 月 28 日

@NaVient
@tt67wq
@DAPTX4869
@abb1513
感觉运维的学习路线更陡峭，环境是平常接触不到的东西，不知道是不是这样的？

NaVient

2019 年 5 月 28 日

@fank99 #35 之前与你有一样的困惑，现在转做 DevOps 其实大多数时候还是开发，前后端一把梭，只是偏向于内部运维系统，在开发这种系统的时候慢慢学运维就会有感觉了。

fank99

2019 年 5 月 28 日

@NaVient 能提供下你的学习路线之类的吗？

SpiderXiantang

2019 年 5 月 28 日

Java 后端

SpiderXiantang

2019 年 5 月 28 日

看我 ID 现在在上海做后端。。。。

lucays

2019 年 5 月 28 日 via Android

我工作一年半主要写写 scrapy, 其他的 django, flask 都做过还做过一点自然语言处理调包的项目…感觉不行爬虫太无聊，骑驴找马找了一个月才成功转了 web 后端…个人感觉自己还是比较失败的😔我还在上海…还找了这么久，boss 和拉勾很多公司一点都不靠谱

sazima

2019 年 5 月 28 日

python 后端一年多, 目前处于一种迷茫的状态.

collector

2019 年 5 月 28 日

@fank99 根据我自身的找工作情况和身边人找工作的反响，web 即便在上海需求也是没那么高的

stallman

2019 年 5 月 28 日 via Android

做爬虫不是长久之计，如果真想往这方面的话可以考虑渗透，网络攻防。做后台感觉 python 在这方面竟争力比 java 差太远了，数据分析倒是没关注。而且现在 python 找工作市场比较饱和，要求变得越来越高了，来自一个做了一年爬虫一年 web 最近找工作的感受🤣

wbf1013

2019 年 5 月 28 日 via iPhone

没人推荐 .net 吗？滑稽

luzihang

2019 年 5 月 29 日

所以 Python 转大数据工程师，是什么路径？先学 Java 吗

fank99

2019 年 5 月 29 日

@stallman 我也觉得渗透、安全这块的话，python 还是有优势的，就找工作而言。老哥找 web 工作需要哪些技能呢

fank99

2019 年 5 月 29 日

@sazima 羡慕啊，做后端正是我想的

fank99

2019 年 5 月 29 日

@collector 我算是懂了，python 需求在全国都算少的。

fang7781111

2019 年 5 月 29 日

安卓逆向开发可以做比

datou

2019 年 5 月 29 日

口才好的话去培训班当讲师

fank99

2019 年 5 月 29 日

@datou 然后让更多人来入坑吗 =。=

Untamed

2019 年 5 月 30 日

我靠我现在也在自学 python...本来准备转数据分析的，但是感觉技术含量好低，想着先入行再调整方向...看了大家说的我都有点慌...python 被培训班炒的太过了

fank99

2019 年 5 月 31 日

@Untamed 楼上大佬不是说数据分析很难得吗。。怎么还技术含量低了啊。
（入行最简单的还是爬虫）

bnbdfg

2019 年 5 月 31 日

@Untamed 数据分析技术含量还低吗？看来你是天选之人啊

Untamed

2019 年 6 月 4 日

@bnbdfg 不是，因为有些初级数据分析岗只用 EXCEL 跟 SQL 都行...而且干的都是清洗数据的活，我不是说数据分析都没技术，只是说上下限差距比较大...高级的数据挖掘不也要做算法跟机器学习么
@fank99

songkai

2019 年 6 月 14 日

python 被国内培训班炒火了，实际上 python 岗位也不多，想要长久还是学学 java、C 吧，做算法是最好的选择。