这是一个创建于 1215 天前的主题,其中的信息可能已经有所发展或是发生改变。
加微 base64: enk0NjAxNjAyMzE=
细聊
岗位要求:
1 、2 年及以上爬虫、反爬虫研发经验;
2 、精通 python 开发,熟悉使用 scrapy 、selenuim 等常用开源爬虫框架;
3 、熟悉 HTTP 协议、HTML 、DOM,并有一定的 JavaScript 能力;
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架;
5 、熟练使用 splash 、浏览器内核等工具解析动态页面;
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景;
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列;
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段;
9 、熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;
10 、有过爬取主流社区网站经验;
11 、熟悉解决去重、分类、垃圾过滤等问题更佳;
12 、熟练使用 Mysql,熟悉 Nosql 数据库等,有大数据开发相关经验更佳;
13 、本科或以上学历,计算机相关专业。