[上海] [米哈游] 爬虫工程师内推（急招）

岗位职责：
1 、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作；
2 、维护好日常爬取脚本的正常运作与规则的有效性；
3 、与大数据工程师对接，完成实时数据与离线数据的爬取与入库；
4 、持续优化系统提高系统的稳定性。

岗位要求：
1 、2 年及以上爬虫、反爬虫研发经验；
2 、精通 python 开发，熟悉使用 scrapy 、selenuim 等常用开源爬虫框架；
3 、熟悉 HTTP 协议、HTML 、DOM，并有一定的 JavaScript 能力；
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架；
5 、熟练使用 splash 、浏览器内核等工具解析动态页面；
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景；
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列；
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段；
9 、熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
10 、有过爬取主流社区网站经验；
11 、熟悉解决去重、分类、垃圾过滤等问题更佳；
12 、熟练使用 Mysql，熟悉 Nosql 数据库等，有大数据开发相关经验更佳；
13 、本科或以上学历，计算机相关专业。


联系微信 base64: enk0NjAxNjAyMzE=