1
murmur 2021-01-22 09:19:09 +08:00
好家伙,上来就要挑战京东淘宝这些大站么,这些都是检验反爬能力,不是检验编程能力的
不过插件有个好处就是不需要改浏览器,把那些自动化的特征改掉,省了一大笔事,但是过验证码这些该少都不能少 |
2
znwindy OP @murmur 主要是做国外的电商业务,那边需求主要是收集我们自己的后台数据(有些平台比如亚马逊有 erp 但是不能完全符合我们对数据的要求,有些平台就没有 erp 接入的),然后汇总到数据库做报表和曲线图分析。不是想大规模爬取其他商家的数据
|
3
vivipure 2021-01-22 09:23:50 +08:00
官方文档 https://developer.chrome.com/docs/extensions/mv2/getstarted/
搭配这个仓库 https://github.com/sxei/chrome-plugin-demo 就差不多了。 浏览器插件爬取还是有优势。 |
4
znwindy OP 所以主要就是收集我们自己的后台数据和检查前台的状态(平台很多),再少量监控一些其他卖家的状态(最多十几个页面),所以不是大规模爬虫,另外收集后台数据需要登录,这个我感觉用 Python 很难方便的实现,因为不同的平台是在不同的 vps 内以不同的 IP 隔离的环境下登录的,最好是在对应平台登录的那个电脑的浏览器上用浏览器插件去实现。
|
6
znwindy OP @vivipure 感谢感谢,还有个问题,主要就是这种插件 demo 教程弄过一遍后,自己来动手还是有点摸不着头脑,不像用 Python 干活基本上缺啥就能想到去找什么东西来补上去加上去,JS 还是不太明白这个内在的逻辑(语法基本能懂),特别是回调,经常卡在这个上面,所以我这种是不是属于基础没打牢。。是否有必要去做什么再补充点基础知识
|
7
YouLMAO 2021-01-22 11:49:13 +08:00 via Android
泽汇,蓝色光标?
|
9
Rhilip 2021-01-22 19:31:24 +08:00 1
我也是学 Python,后面因为个人兴趣开始开发 浏览器应用插件。
个人觉得,如果需求很简单,建议使用 userscripts,这样只要装 tampermonkey 这类用户脚本插件就可以了。而且 userscript 直接对页面进行操控,操作起来更为方便。 而且如果插件在 chrome 或者 firefox 平台上架,(不上架的话,官方 chrome 或者 firefox 安装麻烦),审核目前较为麻烦,远不如 userscript 灵活。 回调问题建议使用 promise 或者 async/await 解决 如果要补基础,可以考虑 https://zh.javascript.info/ 或者 https://es6.ruanyifeng.com/ ,个人觉得打基础还是提高都是够用了。 |
10
YouLMAO 2021-01-22 19:33:50 +08:00 via Android
anker
|