这个项目写了一段时间了,主要功能就是实时爬取 googlesearch 的结果。google 反爬很严格,我这边也没有很好的办法,后面可能也不太搞了,就整理了开源出去,希望能给其他人一些思路。 github: https://github.com/FastSchnell/googlebridge
目前只支持 python2.7,有兴趣的可以试一下 下载 wget http://googlebridge.com/googlebridge.py 运行 python googlebridge.py
1
mingyun 2017 年 8 月 29 日
支持 py3 啊
|
3
mckelvin 2017 年 8 月 30 日 楼主代码写得挺认真的,建议了解下 requests, urlparse, pyquery 或 BeautifulSoup, jinja2 这几个库,能剩不少代码。
|
4
viosey 2017 年 8 月 30 日
有办法爬 Google image 吗?
|
5
gaotongfei 2017 年 8 月 30 日 via iPhone
@mckelvin jinja 在爬虫中有什么应用?
|
6
mckelvin 2017 年 8 月 30 日 via iPhone
@gaotongfei 我也好奇呢。但楼主代码里有 html 模版。
|
8
xiaozizayang 2017 年 8 月 30 日 via Android
关键是对谷歌反爬机制的研究 我也写过一个 轮循谷歌全球域名 有点效果 https://github.com/howie6879/MagicGoogle
|
9
jisibencom 2017 年 8 月 30 日
难道用反代不是更方便些不?
|
10
Fing OP |