这个网站一个账号查询的次数是不是有限制啊？ 限制多少次？
是不是需要买 vip 账号爬？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2701 days ago, the information mentioned may be changed or developed.
 |
1
d5 Jan 20, 2019 via iPhone
做爬虫出生的公司，你要爬，阻力太多了
|
 |
2
zwl2012 Jan 20, 2019 via iPhone
接口加密了 密钥有效期 1 分钟
|
 |
3
FaustinaD Jan 20, 2019 via iPhone
想多了。老老实实买接口吧，卖数据接口的网站会让你爬？
|
 |
4
tomxin7 Jan 20, 2019
去年爬过，但是没有批量，cookie 过期好像时间还挺久的，可能我爬的比较少吧
|
 |
5
519718366 Jan 20, 2019 via iPhone
我这是找他们商务合作的
|
 |
6
guog Jan 20, 2019 via Android
他们的数据也是从郭嘉企业信息网爬的吧，不如直接从源头入手
|
 |
7
locoz Jan 20, 2019 via Android
只需要简单的信息就行可以直接爬工商局
|
1 |
9
lhx2008 Jan 20, 2019
反爬虫很厉害的，无所不用其极，验证码也很难，爬几百个没问题，多了代理池都爬不下来。
天眼查最开始应该是自己爬的，后面为了数据合法找了个背景做靠山。 |
 |
10
OctopusGO Jan 21, 2019 via Android
是需要买 vip，我公司现在是用 Java 爬的
|
 |
11
scriptB0y Jan 21, 2019
... 你去爬一个爬虫网站
|
 |
12
xiaotuzi Jan 21, 2019 via iPhone
小心给你一个律师函
|
 |
13
izoabr Jan 21, 2019
要不考虑一下行政渠道的爬虫？
|
 |
14
jssyxzy Jan 21, 2019
以前爬过，应该可爬，可能需要上 phatomjs
|
 |
15
myhot21 Jan 21, 2019 via Android
自从要登录注册后，就基本不能爬了，给钱买数据吧。
|
 |
16
supervipcard Jan 21, 2019
如果已经有一个大的公司名列表，逐个搜索爬不难，把代理、cookie 池、验证码识别都弄上。
|
 |
17
fenghuang Jan 21, 2019
极验证就不好弄
|
 |
20
Ewig OP @supervipcard 主要怕限制账号次数啊
|
 |
22
passerbytiny Jan 21, 2019
总感觉爬数据这事，大公司做是废物利用地商业行为，个人爬就是抢数据地流氓行为：我脑袋到底哪里出问题了。
|
|
23
Ewig OP @supervipcard 关键很多说买 vip 爬不知道为啥
|
|
24
supervipcard Jan 21, 2019
@Ewig 可能是因为单次搜索的页数限制吧
|
 |
26
guanhui07 Jan 21, 2019
他爬别人，你爬他，别人爬你
|
 |
27
kevinle Jan 21, 2019 via Android
脱裤更省事
|
 |
28
blueskea Jan 21, 2019 via Android
爬过企查查，字体被替换过了，验证码搞不定，半自动爬的。
|
 |
29
dezhou9 Jan 21, 2019 via Android
1.8 亿条你爬他干嘛
|
|
31
Ewig OP @supervipcard 比如我每次搜百度 腾讯 这种公司能搜多少次，普通的账号
|
 |
32
wisej Jan 21, 2019 via Android
|
 |
33
uuair Jan 21, 2019
有这功夫，你不如应聘进去，内网直接往外倒腾。
|
 |
34
loser Jan 21, 2019
牛逼，支持爬他！！！
|
 |
36
love9918 Jan 21, 2019
有想法就干
|
 |
37
hgjhgjgjhgjg Jan 21, 2019
https://www.lagou.com/jobs/1570819.html
反爬虫工程师 职位描述 参与公司网站数据反爬虫策略的制定和优化。 负责反爬虫功能模块的代码实现及测试工作。 监控网站异常访问并及时调整相关策略。 |
 |
38
andylsr Jan 21, 2019 via Android
天眼查数据随便抓。。。
|
 |
39
zhangsen1992 Jan 21, 2019
vip ip 白名单 随便调用接口
|
 |
41
penisulaS Jan 21, 2019
爬一会整个网页开始部分字乱序,后面乱序的会越来越多
|
Select Language