假设内容页文字和图片都有。
1
cxbig 2017-07-25 05:50:28 +08:00
这么开放的问题叫人怎么回答…
哪个网站?什么工具?什么带宽?手上有多少 IP ?制约因素太多了… |
2
binux 2017-07-25 06:29:02 +08:00
就我呆过的公司
10 分钟到 100 毫秒不等 |
4
xiayibu OP 如果是拨号 VPS 这种,开进程会不会被封
|
5
ericbize 2017-07-25 07:52:49 +08:00 via iPhone
上次 1 核 1g 的阿里云,单线程程序 爬了 10w 张几 k 的图 用了一晚上。 其实不用介意用了多久,只要程序没毛病,晚上一开白天醒来就差不多了。
|
6
am241 2017-07-25 08:07:53 +08:00 via Android
爬福利,不想被封,也不想对目标站造成压力,爬了一晚上
|
7
est 2017-07-25 08:39:20 +08:00
写爬虫不加上 sleep(5) 也敢号称分布式爬虫?
|
8
caijihui11 2017-07-25 08:58:55 +08:00
怎么爬福利啊,透露下
|
12
pcdRob 2017-07-25 09:12:22 +08:00
几分钟
|
13
calpamomo 2017-07-25 09:41:48 +08:00
看网速
|
14
jugelizi 2017-07-25 09:49:50 +08:00
10s 抓完
然后发现全是脏数据 |
15
XiaoFaye 2017-07-25 09:54:13 +08:00
@faceair 百度的蜘蛛的速度我不怀疑,问题是人家的 Web Server 慢你也没办法是吧?本机 Ping 也要 0.0X 毫秒一次,一个 web 请求怎么也不会比这个快吧? 100 毫秒 1 万个有点悬呀。
|
17
ReisenZ 2017-07-25 10:48:37 +08:00 via Android
抓过漫画站…因为是自己看就慢慢抓了…几个小时吧…
|
18
xiaomacai 2017-07-25 10:54:17 +08:00
1s+,是不是可以 DDoS 了
|
19
xiayibu OP 几秒的那是爬取网页吗,跟攻击网站没有区别啊
|
20
linus3389 2017-07-25 15:05:55 +08:00
ssd,或者 redis,下行 10m/s
不要眨眼哦 |
21
4ever911 2017-07-25 15:23:54 +08:00
看大小吧, 我本机上写的程序, 抓股票数据,3000 多只股票,3 种时间数据, 算下来差不多 1w 个请求, 用 gevent,30 秒左右全部拿下来, 下载的数据打包有 200 多 mb, 我家 100MB 带宽。要是整个分布式的,那就更快了。
|
23
WoodenRobot 2017-07-25 17:17:37 +08:00
@jugelizi 一开口就知道老江湖了。
|