家庭宽带对爬虫是不是有限制的？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1163 days ago, the information mentioned may be changed or developed.

开始时也只有三四 M ，爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问，不算频率高了吧？同时爬取 1500 个站。。

6 replies • 2023-09-05 13:02:21 +08:00

baobao1270

Sep 3, 2023

你同一个 IP 一直访问，肯定有限制啊

BH1SMB

Sep 3, 2023

一般用代理 chi

yyzh

Sep 3, 2023 via Android

网站的限制，大内网有人干坏事的话是一起死的

cnrting

Sep 3, 2023

每 500ms 一次访问，不算频率高???

zz1127

Sep 4, 2023

500ms 一个 ip 高频得离谱了

busier

Sep 5, 2023 via Android

对于 http 1.1 来说 500ms 一次还真不高