地址 https://github.com/solarhell/ZhihuZhuanlanCrawler
效果大概是这样 https://github.com/solarhell/ZhihuZhuanlanCrawler/blob/master/misc/screenshot1.png?raw=true
httpClient 的代码来自 https://github.com/mozillazg/go-cos/blob/master/debug/http.go 感谢🙏
另外基础库的 http client 挺难用的, 希望新的提案能给力。
 |
1
pathbox Jan 3, 2019 via iPhone
不会被封 IP 么？
|
 |
2
songjiaxin2008 OP @pathbox #1 暂时还没有 可能我这里发出去的请求不是非常大 都是半夜定时爬取的 如果量特别大 可以考虑多个机器发请求 持久化到 MQ 或者什么地方 做成分布式的
|
 |
3
FindHao Jan 3, 2019 via Android
不是因为爬虫才抓紧去一个吗👀
|
 |
4
feiyipro Jan 4, 2019
需要 IP 资源的话可以找我，小量我们免费提供，就当测试了（利益相关：飞蚁代理）
|
Select Language