行业是图站，单纯lnmp，负载应该没什么问题。上月50，60G日均，最近几天日流量又涨了几十个G，前4天日均85G，今天估计要逼近95G左右，日均uv比ip少个400左右
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？
估计是被什么采集器盯上了，火车头，et，狂人这种怎么对付？
单纯靠log我感觉不现实，refer，ua都可以伪造，
分析ip工作量又感觉太大？
This topic created in 4389 days ago, the information mentioned may be changed or developed.
 |
1
manhere May 7, 2014
防不了，只有图片打水印还能保留一丁点你的站点信息
|
 |
2
lightforce OP @manhere 图片水印，压缩这种我都做了，但还是被人采，郁闷
|
 |
3
licell May 7, 2014
只要是中文站，都避免不了这个问题
|
 |
4
codingpp May 7, 2014
还得是分析log中的ip吧，几秒钟访问超过限制就封掉
做抓取的表示一般大型网站都是这么屏蔽的 |
|
5
lightforce OP @codingpp 图站要并发req的，我试过limit，影响体验我没加，现在就limit_conn,limit_rate
|
 |
6
zhurongx May 8, 2014  1
90%的情况下有效的方法：
把速度快，频率高，已经超出人类操作的频率的来源ip进行限制。监控ip访问流量、次数等特性的工具有很多。 剩余10%基本无解的方法： 好的爬虫会有一个ip池，会把请求分散在大量ip服务中转发，隐藏自己速度快频率高的特点，伪装成正常请求。这种情况下，除非你使用限制性逻辑，如积分满多少才可以打开，否则是无解的。 |
Select Language