今天发现我的HTTP访问日志的useragent好多这东东,而且都是来自中国各个城市的电信线路的访问。
是哪家的爬虫吗?
是哪家的爬虫吗?
1
richiefans Oct 28, 2011
貌似我的站点日志里面也有这东东
|
2
hilyjiang OP @richiefans 以前都没发现,我也是最近才发现的。
|
3
hilyjiang OP @richiefans 想起来了,Twisted PageGetter应该是盛大云监控服务的监测端,我这两天刚加的。。。你是不是也加了?
|
4
est Oct 28, 2011
看来是Twisted 写的。哈哈
|
5
gonbo Oct 28, 2011
晕,他们粗暴到这样呀,竟然不改一下client 显示。
|
6
richiefans Oct 29, 2011
@hilyjiang 还真是这么回事
|