在 nginx 日志里,经常有奇怪的 404,还有假蜘蛛。
烦。
1
kios 2020-05-19 11:22:16 +08:00
动了别人奶酪应该就直接 DDoS 你了 = =
|
2
crella 2020-05-19 12:17:08 +08:00 via Android
前段时间做了个爬虫,把展示页面放在公网服务器上。我在别的论坛发贴分享这个链接,被删了帖,于是我估计除了我就还有湖北某市的一个访问者……
然后有几晚,puma 显示很多 malformed request 还有对各种不存在的路径的请求,搜了一下是 nmap 的扫描行为,某些 ip 是国家队。 |
3
wanguorui123 2020-05-19 12:52:31 +08:00 via iPhone
每天收到大量请求,全部被自动封锁了
|
4
kumasama 2020-05-19 13:19:30 +08:00
不是可以查出来谁扫你吗?
|
5
zarte 2020-05-19 13:45:45 +08:00
扫网站拿肉鸡不很正常么?
|
6
ifxo 2020-05-19 13:46:18 +08:00
都是 ai 扫的,你是躺枪了
|
7
Cmdhelp 2020-05-19 13:48:30 +08:00
aliyun,tengxunyun,国外的安全网站,黑客,都是大批量扫描,,,不过幸好还有点道德,rm -rf /tmp,都是这种命令传进来
|
8
tianshiyeben OP @crella 嗯,我也类似,只是我没仔细留意过是什么人在搞
|
9
tianshiyeben OP @Cmdhelp rm 都有,汗
|
10
tianshiyeben OP @kumasama 我也不太懂,我这还是监控系统,哈哈
|
11
tianshiyeben OP @wanguorui123 用什么能自动封锁啊。我就批了一层 cf
|
12
ArtIsPatrick 2020-05-19 13:59:55 +08:00 via iPhone
我扫的,🧀不错😊
|
13
tianshiyeben OP @ifxo 我看了两边,都看成 a v 了
|
14
tianshiyeben OP @ArtIsPatrick ?
|
15
tianshiyeben OP @kios 我这就开源项目
|
16
M2K4 2020-05-19 14:02:36 +08:00 via Android
你的网站就是奶酪
|
17
tankren 2020-05-19 14:43:03 +08:00
不是 bat 就是 bot 想多了
|
18
opengps 2020-05-19 15:04:55 +08:00 1
都是自动探寻漏洞的,公网环境这种情况太常见了
|
19
xuanbg 2020-05-19 15:19:13 +08:00 1
太正常不过了,从我司的日志看,至少有 30%的访问量来自各种爬虫、蜘蛛、攻击脚本。有统计说互联网的流量有 60%以上是爬虫,这样看来我司网站还在水准之下。哈哈哈,这就没事了,安心睡觉。
|
20
ajaxfunction 2020-05-19 15:27:25 +08:00 1
我维护的一个二手房网站,正常用户 pv 一天也就是 3000 左右,
但是各家 bot 就和疯了一样,光每天生成的 nginx 日志文件就接近 100MB 了, 无时无刻不在爬数据,也不注意频率,搞的我经常宕机,更可恶的是把我 cdn 流量都消耗不少,无解 |
21
heiheidewo 2020-05-19 15:28:35 +08:00 1
5M 的带宽,有 4.9M 都是被爬虫消耗了
|
22
aloxaf 2020-05-19 15:37:21 +08:00 1
瞅了一下我的一个人网站,明面上的爬虫流量大概有 50%,不过所有的异常流量加起来有 70% 了,看来达到了平均水准了 2333
@ajaxfunction 大公司的 bot 应该都遵守 robots 协议的吧,不想让它爬就禁止 |
23
JackYao 2020-05-19 16:42:27 +08:00 1
|
24
ajaxfunction 2020-05-19 18:02:10 +08:00
@aloxaf 其实早就设置了 所有爬虫禁止访问,
但实际上这种资源类网站 和瓜子优信车源类似, 盯着的人太多了,上到竞争对手,下到第三方卖行业软件的众多小公司都在互相采集,毕竟信息就是真金白银 |
25
inktiger 2020-05-19 18:08:10 +08:00
动奶酪你是网站都得崩咯,爬虫遍历互联网都是
|
26
superrichman 2020-05-19 18:16:44 +08:00 via iPhone
爬虫太正常了,不喜欢就配置一下全部拒绝掉
|
27
programmerM 2020-05-19 19:13:50 +08:00
我的个人博客每天 50% 以上的请求都是爬虫,其中 AhrefsBot 的请求最多。我的爬虫请求统计 https://www.misterma.com/data.html
|
28
Soar360 2020-05-19 22:49:40 +08:00
我的个人博客,连爬虫都不愿意光顾。
https://www.coderbusy.com/ |
30
tianshiyeben OP @superrichman 我不会配置,不管了
|
31
coderabbit 2020-05-20 08:24:59 +08:00 via Android
|
32
sunwq 2020-05-20 09:17:03 +08:00
挂点广告
|
33
tianshiyeben OP @sunwq 不了。也没多少人访问。
|