服务器一直以来请求数几乎没啥变化,但是 ES 的 java cpu 使用率突然飙升,top 命令一查,CPU 几乎 100%,怎么排查是哪方面造成的?以及如何找出恶意的批量暴力请求?
服务器一直以来请求数几乎没啥变化,但是 ES 的 java cpu 使用率突然飙升,top 命令一查,CPU 几乎 100%,怎么排查是哪方面造成的?以及如何找出恶意的批量暴力请求?
|
zhangxudongAug 21, 2020
1
可以看下 hot threads
|
|
gabonAug 21, 2020 via Android
2
threaddump
|
|
JoooooooooAug 21, 2020
3
top -H -p <pid>
找到对应进程里占用高的线程 然后 jstack grep 这些线程, 注意进制转换, 上面看见的进程号是十进制的, jstack 里的进程号是十六进制的 |
|
lff0305Aug 21, 2020
4
jmap 看下是不是 heap 满了,100%是在不停的做 GC (按三楼的方法,会看到是 GC Thread 在占 cpu)
|
|
MorriatyAug 21, 2020
5
官方推荐的 debug 方式也是 _cat/hot_threads,但这玩意的输出不是资深 es 专家真的很难看懂
建议还是观察 kibana 的 monitor 信息,以及观察 gc log 、slow log 之类的 |
|
NaveeAug 21, 2020
6
先看 GC,GC 没问题看系统 IO (磁盘、网络)
|
|
yuxiangheAug 21, 2020
7
这个原因有很多,我前段时间也排查过一起这种问题,可以参考我的博客
https://my.oschina.net/110NotFound/blog/4311256 |
|
TuGaiAug 21, 2020
8
https://github.com/jvm-profiling-tools/async-profiler
`/profiler.sh -d 10 -e cpu -f ./flamegraph.svg <PID>` 一行命令直接生成热点方法的火焰图 |
|
lavvrenceAug 21, 2020
9
elastic 官网的权威指南:
https://www.elastic.co/guide/cn/elasticsearch/guide/current/heap-sizing.html 机器至少要分配一半内存给 Lucene 、禁用 swap 。 |
|
artifactAug 21, 2020
10
我们这边最近也遇到了这个问题,发现是上容器之后,es 没办法正确获取容器核心数, 设置了过大的线程池,创建过多线程导致
|
|
brewinSep 18, 2020
11
导出线程快照、内存快照、火焰图看看
|