传统网络数据分析会在交换机上配置网络数据镜像, 将 Packet 复制后发送到目标机器,实现网络流量镜像的功能。
而在云平台上,目前网络数据采集还没有统一的方案。针对私有云平台,目前有流表数据包复制采集、在 hypervisor 上监听采集、vmware 平台分布式虚交换机配置采集、libpcap 抓包采集等方案。
对于 vmware 平台分布式虚交换机配置采集的方案,性能较好,不占用客户机资源,但其属于商业产品,且只适用于购买 vmware 私有云用户;而在 hypervisor 上监听采集,目前有产品开发,性能较好,但只适用于 OpenStack 私有云;采用 OVS 流表方案,优势是免费,不占用客户机资源,但是配置复杂,且只能用于 OpenStack 私有云。
因此,开发基于 libpcap + GRE 封装转发的应用,或许是云平台目前最优的网络流量镜像方案。其使用简单、开源、适用于各类公有云和私有云。
Netis Packet Agent ( https://github.com/Netis/packet-agent) 基于 libpcap 技术,从业务网卡抓包,进行 GRE 封装后将采集到的数据包发送到另一台远端机器,供分析使用。
Packet-Agent 对 Kubernetes 也提供了支持方案。简单来说,Packet-Agent 封装成容器后,与需要监控的业务容器放在同一个 K8S Pod 中,与其共享网络层并抓包镜像网络流量。
具体方案见项目文档:K8S_traffic_mirror
欢迎大家参与此项目,包括 star, fork, 提交 pull-request, 报告 bug, 提出任何意见或建议,或者将该项目介绍给相关的朋友。衷心感谢。
为感谢大家的支持,抽奖送一台 PS4 主机,抽奖方法如下:
201
joocejie OP |
202
ptlkStar 2019 年 9 月 12 日
分母
|
203
joocejie OP @bullettrain1433 还有这种事情😓,我这个是公司出预算。
|
204
duola 2019 年 9 月 12 日
分母来了。
|
205
zongwan 2019 年 9 月 12 日
开源项目都送东西。。。分母分母
|
206
joocejie OP @allencloud 与 tcpdump 相同的地方是都使用了 libpcap,不同点是 tcpdump 一般保存为本地 pcap 文件,Packet-Agent 将数据包做 GRE 封装后发送到其他机器。
|
208
yyork 2019 年 9 月 12 日 via iPhone
分母
|
209
joocejie OP @c0878 没有用过 AWS 的 VPC Flow,看了一下它好像只采集 meta 信息,没有采集完整数据包。
可能我理解不到位,如果采集完整包,那功能就是接近的。 |
210
glorifiedatom 2019 年 9 月 12 日 via iPhone
分母........
|
211
yeya24 2019 年 9 月 12 日 如果要网络流量的话,直接用 goreplay 不是也可以吗? 顺便分母+1
|
212
mlhadoop 2019 年 9 月 12 日
喵
|
213
WilliamYang 2019 年 9 月 12 日
支持
|
214
iamalive2008 2019 年 9 月 12 日
支持一波
|
215
dewi 2019 年 9 月 12 日 via iPhone
来看看
|
217
810244966 2019 年 9 月 12 日
顶一个
|
218
OrangeM21 2019 年 9 月 12 日
分母来了。
|
219
Ultraman 2019 年 9 月 13 日 via Android
PS4 啥的不重要,主要是我觉得对你们这个项目感兴趣🐶
|
220
arrebol42 2019 年 9 月 13 日
for PS4 haha
|
221
natforum 2019 年 9 月 13 日
ps4 我来了
|
222
gangsta 2019 年 9 月 13 日
2K19 已买, 坐等 LZ 的 PS4 发货...😅
|
223
cosmo 2019 年 9 月 13 日
分母分母
for PS4 |
224
pC0oc4EbCSsJUy4W 2019 年 9 月 13 日
分母来啦
|
225
stayreal 2019 年 9 月 13 日
开源项目都送东西
|
226
aaaaaaaaa 2019 年 9 月 13 日
很有用,谢谢
|
227
mpb 2019 年 9 月 13 日 via iPhone
PS4 啥的不重要,主要是支持开源🐶
|
228
chy373180 2019 年 9 月 13 日
分母来了
|
229
scoful 2019 年 9 月 13 日
先分母
|
230
YFeei 2019 年 9 月 13 日
分母+1
|
231
Keyes 2019 年 9 月 13 日 via iPhone
vpp 引流方案能用在这个东西上吗?
|
232
LXVC 2019 年 9 月 13 日 via iPhone
拼一波人品
|
233
iwtbauh 2019 年 9 月 13 日 via Android
没看明白,直接运行一个 tcpdump 然后 ignore 一个端口再管道传给 netcat 用这个端口把数据发给远程主机不就行了。这个软件有什么优势?
|
234
singerll 2019 年 9 月 13 日 via Android
排队
|
235
alikesi 2019 年 9 月 13 日 via Android
早上打卡
|
236
luozic 2019 年 9 月 13 日 via iPhone
流量镜像?
|
237
johnnie502 2019 年 9 月 13 日
不抽白不抽
|
238
E1n 2019 年 9 月 13 日 via Android
支持😁
|
239
mrcn 2019 年 9 月 13 日 via Android
拉低中奖率
|
240
co3site 2019 年 9 月 13 日 via Android
支持开源
|
241
mulu 2019 年 9 月 13 日 via Android
一直是分母的我,也有分子的梦
|
242
xduanx 2019 年 9 月 13 日 via iPhone
打卡
|
243
select 2019 年 9 月 13 日
除了支持我还能说什么
|
244
XSG 2019 年 9 月 13 日 via iPhone
来了来了
|
245
123s 2019 年 9 月 13 日
来嘛
|
246
sniperking1234 2019 年 9 月 13 日
支持支持
|
247
orcinusorca 2019 年 9 月 13 日
我要是中了我再在这里送出去
|
248
cyssxt 2019 年 9 月 13 日 via iPhone
ps4 中奖率还可以
|
249
plaknight 2019 年 9 月 13 日
万一中了呢!!!!!!!!!!
|
250
y547679519 2019 年 9 月 13 日
支持一下,增加分母
|
251
dark3212 2019 年 9 月 13 日
我来增加分母,希望能变成分子
|
252
qq625692420 2019 年 9 月 13 日
ps4 不贵,但还是来蹭运气!
|
253
steptodream 2019 年 9 月 13 日
抓包 也包含分析用户隐私吗?
|
254
ming7435 2019 年 9 月 13 日
增加分母
|
255
ponder 2019 年 9 月 13 日
基础分母支持
|
256
AJDX3906 2019 年 9 月 13 日 via Android
分母+1
|
257
sike03 2019 年 9 月 13 日
分子
|
258
ivanyin 2019 年 9 月 13 日
分母+1
|
259
felixcode 2019 年 9 月 13 日 via Android
ps4,过来当分子
|
260
goodryb 2019 年 9 月 13 日
项目挺有意思的。先顶再看
|
261
AlexaZhou 2019 年 9 月 13 日
有诚意的抽奖,我也来支持一把
|
262
hebin 2019 年 9 月 13 日
支持支持
|
263
squallsdjl 2019 年 9 月 13 日
超赞~+1
|
264
Kinnice 2019 年 9 月 13 日 via Android
分母分母
|
265
BoiledEgg 2019 年 9 月 13 日
所以现在是为了 ps4 支持开源了
|
266
songjiaxin2008 2019 年 9 月 13 日
分母
|
267
sdandroid 2019 年 9 月 13 日
分母
|
268
nooper 2019 年 9 月 13 日
加油哦
|
269
n37r06u3 2019 年 9 月 13 日
跟我老东家 云杉的产品很像
|
270
wanyulaowang 2019 年 9 月 13 日 via Android
了解一下,说不定又是个以后要用到项目呢
|
271
abelce 2019 年 9 月 13 日 via iPhone
是所有的包都抓,还是可以选择性的过滤,很好奇,还有就是丢包率
|
272
nameldk 2019 年 9 月 13 日
支持一下
|
273
MiaRunis 2019 年 9 月 13 日
分母来啦~
|
274
lockerhyz 2019 年 9 月 13 日
赞!分母+1
|
275
ranleng 2019 年 9 月 13 日 via Android
拉低中奖率
|
276
shdcn 2019 年 9 月 13 日 既然来抽奖那就要取 star 一下了,正好和研究生老师派的方向很接近
|
277
wwek 2019 年 9 月 13 日
很好的项目~
|
278
lrvy 2019 年 9 月 13 日
赞!分母+1
|
279
ksedz 2019 年 9 月 13 日 via Android
mark,最近对接了类似项目导出的流量,不知道他们怎么做的。
|
280
bobsam 2019 年 9 月 13 日 via iPhone
哈哈哈,来来来,做分母
|
281
lyuehh 2019 年 9 月 13 日
来来来,做分母
|
282
javashell 2019 年 9 月 13 日 via Android
分母+1
|
283
0x3f3f 2019 年 9 月 13 日 via iPhone
我还能做分母。
|
284
xiangchen2011 2019 年 9 月 13 日
分子+1
|
285
jiang123574 2019 年 9 月 13 日 via iPhone
几楼了?
|
286
xmoon 2019 年 9 月 13 日 via Android
本分母来了
|
287
vipwpcom 2019 年 9 月 13 日
支持一下
|
288
gIrl1990 2019 年 9 月 13 日
real?
|
289
richard1122 2019 年 9 月 13 日 可以抓 k8s 容器的流量?感觉还是很有用的,支持一个
|
290
totopo 2019 年 9 月 13 日 via iPhone
拉低中奖率
|
291
Kimiato 2019 年 9 月 13 日 via Android
分母+1
|
292
shell314 2019 年 9 月 13 日 via Android
支持
|
293
xuqianyu 2019 年 9 月 13 日 via iPhone
支持
|
294
ruiyinjinqu 2019 年 9 月 13 日
欧皇附体,支持一个,感觉方案不错,学习学习
|
295
rinsingw 2019 年 9 月 13 日
回帖=参与 吗?
|
296
il1707 2019 年 9 月 13 日
感觉对比现有轮子优势点不明显。
|
297
cxh2000210 2019 年 9 月 13 日 via Android
分母死了
|
298
silaike 2019 年 9 月 13 日 via iPhone
分母
|
299
ittianyu 2019 年 9 月 13 日
|
300
zytomorrow 2019 年 9 月 13 日 via iPhone
来了来了
|