vsftpd 的性能问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3652 天前的主题，其中的信息可能已经有所发展或是发生改变。

万能的v友，应该有不少玩过vsftpd吧？

我想请教一下，如果1k+台机器在10分钟~20分钟内将本机1M~10M大小的日志文件传到指定的ftp服务器上，vsftpd能扛得住吗？可能的瓶颈是磁盘还是网络还是CPU？

运行模式是通过guest虚拟用户登录，客户端通过python的ftplib上传

vsftpd

ftplib

磁盘

13 条回复 • 2014-11-24 23:23:12 +08:00

tftk

2014-11-24 11:07:19 +08:00

网络 io。

lecher

2014-11-24 11:44:53 +08:00

网络请求方面的业务，瓶颈在网络io的居多。
这个业务cpu基本没负载，磁盘10分钟1k＊10M的写入数据量也可以负担得起。
内存看vsftpd设置多大的内存缓冲区，有可能会爆内存。

AntiGameZ

2014-11-24 12:36:53 +08:00

瓶颈在ftp协议，个人建议rsync

shanks

2014-11-24 13:24:51 +08:00

@AntiGameZ 只有一个日志文件，也要用rsync吗？还是说rsync协议比ftp协议优越太多？

likuku

2014-11-24 13:50:55 +08:00

@shanks ftp 要登录要交互...rsync 可以用 ip 白名单就简单搞定。rsync 貌似也有不进行比对就直接上传的选项。

ctexlive

2014-11-24 14:08:05 +08:00

应该可以测试吧。如果只有一个日志文件应该比较快。
ftp最大的问题是多个小文件传输极慢。

lhbc

2014-11-24 15:04:33 +08:00 via iPhone

取中间值，15分钟，5M大小，1000台机器。
那15分钟要传5G文件，需要带宽45M，算上开销要50M以上
如果文件更大，需要带宽更高
磁盘应该问题不大，CPU完全没问题

herozzm

2014-11-24 15:11:45 +08:00

我感觉vsftpd不太稳定，经常无故断开，0KB

AntiGameZ

2014-11-24 17:37:28 +08:00

@herozzm vsFTPd 是个很好的 FTP Server，前提是 “FTP” Server

FTP 这个协议处理 LZ 的需求，真是不合适，交互带来的延迟不能忍

Theo14

2014-11-24 17:48:49 +08:00

问题肯定会出在网络IO上，同样觉得用rsync更合适，rsync有很多参数可以使用，限速的参数也有

bertram

2014-11-24 18:26:42 +08:00

用rsync比vsftp靠谱。既然是日志收集的活儿，怎么不用rsyslog, syslog这些专门工具呢

msg7086

2014-11-24 22:50:36 +08:00 via iPhone

我会建议用nfs？

ryd994

2014-11-24 23:23:12 +08:00 via Android

客户端加随机延迟，打散开